//Logo Image
作者:陳延暐(2011-07-25);推薦:徐業良(2011-07-26)
附註:本文為九十九學年度元智大學機械工程研究所陳延暐碩士論文「基於體感互動科技發展互動式溝通與情緒感知平台」第章。

第四章 Kinect人體骨架辨識技術進行情緒感知

本章敘述以Kinect體感互動科技為基礎,發展觀察高齡者的情緒感知技術,並說明其判斷方式以及程式撰寫內容。

4.1 以肢體動作辨識情緒

高齡者在居家環境中的心理狀態,如情緒、壓力等,也是亟需關注的部分。內在情緒的起伏往往表現在外在的行為,如肢體舒展經常表達放鬆狀態、肢體緊縮可能表達緊張或傷心、肢體長時間沒有動作可能代表疲憊或正在休息等等,透過肢體動作變化觀察情緒,可適時的讓親人了解高齡者在家中之情緒狀態。

目前辨識情緒的方式包括人臉情緒辨識、語音辨識、生理回饋辨識,以及肢體動作情緒辨識等方法,其中生理回饋辨識是利用脈博、血壓、腦波、膚阻等感應器偵測情緒,但辨識時須配戴感測器,較不適合長期使用;人臉辨識與語音辨識雖屬非侵入式偵測,但有辨別度不高或是易於偽裝的問題;肢體動作情緒辨識雖然判斷沒有生理訊號辨識來的準確,不過對於長期在家中的使用者,是較合適的辨識方式。

目前已有許多以肢體動作辨識情緒的研究,如Schouwstra[1995]的研究中歸納出挺直的姿勢可判斷為正向的情緒,前傾的姿勢則可判斷為負向的情緒;de Meijer[1989]也提出肢體的移動可分辨正向與負向的情緒,如伸展肢體可判斷為喜悅、同情、驚訝和感興趣;而彎曲的肢體則可判斷為害怕、哀傷、羞辱和生氣;Wallbott[1998]詳細定義出憤怒的肢體動作特徵;Coulson[2004]則是以各角度觀察靜態的情緒動作,並定義出在生氣、害怕、高興、難過以及驚訝時的關節角度;Gross[2010]也觀察出生氣、焦慮、難過以及滿意情緒時的關節轉動角度。以上這些以肢體動作辨識情緒研究也一致的顯示,在基本的六種情緒動作中(高興、傷心、生氣、驚訝、噁心、害怕),生氣、傷心和高興這三種的辨識度最高。

4.2 情緒動作定義

本研究在以肢體動作辨識情緒主要是參考Coulson[2004]以及Wallbott[1998]研究中的情緒動作描述,並統整各情緒動作之特徵,歸納出較適合的判別動作,再透過觀察肢體伸展及彎曲的程度,發展一情緒辨識演算式,判斷受測者之情緒以及強度大小。在Wallbott的研究中定義了幾項情緒動作的描述(如圖4-1所示),當受測者感到極度的憤怒或是高興時,肢體的活動力會增加,且手部會有較多的動作;另外在負向的情緒中,上半身會呈現較前傾的姿勢,且頭部的位置也會降低。

4-1. 情緒動作定義[Wallbott, 1998]

Coulson將生氣、高興和傷心的動作整理如圖4-2所示,主要辨識的部位有頭、胸、肩膀、手肘、腹部旋轉以及重心的轉移,頭部及胸部主要是判斷其前傾或是後仰的程度,而肩膀則是分為上舉、垂放、向外伸展或併攏四個方向,另外手肘則是以彎曲的程度作判斷。Coulson所定義之肢體彎曲方向如圖4-3所示,頭部與胸部前傾時角度為正,後仰則為負;手臂則是以水平為基準,手臂向上舉起時角度為正,垂下則為負;另外手臂向外伸展時角度為負,向內併攏則為正;手肘則是以伸直為角度的基準,只要是向內彎曲角度皆為負值。

4-2. 生氣、高興及難過的肢體角度定義[Coulson, 2004]

4-3. 各肢體方向定義

本研究主要是以觀察各關節座標之間的變化,換算為距離及角度,較無法獲得重心轉移的數值,因此將主要的辨識部位設定為頭、胸、肩膀以及手肘。本研究將以受測者的移動次數以及手臂之伸展角度,作為判斷情緒強烈程度的依據;並且觀察受測者俯仰的程度,判斷該情緒屬於正向或是負向,並將得到的數據以權重計算出情緒指數,以此情緒指數作為情緒判斷的依據。

4.3 情緒動作判斷流程

情緒的辨識方式如圖4-4,當受測者以「Psi」姿勢完成骨架辨識後,開始每6秒擷取一次關節座標,並使用與第三章中所述活動力監測相同的方式,計算各關節平均移動距離以及總移動次數,另外透過三角函數求得肢體間的向量夾角,以判斷肢體彎曲的程度。將各總移動次數、手臂抬舉角度以及手肘彎曲角度以權重比例計算出數值後,再以使用者俯仰程度,判斷該數值為正數或負數,最後所得之數值即為情緒指數,由於情緒的肢體動作表現時間往往相當短暫,因此本研究也會以6秒輸出一次情緒指數,以了解短時間內使用者之情緒。

4-4. 情緒感知判斷流程

4-5所示為本研究之情緒指數計算方式,是情緒激烈程度與情緒類型的乘積。情緒激烈程度的採用移動幅度、手臂抬舉程度以及手肘彎曲的程度的數據綜合判斷,其中移動幅度M是將6秒內的總移動次數除以移動次數的極限值60次,手臂抬舉程度是手臂舉起的角度A除以抬舉角度之極限值180度,另外手肘彎曲程度E也是將彎曲的角度除以手肘彎曲之極限值160度,因此MAE都是在0~1之間無因次的量。每個人對情緒表達的程度不同,因此其判斷式內MAE的權重數WmWarWeb,也需隨著使用者的不同而調整,但Wm+War+Web=1。另外在情緒類型的判斷,是以頭部以及胸部俯仰的角度而改變,當頭部及胸部前傾時情緒指數為負、後仰則為正,而在一般姿勢時為0。最後所得情緒指數的範圍為-11,指數越高代表越激烈的正向情緒,指數越低表示為越激烈負向情緒。

4-5. 情緒指數判斷式

4.4 情緒動作判斷程式撰寫

情緒動作判斷程式如圖4-6所示。在程式執行後,將每6秒輸出一次關節座標,主要擷取的關節包括頭部、頸部、左右手掌、左右手肘、左右肩膀以及腹部。另外在延遲時間方面,為了增加辨識的成功率,本程式也使用與第三章活動力監測相同之寫法,以迴圈的方式延遲擷取時間,並且以每0.1秒為間隔,因此在6秒內就有60筆新的座標,除了更準確判斷其動作外,也可減少程式的錯誤率。

4-6. 擷取各關節的座標

情緒辨識的流程也是每6秒擷取一次關節座標,除了計算關節在空間中的移動距離,也需計算出各關節在空間中的距離,其計算的部位包含頸部至頭部的距離作為頭部俯仰的依據,肩膀至手肘為上臂之轉動程度,另外腹部至頸部則是用來判斷胸部的俯仰程度,其程式如圖4-7所示。

4-7. 計算各關節間XYZ方向的距離

接下來是求出各關節在空間中的距離,並透過三角函數獲得肢體彎曲的角度,程式如圖4-8所示,其中頭部及胸部是以往前的距離除以總移動距離為餘弦值;肩膀的轉動角度則是以上臂長度,除以手肘高度上的變化作為餘弦值;除了肩膀高度變化,另外肩膀側向的轉動角度則是以上臂長度,除以手肘左右移動的變化作為餘弦值;手肘彎曲變化的判斷則是將上臂設定為一向量,前臂設定為另一個向量,再透過向量內積(如4-9圖所示),求兩向量之夾角即可獲得手肘的彎曲角度。

4-8. 計算各關節間的距離及肢體間的角度

4-9. 手臂上臂與前臂之向量內積

在此先以本研究之受測者為例,觀察其在總移動次數的變化可較有效的判斷受測者的情緒激烈程度相符合,因此將總移動次數的權重數Wm設定為0.6;手臂上升的角度主要是作為輔助激烈程度的判斷,重要性較不如總移動程度,因此將權重數War設定為0.25;而在手肘彎曲的程度影響更小,因此將Web權重數設定為0.15(如4-10圖所示)。

4-10.以權重計算情緒指數

程式每隔6秒鐘即會顯示該6秒內的總移動次數以及情緒指數,以了解在短時間內的情緒變化,也方便後續的資料統計;另外在每分鐘也會儲存並顯示該分鐘的總移動次數(程式如圖4-11所示)。

4-11. 輸出各情緒出現次數及總情緒變化次數

4.5 實際觀察情形

本研究目前針對受測者觀看球類比賽轉播時的動作,進行情緒感知觀察,由於一般觀看球類運動時的情緒反應較明顯,因此也可較容易的分辨出受測者之情緒變化。圖4-12為觀察受測者一小時後之結果,由圖可發現受測者呈現正向情緒的時間較多,另外在20分鐘時雖有較劇烈的情緒變化,但出現的時間較短暫。

4-12. 一小時內情緒指數與總移動次數之變化

本研究目前將體感互動科技應用於情緒感知,在透過初步的測試後,也顯示其辨識情緒起伏之可行性,而未來要將此功能實際應用於高齡者居家時,可先朝著建立個人化情緒特徵之方向,將判斷式中的權重數作進一步的調整。其調整的方式如圖4-13所示,除了以Kinect監測受測者,另外也使用攝影機側錄實際的肢體動作狀態,在觀察結束後,透過情緒問卷方式詢問受測者當時的情緒為何,將觀察結果、側錄影片以及問卷調查作比對,將程式內的權重數作調整,發展個人化之情緒感知功能。

4-13. 建立個人化情緒特徵


 

參考資料

Coulson, M, Attributing emotion to static body postures: Recognition accuracy, confusions, and viewpoint dependence.Journal of Nonverbal Behavior, 28(2), 117–139, 2008.

Gross, M. M, Methodology for Assessing Bodily Expression of Emotion,Journal of Nonverbal Behavior, 34(4), 223-248, 2010(Submitted).

Schouwstra, S. J., and Hoogstraten, J. Head position and spinal position as determinants of perceived emotional state, Perceptual and Motor Skills, 81(2), 673-674, 1995.

Wallbott, H. G., “Bodily expression of emotion,” European Journal of Social Psychology, 28(6), 879–896, 1998.