//Logo Image
作者:陳延暐(2011-07-25);推薦:徐業良(2011-07-26)
附註:本文為九十九學年度元智大學機械工程研究所陳延暐碩士論文「基於體感互動科技發展互動式溝通與情緒感知平台」第一章。

第一章 研究背景與目的

1.1 研究背景

1.1.1 成功的老化是由生理、心智、社會與意向等四個方面的健康所促成

人口結構老化是二十一世紀全球共同面臨的挑戰。根據老人學家Butler[1991]的定義,「成功的老化(successful aging)」是由生理(physical)、心智(intellectual)、社會(social)與意向(purpose)等四個方面的健康所促成,在老化的過程中,追求沒有疾病的狀態顯然只是最基本的目標,必須同時保持活躍積極的心境,還要與人群、社會及環境維持良好而和諧的關係,並且以正向的態度堅持自尊與自主的意識。簡單來說,相較於無微不至的貼身照護,高齡者更期望「獨立(independence)」,能夠重回青壯年時期的生活狀態,一方面擁有活動自如的能力,不受拘束地體驗生活,另一方面也能在綿密的人際網路中聯繫互動,與家人、親友共同分享彼此的喜怒哀樂。

從成功的老化完整面向來看,除了糖尿病、心血管疾病等各種慢性疾病之外,跌倒、失智、與孤獨感,是高齡者面對的三項重要的生理與心理健康問題。跌倒所引起的傷害是高齡者急診就醫的最主要原因,也是排名第二的致死原因[Doweiko, 2000; Hoskins, 1998],更嚴重影響高齡者日後獨立生活的能力。除了對高齡者生命有直接的威脅外,跌倒還可能造成高齡者身體行動上的限制,進而也對老人的生理與心理產生負面的影響,因為害怕再次跌倒而選擇待在家裡足不出門,生活機能也需要旁人協助,降低其生活品質,顯見肌肉骨骼、神經系統的機能維持、跌倒的預測與偵測以及復健活動之於健康的重要性。

就心理層面而言,憂鬱症與失智症是最常見的兩種疾病,根據歐美國家老人失智症發生率的相關研究顯示,每增加5歲,失智老人的發生率就增加一倍[Bachman et al., 1993],臺灣65歲以上人口的失智症盛行率也已經達到4.8%【臺灣失智症協會,2004】,其影響不容輕忽。失智不僅會造成記憶力減退,還會造成多向度的社會適應障礙和日常生活功能受損,對於患者和照顧者的身心壓力,常會對其家庭和生活圈產生巨大的衝擊,不僅要面對日常及生活功能逐漸喪失的無奈,生活品質和生命尊嚴亦隨著疾病不斷的惡化而受到嚴厲的考驗。

由於現代社會生活與工作型態的變遷,子女往往無法常伴左右,根據內政部統計處[2005]的調查報告,臺灣65歲以上高齡者僅與配偶同住者佔22.20%,獨居者則有13.66%例如子女因升學、結婚、工作而離去、或老伴故逝,都會造成高齡者產生獨居之現象【台北市政府衛生局,2005。如果再加上行動能力的限制,高齡者的社交生活圈愈來愈狹窄,造成心理孤獨感的產生。

長久以來,高齡者的溝通(或通訊,communication)需求一直是老人福祉科技相關研究發展的重要議題。為了維持正常的人際關係,溝通(通訊)是最常見的一個手段,除了面對面的溝通之外,現代社會中能提供高齡者有效的遠距溝通工具也顯得更為重要,將有助高齡者維持健全的人際溝通網路,避免孤獨感所帶來的負面影響。

1.1.2 高齡者遠距溝通工具的設計思考

高齡者遠距溝通工具的設計思考上應有兩個主要的向度:

(1)   技術層面:更高層次、多元化、而更具互動性的溝通平台

電話是最傳統、常用的遠距溝通工具,但僅是聲音的傳遞並無法完整地表達人類的情感。根據MehrabianFerris[1967]的研究調查,語音形式的溝通(verbal communication)在面對面的人際溝通中僅僅佔了7%的比例,非語音形式的溝通(nonverbal communication)反而在情感交流上扮演了更重要的角色。一般而言,非語音形式的溝通包含了外表(appearance)、空間關係(proxemics)、副語言(paralanguage)、肢體表意(kinesics)、觸覺(haptics)、時間行為(chronemics)等幾種形式[Burgoon, 1994],透過這些非語音形式的溝通,即便不使用言語溝通,人們也能表達大部分的內心感受與概略的想法;另一方面,缺乏了非語音形式的溝通的輔助,單靠言語的傳達也無法有效地交換情感。

因此在技術層面上,應思考如何根據高齡者日常通訊需求的內容與情境,創造一個比現有的電話、視訊等更高層次、多元化、而更具互動性的溝通平台,能夠充分提供這些非語音形式的溝通要素。

(2)   使用性層面:高齡者族群能夠輕鬆、自然使用的溝通平台

老化造成視覺、聽覺、觸覺與思考判斷等能力的衰退,高齡者因而在操作通訊工具時,常常面臨字太小、音量太小、力量不夠、反應不及等諸多困擾,因此老人福祉科技必須著重人因工程(Human factors engineering/Ergonomics)的考量,發展以使用者為中心的設計,確實彌補高齡者能力不足所帶來的限制。在人因工程的設計概念中,常常將人類與工具、機械、環境等視為一個「人機系統(man-machine system)」,探討其間的互動,人機互動所著重的不只在於人類如何去適應工具、機械與環境,也強調如何設計工具、機械與環境去適應人類的需求,創造出更人性化、更符合使用者需求的互動設計。人機互動的應用從早期關注於提昇工作績效的、測量與改善使用者效率等,逐漸地演變為考慮人機互動中人類所產生的情緒變化,以及各種情感延伸與社會化的活動,由此可見,高齡者通訊工具的設計重點並不只是限於能力與績效的提升,更需以良好的互動性為基礎,考量相對應的心理狀態與社會關係,發展層面廣泛的溝通平台與媒介。

在使用性(usability)層面上,應思考如何設計一個讓不熟悉電腦與網路的高齡者族群能夠輕鬆、直覺的使用溝通平台,除了排除身體退化造成的使用障礙,也要根據個人的生活經驗與背景,量身訂做適合的操作模式。

為了達到更具多元性的互動溝通,目前已有研究團隊,提出改善會議中討論物件的真實性所開發沉浸式會議;另外對於開發更直覺的溝通平台,也有研究者應用最新的體感互動技術,以使用者的肢體動作作為通訊時的主要控制方式,開發互動溝通平台。下一節將對沉浸式視訊會議系統及體感互動科技之相關文獻作一回顧。

1.2 文獻回顧

1.2.1 沉浸式視訊會議系統

針對沉浸式會議開發,早在1998MITMedia Lab便提出了與沈浸式會議(immersive conference)系統結合的未來辦公室概念[Raskar et. al., 1998],如圖1-1的概念圖所示,辦公室隔屏即是沈浸式會議系統的投射幕,會議進行時並可3D物件與環境融入結合,達到遠距協同工作的目的;如圖1-2所示,南加大電腦系的研究團隊已能將此沈浸式會議的概念具體實現[Mcleod et. al., 1999]

1-1. 未來辦公室概念圖[Raskar et. al., 1998]

1-2. 沈浸式會議具體實現[Mcleod et. al., 1999]

隨著相關技術的成熟,近年來已有許多商用產品陸續出現,最有代表性的是由2005年於美國加州成立的“Digital Video Enterprises (DVE)”公司所開發之telepresence系列產品[http://www.dvetelepresence.com/]。此系列產品最主要功能是提供一沈浸式遠距會議與協同工作(immersive conferencing and collaboration)平台,如圖1-3所示是DVE公司2009年最新推出的“Tele-immersion room”,在完整的遠距沈浸式會議系統功能外,更結合了“3D projector”3D物件與環境融入結合,並透過分享機制讓遠端雙方可以同時操控、溝通,達到遠距協同合作的目的。

 

1-3. DVE Tele-immersion room [http://www.dvetelepresence.com/]

一般桌上型視訊會議系統在進行遠距對話時,因為攝影機放置位置的關係,使得兩端的對話者無法有自然、直接的視線接觸(eye contact)為了造成在視訊中的眼神接觸,自1990年初期起,就有幾項在遠距視訊會議系統提供眼神接觸相關專利技術發展[Smoot, 1990; Kuriki et. al, 1994; McNelley, et al., 1998],主要的概念如圖1-4所示,將攝影機放在屏幕後方,利用各種光學設計使攝影機鏡頭位置和屏幕中遠端對話者眼睛位置重疊,達到眼神接觸效果。此種方式也應用於輔助新聞主播讀稿時的提詞機,使主播在讀新聞稿的同時,也可凝視鏡頭與觀眾達到眼神接觸(圖1-5)。

1-6DVE公司所開發之基本的桌上型個人沈浸式視訊會議系統DVE Eye Contact Silhouette,主要的技術突破是以裝置於螢幕後方內嵌式光學攝影機(如圖1-6右圖)解決了這個視線接觸的問題。

1-4. 透過光學反射使鏡頭與影像位置重疊[Smoot et. al, 1990]

1-5. 提詞機可輔助主播同時讀稿及凝視鏡頭

1-6. DVE Eye Contact Silhouette[http://www.dvetelepresence.com/]

儘管遠距視訊會議技術相關研究十分豐富,研究文獻中應用遠距視訊會議系統或技術在高齡者溝通平台設計的研究相當少。日本會津大學的Zhang等學者[2005, 2008]嘗試利用行動通訊網路建立遠距居家照護系統的視訊會議系統,但其主要目的是希望能適用於移動環境,與本研究的目的並不相同。

1.2.2 體感互動科技

人體動作擷取技術發展已久,應用領域包含娛樂、運動、人型機器人研究,甚至拍攝動畫電影等,主要目的是擷取、記錄使用者的動作以作為設計2D3D數位人物肢體動作的參考。在醫療領域上,人體動作擷取技術也被應用在外科和骨科手術輔助,如NDI公司所開發的Polaris System,即可透過精度較高的攝影機,擷取、記錄醫生的手勢以作為利用機械手臂進行手術時定位之用;在工程應用上如Boulder Innovation Group開發的3D Creator System,應用人體動作擷取作為輔助繪製3D物件,以及視角調整的功能。

人體動作擷取技術主要分為電磁式、機械式、慣性式、被動式光學(Passive markers)、主動式光學(Active marker)以及無標記式(Markless),以下針對這些動作擷取的技術作較詳細的介紹及比較。

(1)   電磁式動作擷取

電磁式動作擷取主要是應用電磁感應,在使用者身上裝置感應線圈,並在環境中放置磁場產生器,當使用者移動線圈即會在磁場中產生電流,透過分析電流方向的變化,以了解使用者在環境中的位置以及轉動角度。此種的擷取方式較簡單,成本也較低,但是對於使用環境較有限制,如附近不能有金屬物品,否則會造成磁場的干擾而影響精度,如果改以有線的方式傳送訊號,對於使用者的活動也會造成限制。

(2)   機械式動作擷取

機械式作態擷取主要是應用連桿機構,在連桿關節處設置光學式編碼器,當連桿旋轉時即可得到各連桿的角度及位置,不過其缺點為重量過重,當使用者穿上時,會因為重量而難以作出較複雜的動作。

目前Animazoo公司[http://www.animazoo.com]開發了一款電位式動作捕捉產品Gypsy7(如圖1-7),不採用前述外骨骼關節光學式編碼器擷取,而以額外的電位計取代。Gypsy7結合7個電位計和2個陀螺儀,裝置於人體17個關節上,當關節彎曲時會擠壓到電位計,因此可精準地擷取使用者的關節轉動動作。此系統的優點是擷取精度高,而且主要的裝置都跟隨著使用者移動,因此可不限地點的紀錄使用者的動作。

1-7. Animazoo捕捉系列產品Gypsy7[http://www.animazoo.com]

(3)   慣性式動作擷取

慣性式動作擷取主要是應用陀螺儀,相對於機械式動作擷取的連桿機構,陀螺儀的體積較小且重量也較輕,因此使用者完成更多複雜的動作。

目前Animazoo公司發展了一款動作捕捉系統產品IGS-190,比起同類的慣性式動作擷取產品,IGS-190更具靈活性。IGS-19018顆陀螺儀包覆於衣服內作為感測器(如圖1-8),相較於機械式的連桿機構,使用者可有更多的動作自由度。IGS-190除了可以完整呈現動作捕捉的數值,更能廣泛應用於動畫製作及人類運動分析,此種慣性式動作擷取的優點是不會受到影像的遮蔽而流失擷取的資料,因此也適合多人同時使用。

1-8. Animazoo捕捉系列產品IGS-190[http://www.animazoo.com]

(4)   光學式動作擷取

光學式動作擷取主要分為被動式光學與主動式光學,此種動作擷取技術主要是應用光線反射,其中被動式光學是將反光材質裝置於使用者身上(如圖1-9),再用發光元件將光線射向使用者,透過反光材質將光線反射至攝影機;主動式光學則是將發光元件裝置在使用者身上(如圖1-10),再直接發射光源至攝影機。透過多部高速攝影設備拍攝光點影像,並將多個拍攝到的影像進行影像處理,再以三角量測求得各光點之距離。由於光學式動作擷取的方式,使用者只需在身上裝置反光材質或是發光元件,不需要額外的電線或是電子設備,因此使用者可進行較複雜且高難度的動作,不過其缺點是擷取的精度會受到光線遮蔽或是環境光源的影響,導致動作擷取的資料較不精準。

為了改善前述所提到光學式精度不高的缺點,目前PhaseSpace公司[http://www.phasespace.com]採用高像素的攝影機,並且提升攝影機的拍攝速度(每台攝影機每秒可對每個光源作480次的監測),目前已將誤差範圍縮小至1釐米,擷取至電腦的延遲時間也小於1毫秒,大幅提升目前光學式動作擷取的精度。

1-9.被動式光學[http://www.tyrell-innovations-usa.com]

1-10. 主動式標記應用示意圖[http://www.phasespace.com]

(5)   無標記式

在動作擷取的領域中,目前有許多研究已朝向無標記式發展,如史丹佛大學、麻省理工學院馬克斯普朗克科學促進協會也都有類似的發展。無標記式主要的優點為使用者不再需要穿著特殊的擷取設備,而是透過電腦演算法將多個擷取到的影像做分析,並且辨認出人體的骨架形狀。

目前無標記式的技術有許多種,其中2010Microsoft發表的Kinect是以Light Coding技術和骨架追蹤系統達成動作擷取。Kinect擷取深度影像的技術是由Prime Sense公司[http://www.primesense.com]所授權,Prime Sense提出的Light Coding技術原理是用紅外線將測量的環境作編碼,再透過感應器及晶片解讀編碼的光線(如圖1-11所示),以測得環境的深度影像。Kinect上的Prime Sensor可發射出人眼看不見的紅外線class 1雷射光,並將雷射光均勻的投射在測量空間中,當雷射光照射到粗糙物體或是穿透不同材質後會產生隨機的散斑,散斑會隨著距離及空間變換圖案,這些獨一無二的散斑也因此將整個空間做了標記,再透過紅外線CMOS感測器擷取散斑,並透過晶片PS1080解讀成深度圖像。

1-11. Kinect以紅外線測量目標距離及辨識空間[http://www.primesense.com]

Kinect的骨架追蹤系統是先移除雜訊取得有效的影像,將人像從背景環境中區分出來,再將使用者的影像進行分割,透過人工智慧學習系統將分割的影像作歸類,對應到身體各部位,並將追蹤到的20個關節連接成骨架。

Kinect體感控制器如1-12所示,機身有3顆鏡頭,中間的鏡頭是一般常見的RGB彩色攝影機,能辨識使用者身分及基本的臉部表情;左右兩邊的鏡頭則分別為紅外線發射器和紅外線CMOS攝影機,透過晶片可將擷取到的紅外線傳換為深度影像,透過骨架追蹤系統最多可同時偵測到6個人,每個人共可記錄20組細節,包含軀幹、四肢以及手指等都是追蹤的範圍,達成全身體感操作。Kinect偵測的最佳距離為1.2公尺到3.5公尺間,水平視野則是57Kinect也內建了陣列式麥克風系統,藉由多組麥克風同時收音,比對後消除掉雜音,提供了降噪功能;同時Kinect還搭配了追焦技術,底座馬達會隨著對焦物體移動跟著左右旋轉27度。

搭配微軟原有的Xbox360成為一套互動式體感遊戲機,透過骨架追蹤的系統讓使用者直接用身體動作操作遊戲,不再需要握任何遙控器或穿著任何設備,在使用上較方便且對使用者的負擔較小

1-12. Kinect體感控制器(圖左)可將偵測到的3D深度圖像轉換到「骨架追蹤系統」

1.3 研究目的與使用情境

本研究之目的為結合體感互動科技,開發專屬於高齡者的互動式溝通與情緒感知平台(Interaction and Emotion Recognition Platform, IERP)IERP包含平板電腦、Kinect攝影機、和螢幕架等三項主要元件(如圖1-13);如圖1-14所示,IERP有兩種使用模式,在視訊會議模式時,使用者能以直覺的手勢動作操作IERP,並與遠端使用者有眼神接觸,增進視訊的互動效果及臨場感;沒有進行視訊會議時,IERP也可進入日常生活活動(Activity of Daily Living, ADL)觀察模式,追蹤使用者在室內的活動及情緒變化。

1-13.本平台主要三項元件

1-14. 視訊平台可透過簡易的轉換其功能性

IERP的細部使用情境敘述如下:

(1)   視訊會議模式

IERP主要放置的位置為使用者較常出現的室內空間(如客廳),當使用者進入此特定空間時,平板電腦上會顯示已偵測到使用者進入空間,此時使用者即可用手部動作(如揮手)或是肢體動作(如前傾、後傾)控制平板電腦內的功能,讓使用者可從遠處就達到切換照片或是音樂播放的功能(如圖1-15)。

1-15. 透過手勢的動作切換相片

當使用者欲使用視訊功能(如平板電腦上出現即時通訊視窗,顯示視訊功能請求),使用者可開啟視訊,並將平台調整至視訊模式,之後使用者可直接對著平台上對方的影像進行面對面的對話,由於此平台針對改善眼神接觸進行設計(如攝影機具有追蹤使用者臉部之功能),因此兩端的使用者可達到更具關懷的溝通,除了傳遞聲音及影像給對方,使用者也可用肢體動作配合軟體與對方互動(如圖1-16),如透過姿勢的改變調整分享圖片的大小,或是擺出姿勢以傳送特殊的表情符號。

1-16. 使用者可用此平台進行更具互動的視訊

(2)   ADL觀察模式

一般的紅外線感測器只能記錄使用者經過某特定位置的次數,而本研究所使用的Kinect可透過骨架辨識技術得到更詳細的活動數據,如肢體移動的頻率以及幅度的大小,甚至進一步可以由各關節的座標變化,以判斷使用者的肢體動作,達到如情緒感知以及跌倒偵測等功能。

在情緒感知功能上,透過觀察使用者肢體擺動的幅度及位置,並搭配情緒動作資料庫,可判斷情緒起伏及種類(如圖1-17),讓使用者的親人也可了解使用者的情緒狀態;跌倒偵測功能仍然以骨架辨識為基礎,當偵測到使用者跌倒時,會將此跌倒的事件紀錄至當日的日誌中,如發現使用者跌倒許久未爬起來時,則會傳送簡訊給使用者的親人,提醒前往關心使用者,

1-17. ADL模式中可追蹤使用者的活動及姿態

本論文第二章將介紹視訊平台的設計概念與原理,並且說明如何以肢體動作控制平板電腦及視訊功能,第三章將說明利用體感互動科技進行活動力觀察,以及跌倒偵測,第四章將說明利用體感互動科技判斷使用者的情緒狀態,第五章為本研究之結論,並討論其未來發展之可能性。

參考文獻

Bachman, D. L., Wolf, P. A., Lin, R.T., “Incidence of dementia and probable Alzheimer’s Disease in a General Population: The Framingham Study”, Neurology, Vol.43, pp. 515-519, 1993.

Burgoon, J. Nonverbal signals. In Knapp M. L., Miller, G. R. (Eds.), Handbook of Interpersonal Communication, pp. 229-285. Beverly Hills: Sage, 1994.

Butler, R. Foreword in Birren, J., Detuchman, D. (Eds), Guiding autobiography groups for older adults: Exploring the fabric of life, Baltimore, Maryland: John Hopkins University Press, 1991.

Chang, H. C., and Holt, G. R, The concept of Yuan and Chinese interpersonal relationships. In S. Ting-Toomey, & F. Korzenny (Eds.), Cross-cultural interpersonal communication, pp. 28-57, Newbury Park, CA: Sage, 1993.

Doweiko, D., “Prevention program cut patient falls by 10%”, Hospital Case Management, Vol.8, Issue 38, pp. 43-44, 2000.

Hoskin, A. F., “Fatal falls: trends and characteristics”, Statistical Bulletin-Metropolitan Insurance Companies79, pp.10-15, 1998.

L. S. Smoot, “Teleconferencing terminal with camera behind display screen,” in U.S. Patent Documents, US4928301, 1990.

Mehrabian, A. and Ferris, S. R., “Inference of Attitudes from Nonverbal Communication in Two Channels”, Journal of Consulting Psychology, Vol.31, No.3, pp. 248-252, 1967

Mcleod, D., Neumann, U., Nikias, C. L., and Sawchuk, A. A., “Integrated Media Systems: The Move Toward Media Immersion”, IEEE Signal Processing Magazine, Vol.16, No.1, 1999.

M. Kuriki, H. Arai, S. Sakai, S. Nakamura, H. Nakajima, S. Suyama, K. Uehira, and N. Hagiwara “Display and image capture apparatus which enables eye contact,” in U.S. Patent Documents, US5317405, 1994.

Raskar, R., Welch, G., Cutts, M., Lake, A., Stesin, L., and Fuchs, H., “The Office of the Future: A unified Approach to Image-Based Modeling and Spatially Immersive Displays”, SIGGRAPH 98, Orlando, Florida, 1998.

S. H. McNelley, et al., “Image blocking teleconferencing eye contact terminal,” in U.S. Patent Documents, US5777665, 1998.

Zhang, Z., He, A., and Wei, D., “A Mobile Teleconference System for Homecare Services”, Engineering in Medicine and Biology Society, IEEE-EMBS, 27th Annual International Conference, Shanghai, 2005.

Zhang, Z., He, A., and Wei, D., “A Mobile Network-based Multimedia Teleconference System for Homecare Services”, TELEMEDICINE and e-HEALTH, Vol.14, No.2, pp.147-155, 2008