//Logo Image
作者:蔡宗成 (2000-11-24);推薦:徐業良 (2000-12-05)

附註:本文參加八十九學年度「元智大學工學院學生專題論文競賽」。

生理訊號控制網路代理機器人之設計

摘要

本論文是敘述一組網路控制機器人之設計,並使用感測器讀取使用者的生理訊號,如頭部轉動、手腕運動等,將這些訊號作為操作機器人的控制指令,透過網路進行遠端控制,並利用影像回饋作為判斷與操作依據,機器人完全模擬遠端使用者的動作,成為一以生理訊號控制之網路代理機器人。

Design of a tele-robot controlled by biological signal

AuthorChung Chen Tsai

Abstract

This paper describes the design of a tele-robot. This robot is remotely controlled by the operator via internet. Image from the CCD camera is fed back to the operator. We use biological signals from operator to drive a robot. These signals include rotation of the head and hands, so that the robot can simulate the motion of the operator. We also explore the practicality of tele-embodiment in this paper.

1. 簡介

近幾年來網際網路(Internet)蓬勃發展,全球的上網人數正快速增加,網路的相關應用技術也日新月異。人們最常使用網路作為資料傳播的管道,透過網路使用者可以非常方便地獲得影像、聲音等多媒體資料。然而,這些應用技術都只是資訊的傳播,更進一步地透過網路傳輸資料來控制另一端的機械設備,是最近幾年頗受矚目的研究重點。本文主旨即在設計一組網路控制機器人,使用者不僅能透過網路操作此機器人,更能利用使用者本身的生理訊號直接控制此機器人,使其成為使用者遠端的分身與幫手。

在遠端遙控方面,早在1954Goertz[1]最先發展出一套電子控制無線操作系統,用以短距離無線操作機械設備,運用於處理危險任務的工作環境裡。隨著網際網路的發達,1997Paulos[2]等人發展出一套網路控制小型飛船(tel-embodiment),裝設輕量化的馬達作為其上下、左右運動的動力來源,飛船的前方裝置攝影機、麥克風等設備,並使用Java語言設計網頁操作程式,使用者透過網路進行控制,再使用無線遙控的方式,操作此小型飛船,使用者操作此飛船的判斷依據便是利用其攝影機所拍攝的影像回饋到網頁上。1998Paulos[3]等人進一步將此遠端遙控技術運用發展一套ProP(Personal Roving Presence)小型四輪車,同樣架設攝影機作為影像回饋,並以麥克風等設備與另一端作雙向溝通,這些研究的主要目的是藉由遠端遙控技術來探討人與人之間的溝通與接觸。

醫療技術也有不少相關研究[4, 5],利用TCP/IP通訊協定傳輸控制訊號操作機械手臂,並透過影像傳輸或力回饋裝置幫助醫生進行手術時,可以知道異常狀況的發生,藉此保障病患的安全。在2000年的Nature國際期刊中,Sandro[6]發表一篇關於神經中樞工程的研究論文,讀取猴子的腦波生理訊號來控制機械手臂,而這腦波訊號也可以透過網路來操作遠端實驗室裡的另一組機械手臂,其研究成果可幫助脊髓傷殘而四肢無法行動的病患們,協助他們發展出一套直接使用腦波生理訊號即能操作一些相關設備之控制系統。

本文的研究重點同樣是使用生理訊號來進行遠端控制,目前擷取的生理訊號是在使用者身上裝設感測器,讀取頭部轉動、手腕運動,藉由影像回饋,透過網路,直接操作遠端的代理機器人。以下即就代理機器人的網路傳輸系統、生理訊號控制、以及機器人操作測試作一詳細的說明。

2. 網路傳輸系統

本研究最初是以使用者在操作網頁上以滑鼠點選控制按鈕,操作遠端的代理機器人,更進一步的研究重點是讀取使用者生理訊號直接進行控制。圖1為網路控制機器人操作模式說明,透過網路以使用者生理訊號操作機器人完成指定動作,並將影像回饋系統運用在此機器人上,使用者連結到操作網頁上,透過網路TCP/IP下達指令,並將機器人上所擷取的影像,傳回使用者,提供判斷與進一步的操控。

1. 網路控制機器人操作模式

本研究的遠端遙控技術是透過網路TCP/IP下達操作指令,控制伺服端的機械設備。TCP/IP(Transmission Control Protocol /Internet Protocol)傳輸通訊協定,是一種連結式的通訊協定,類似電話系統,在開始資料傳輸之前,使用者彼此必須先建立連線,透過該通訊協定在網際網路上互相通訊。本研究使用“Visual Basic”語言自行撰寫遠端遙控程式,VB語言提供一個“Microsoft Winsock Control”控制元件,在操作程式上設定其相關屬性與方法,便能搭起應用程式與TCP/IP之間的橋樑,設計出本研究所需的遠端遙控相關技術,也就是用戶端與伺服端之應用程式。

利用Winsock Control”控制元件設計Client and Sever應用程式,基本原理如圖2所示,用戶端之應用程式裡有操作指令選擇,使用者按下控制按鈕後,用戶端便將此按鈕內所設計的命令字串(String)透過TCP/IP傳送至伺服端,而伺服端接收到命令字串後,判斷符合操作命令的副程式,並開始執行操作機器設備之副程式,執行完畢後,回傳訊息給用戶端,便完成指定動作。而生理訊號必須加以邏輯判斷,也就是要讓電腦程式了解使用者何時改變其生理動作,互相比較後成為傳送命令字串的決定條件,傳送至伺服端,便能以生理訊號控制此代理機器人。

2. Client/Server主體架構

要由用戶端的電腦控制伺服端的機械設備,必須將用戶端程式和伺服端程式分別在兩台電腦上執行,此種方法必須先確認用戶端有此專屬程式,對一般使用者來說並不方便,也不具一般性。為了改善此項缺點,本研究進一步將用戶端程式架設在WWW網頁上,如此只要透過瀏覽器連上指定網頁,輸入所要進行控制的伺服端IP位址,便可進行遠端遙控,圖3說明網頁互動之模式

3. 網頁互動模式

使用者透過網路進行遠端遙控來操作代理機器人,必須將此操作環境之狀態傳回使用者,提供判斷與進一步操作。利用CCD攝影機作為影像回饋裝置,架設在機器人上方,將前方影像透過網路傳回使用者的顯示螢幕上。

CCD攝影機稱為荷電耦合裝置(charge coupled device)CCD所拍攝的影像必須經過編碼等動作,將影音資料轉換成一種串流(Stream)媒體格式,也就是將影片資料的檔案內容進行壓縮與編碼處理,達到在網路上可以分段傳送,使用者不必等待整個影片傳送完畢,就可達到及時觀賞的效果。如此,使用者進行遠端遙控時,便能藉著及時影像的回饋,同步操作此代理機器人。

3. 生理訊號控制

本研究不僅可以使用滑鼠點選操作按鈕以控制遠端的代理機器人,並利用裝設於使用者身上的方向感測器,讀取使用者的移動方向、位移等生理訊號,經過程式處理與判斷,作為遠端控制機器人的操作指令;如此,此機器人便可模擬使用者的動作,機器人的動作及對環境的判斷完全由使用者提供,在不受空間與時間的限制下,完成使用者所指定的動作,成為一生理控制代理機器人。

本研究使用兩種感測器來偵測使用者的生理訊號:第一種為“HMR3000 Compass Module”方向感測器,如圖4所示,裝設在頭戴顯示器(HMD)上,用以偵測使用者轉頭或點頭等訊號,HMD是用來顯示CCD攝影機所回傳之影像。此HMD具有兩個0.7吋全彩之液晶顯示螢幕,以640 ×460模式顯示影像畫面,顯示裝置在兩側附有一對耳機,再加上麥克風等裝置,不僅能在用戶與伺服兩端傳送影像,也能彼此傳送聲音,增加遠端控制的真實性,讓使用者藉著虛擬螢幕,親身感受代理機器人所處的真實環境狀態。

4. 方向感測器與HMD配置圖

第二種感測器為“5DT Data Glove 5”資料手套,如圖5所示,用以偵測使用者手腕自由度和手指彎曲度等訊號。

5. 資料手套

“HMR3000 Compass Module”方向感測器使用RS-232界面與電腦傳輸訊號資料,此方向感測器可以讀取三個方位,分別為RollPitchYaw。將感測器裝設在頭戴顯示器上,並讀取YawPitch值,Yaw值顯示使用者頭部旋轉的範圍,Pitch值顯示使用者頭部往上或往下之姿態。為了增加感測器讀取訊號的靈敏度與使用者操作的便利性,處理YawPitch值必須設計邏輯判斷,使操作程式得知現在使用者頭部是左、右轉、點頭或不作動,進行遠端控制時,此代理機器人的動作便能與使用者更為結合。

5DT資料手套也是使用RS-232界面與電腦作為傳輸管道,資料手套具有偵測使用者手腕的自由度,也就是PitchRoll值的感測器,而在資料手套內貼附著光纖並在每隻手指安裝一個感測器,用以讀取使用者手指的彎曲度,在本研究中,只要使用手腕的Pitch值和食指彎曲度訊號,同樣必須經過程式邏輯判斷,成為生理訊號控制指令。

4. 機器人操作測試

如圖6所示為本文發展之生理訊號控制網路代理機器人。此代理機器人的動力裝置由步進馬達所提供,主要可分為兩部份,一是控制CCD攝影機的旋轉自由度,可做出類似頭部點頭或轉頭等動作;此外在此機器人上設計一個夾取機器手,以資料手套所讀取之使用者手部的動作,使夾取機器手能模擬使用者手腕旋轉、手指彎曲度等動作,透過網路進行遠端控制。

6. 生理控制代理機器人

如圖7,此代理機器人的用戶端操作程式是以VB程式語言自行撰寫,使用人機介面設計程式可增加使用者操作上的便利性,將此操作程式架設在網頁上,使用者不需要擁有此專屬程式,只要連接到此指定網頁,輸入控制此代理機器人的伺服端之IP位址,下達操作指令,便能遠端控制此代理機器人。此用戶端程式有兩種操作模式,第一種模式是使用者觀看右邊的視窗螢幕,操作滑鼠點選命令按鈕便能進行遠端控制;第二種模式是啟動感測器後,使用者戴上裝設有感測器的頭戴顯示器,並將影像視窗轉變成全螢幕模式,使用者便依自身的生理訊號直接操作此機器人,如轉頭、手腕運動等。

7. 用戶端操作介面

8為使用者佩戴HMD和資料手套進行遠端控制代理機器人,藉由HMD上所裝設的感測器,讀取使用者頭部轉動情形,透過網路操作代理機器人,使用者欲往哪個方向觀看,代理機器人便會將CCD攝影機轉向,使影像回饋到使用者的HMD螢幕上;當使用者操控資料手套時,此代理機器人上的夾取機械手也會隨之作動。

8. 使用者操作情況

5. 結論與討論

本研究經過實地測試後,有不錯的操作效果,使用者可以轉動頭部觀看所希望的角度,也能操作夾取機械手執行指定動作,唯一不理想的地方是網路頻寬的不足,CCD攝影機所傳回的影像有延遲現象發生,導致影像不清晰,但隨著寬頻網路的到來,這個缺點應可完全改善。

掌握了遠端控制的初步技術,未來方向可朝控制更多步進馬達動力源方向著手,也就是增加此代理機器人的動作自由度。另一方面,使用者可以使用更複雜的生理訊號,例如聲音、踏步等,再加上伺服端無線遙控的方式,擴大此代理機器人的活動範圍,增加代理機器人的功能與實用性,並進而探討使用者進行虛擬的動作,透過網路操作遠端的機械設備的可行性。

本研究成果可以增進人與人之間的溝通與接觸,例如可應用在居家老人照顧上,在外地工作而無法每天回家探望的子女們,透過此遠端控制代理機器人,藉著影像與聲音的傳輸,能與居家老人作最直接的關懷與溝通;也能運用在所處環境會對使用者造成傷害,如核電廠內部操作等,都有很大的發展空間。

6. 誌謝

本研究的完成,最想感謝的是學生的指導教授徐業良老師,在這研究專題裡,老師給予的指導讓學生獲益良多,在遇到困難瓶頸時,適時給予幫助,並不時給予學生鼓勵,謝謝老師。

參考文獻

1.          Goertz, R., and Thompson, R., 1954. “Electronically controlled manipulator,” Nucleonics.

2.          Paulos, E., and Canny, J. 1997. “Ubiquitous tele-embodiment: Applications and implications,” International Journal of Human-Computer Studies/Knowledge Acquisition, Special Issue on Innovation Applications of the World Wide Web.

3.          Paulos, E., and Canny, J. 1998 “Designing Personal Tele-embodiment ” In IEEE International Conference on Robotics & Automation.

4.          梁日輝,“最小侵入式醫療用機械臂之設計與運動模擬系統“,成功大學機械工程研究所碩士論文,2000

5.          陳志明,“遠端機械手臂腹腔鏡手術系統“,中央大學機械工程研究所碩士論文,2000

6.          Sandro Mussa-Ivaldi, 2000. “Neural engineering: Real brains for real robots.” Nature, v 408, p305-306.