我看見你看見的
結合VR與眼動偵測的遊戲--花谷妖精,是一款可記錄玩家眼睛資訊的教育性遊戲。在生機盎然的伊柅村中,玩家將藉由收集各種植物標本、觀察植物的構造來重建百花宴的盛況。
所見及所得,或視而不見?
在課堂上,我們常常看見學生專注地看著老師講解與黑板上的複雜公式,然而他的心思可能早就飛到九霄雲外;或者,熟背各種公式認真解題的學生,努力盯著題目,卻怎樣都解不出正確答案。這些都是學生選擇性接收資訊或未發現關鍵訊息的例子。
在大多數的情況下,視知覺(visual perception)相當地精確,你看到什麼就得到什麼(What you see is what you get)。但人類對物體的知覺並不是單純地藉由眼睛在現實世界開一扇窗,將所見的事物直接複製進腦中。眼前的訊息其實會被選擇性的登錄大腦中,且大腦在解釋所見資料的過程中,觀看者可能根據他的需求、目標、計畫和慾望會選擇性地去注意某件事物,這是一個對周遭環境主動建構且饒富意義的學習。因此,得知學習者的眼睛在何時看向何處、看了多久,是老師們需要瞭解的。
眼動追蹤技術
人類為了能清楚看見或精確的追蹤視覺刺激物,眼球會不停地移動。眼動追蹤(Eye Tracking)即是利用光學儀器來追蹤並紀錄眼球移動的方法。透過觀察並分析眼球移動的軌跡,將可研究人類視知覺或注意力的分布情形。眼球移動追蹤技術(eye movement monitoring)提供了自然、即時且難以造假的測量,已經被廣泛地使用在神經科學、心理學、工業工程、人因工程、行銷╱廣告、電腦科學等領域,並用於探討認知、情緒、動機等議題。
眼動儀應用於數位學習
隨著科技的日新月異,眼動儀器越來越輕巧,也越來越精密,眼動研究方法也更形成熟,因此越來越多數位學習研究都採用眼動技術來瞭解學生的學習歷程。日前我將眼動儀應用於線上影片學習的注意力分析,發現了大部分的學生在觀看動畫影片時,就算已經有中文旁白,還是習慣注視著影片中的字幕;而且在有考試的壓力下,學生更是一股腦地只盯著字幕看,生動活潑且能更清楚呈現程序性知識的動畫反而失去了聚焦的光彩。
將眼動資料作為學習結果的輸出,可用來診斷學習者接收外部訊息的狀況,更可能診斷學習困難發生的位置與時間。同時,也可用於觀察新手與專家的差異,以讓教學者可以了解為何相同教材會使不同個體感受到不同難度,甚至進而引導學習者注意力,以提高學習成效。
近日,因新冠肺炎疫情使然,各國學校紛紛改採線上學習機制,無論是非同步的影片學習或同步的線上會議,少了面對面的接觸與注視,老師就更無法得知學生的學習狀況了。因此,使用眼動儀於觀測學生的學習狀況,讓老師、助教,甚至學習機器人能即時地給予學生協助,是未來相當值得發展的數位技術。
應用眼動技術於數位遊戲
除了透過眼動資料來瞭解學生注意力分布及認知歷程,眼動更可以是系統輸入操控。為強化同學們對眼動技術的運用能力,我帶領資傳系彭新雅、洪暄芝、費顓宇、黃傳翔與苗薪偉等同學,針對國小三年級自然科的「植物的身體」單元,開發一款體感式角色扮演教育性遊戲。此作品採用VR頭盔結合眼動儀,使學生不僅能藉由雙手與遊戲世界互動,更能透過眼睛觀察植物的構造,讓學生深度探索植物的各種樣貌。由於眼睛注視植物結構時,系統會立即性地產生注視亮點,累積夠多注視能量還會有隨機出現的小精靈,讓國小學童更樂於仔細看見各植物的特色。此專題兼具遊戲性與教育目標,因此獲得了臺灣教育傳播暨科技協學會2019年國際學術研討會媒體競賽類「第一名」、第十三屆文化數位創意加值競賽-AR/VR多媒體應用組「第三名」的殊榮。
圖文 / 資訊傳播學系 王岱伊老師
出版 / 2020年5月26日