iT邦幫忙

2021 iThome 鐵人賽

DAY 14
0
自我挑戰組

來解數學跟刷圖論跟幾何程式題或者我突然想研究的主題系列 第 14

簡單了解VR頭盔中,重要且相輔相成的Eye tracking 與Foveated Rendering技術 1

  • 分享至 

  • xImage
  •  

真的很初步的了解(汗,不一定是對的哈

眼球追蹤技術(Eyetracking)注視點宣染技術(Foveated Rendering)

我們都知道玩遊戲時螢幕的更新率與解析度越高,遊玩體驗更好,VR當然也追求高解析度,但是VR的需要處理的資料也相當的多,一個處理不過來就會造成延遲,我還有看到前幾年有人說他居然邊玩邊吐...雖然不知是真是假,但是這也說明了有這兩個技術的重要性。

 
 

為什麼這麼說呢?這要從人眼的構造開始說起,視網膜上的神經分佈並不是均勻分布的,而是在中央點處有著最多的視神經,所以我們人眼在看東西的時候,只有我們視野中注視的那個點處,是最清晰的,接著周圍就逐漸變得模糊,而我們要獲得一個物體的整體詳細資訊,靠得是我們眼睛不斷移動、對焦,去搜集的。

 
 

而且,我們的大腦其實會自動忽略一些訊息不進行處理,在沒有刻意意識的情況下,通常只會處理眼睛對焦的那一區塊。(所以有些研究心理學或大腦的課程,會給你放那個經典的運球影片,讓你看看你的眼睛都看到了什麼,或沒看到什麼)

 
 

換句話說,若可以不用一直傳輸完整的高解析度的影像,只要把使用者眼睛焦點注視的虛擬場景處的解析度調最高,其他地方的解析度相對低的話,就可以大大降低頭盔傳輸處理影像的運算量啦!

 
 

好的,美好的理想說完了,那是怎麼做的呢?

 
 

先讀讀eye tracking的歷史

以下這邊就是大概大概的節錄這個影片的一些資訊。
Yes

 

最初最初,在醫學上,會使用眼電圖(Electro-OculoGram, EOG),貼三個電極在眼上、眼下、眼角,來追蹤眼球用。

後來也有人直接用攝影機拍攝固定頭部的受試者的眼球移動,還因此解密人眼是如何看一個物體的,眼睛的運動軌跡是如何如何等等...

這些都是1970年代前,就有研究學者做到的事,而且是real-time的。

當時發展的有gaze point algorithm、pupil-center corneal-reflection(PCCR) Method等。

 
 
我們也因此得到眼球追蹤的Performance metrics(影片的26:55處),我另外也有查到別的10個眼球追蹤metrics,不太一樣,留著參考。

 
 
當時用的角膜反射來追蹤瞳孔中心,雖然技術很讚,但實行起來干擾的因素有很多,像是眼鏡的反射,而且需要在暗暗的地方等。

喔,我喜歡這句話:

Most image processing algorithms look at that thing, and they throw up their hands and they say, ‘I don't see an eye in there.’

還有眨眼與不眨眼也會造成問題,oh man,不會像是攝影機要追蹤你的眼睛來好渲染這個酷酷的虛擬世界,但是你眨眨眼表示不可思議,每眨一次眼攝影機要再追蹤處理一次你的眼睛的話,然後雙方開始惡性循環:

機:我要找找你的眼睛,來處理..
你:我在哪(眨眼
機:oh..沒關係我繼續處理
你:恩???(眨眼
機:holy#%#^$%&...

那你大概就會吐了XDD。

 
 

還有瞳孔縮小放大也是個問題,這會需要校正。

 
 

*阿咧等等,VR頭盔罩著我的眼睛,暗暗的,然後頭盔跟我的眼睛之間的相對移動是0。

 
 

如果繼續走實體的VR頭盔路線,就要繼續研究越來越小的硬體以及攝影機,以及螢幕還有鏡片。

現在還沒辦法做到像吊點滴一樣,把影像灌進人眼或人腦,不然也許可以走回用EOG去偵測人眼?

把影像灌進去,又或著說讀寫腦部吧,目前生物體是用電訊號和化學刺激,也就是要與蛋白質合作吧吧吧?啊啊~這部分的研究還不是看得很懂呢,只能說他們目前的研究很需要先進的顯微鏡技術或者說處理組織的方法,例如一般我們認知顯微鏡就是像在google map地圖上查找部分地區,但需要技術去建立完整的google map(像這個是用衛星達成的 吧),還有還有,把組織透明化,才能夠在不破壞組織的完整性下,去進行研究,這樣才能完整的了解腦嘛。

以上我說的兩個:完整的顯微鏡跟組織透明化都是已經有在果蠅(還是老鼠)上做出成果的唷,但要找詳細資訊得翻翻我的筆記才行。

 
 
 

英文單字

pupil center 瞳孔中心
gaze point 凝視點
corneal 角膜
iris 虹膜
hodgepodge list 大雜燴清單
clutter 雜亂
glint 閃爍微光
infrared region 紅外線區
hardline ?不好翻
bifocal 雙焦點
Straddle 跨越
pupil perimeter 瞳孔周長
double-barreled effect 雙管效應 雙管問題
triangular or the asymmetric aperture method 三角形或非對稱孔徑法,不知道是什麼但感覺很重要
inner canthus 內眼角
bogus data 虛假數據
Dry and Congealed Corneas ?乾眼和結膜炎?
ALS 肌萎縮側索硬化症(Amyotrophic lateral sclerosis) 即漸凍人
lubricated 潤滑
squint 瞇(眼)
Ptosis/droopy eyelid 眼瞼下垂
eyelid 眼皮
legitimate 合法的
sphincter muscle (虹膜)括約肌
Gimbal 平衡環架
peripheral vision 周邊視覺

 
 

參考:
https://ictjournal.itri.org.tw/content/Messagess/contents.aspx?&MmmID=654304432061644411&CatID=654313611255143006&MSID=745127177633426074
https://www.youtube.com/watch?v=wi19uS4JFJ4&t=945s
https://imotions.com/blog/10-terms-metrics-eye-tracking/
https://www.kurzweilai.net/projecting-a-visual-image-directly-into-the-brain-bypassing-the-eyes


上一篇
Leetcode: 1315. Sum of Nodes with Even-Valued Grandparent
下一篇
Leetcode: 785. Is Graph Bipartite?
系列文
來解數學跟刷圖論跟幾何程式題或者我突然想研究的主題33
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言