上篇在這裡：1

今天來繼續簡單了解Foveated Rendering吧～

眼睛的中央處(Foveal)是視覺最清晰的地方，我找了些簡單的科普影片。

(from: https://www.youtube.com/watch?v=Rd8ao8B-J48&ab_channel=Jelvix)

Foveated Rendering是在Eye tracking有做好的情況下，將畫面按照人眼看東西的解析度進行分別傳送，越是週邊的影像就傳送越低解析度的影像。

這兩個技術的概念就這樣。

那技術實現的部分

Eye tracking

Eye tracking除了用紅外光去找retina最亮的地方，現在也是有用機器視覺的方法去找眼睛瞳孔。

不知道頭盔用哪種比較實際，可能還是單用紅外光比較好？不然在暗暗的頭盔內部，還要再裝個小型攝影機看你的眼睛好像不是那麼實際。

看了The Verge試用Vive pro eye，他後面有說到

...They put the rings inside of the goggles on the Vive pro. So they're on the outer rim.
It tracks where your retinas are moving as you're looking through a scene using little pulses of light

　
看來應該是用紅外光找的沒錯。

　
　

(from: https://www.youtube.com/watch?v=lxsLOnY9Yg4&ab_channel=TheVerge)

(from: https://youtu.be/nvNjlKp9-co)

Vive Pro應該是把Pupil Labs的眼動追蹤器裝在上面，可以看到圖片裡鏡片外面那一圈(rings)，就是眼動追蹤器，Vive Pro 2就沒有這麼明顯的一圈，不知道是內裝了還是？

Foveated Rendering

這個技術，涉及到影像處理，在有了眼睛瞳孔注視點的位置後，將把注視點外的解析度降低，提高注視點的解析度。

既然是影像處理，現在電腦裡玩的遊戲都會需要用到GPU來處理影像，我看Nvidia的Gpu也說他有提供Foveated Rendering。

假設真的是交由Gpu來處理Foveated Rendering的話，那處理資料的步驟：

1. 眼動追蹤器接收使用者瞳孔位置資訊
2. 透過傳輸線傳送資訊給電腦
3. GPU利用眼動資訊渲染畫面
4. 透過傳輸線把渲染畫面傳給頭盔內螢幕顯示

　
　
　
歐哇，這樣的話，我記得GPU處理越快的越大顆，這樣要怎麼做一體成型的VR頭盔啊？

這樣讓我很好奇Valve Index呢！他們說即將推出一體成型的頭盔。

之後...

接下來不知道要去看什麼才是對的，但我又在Pupil labs那看到hololens，貌似是屬於MR的一種，MR還有AR之間的差別到底是什麼啊？

參考：
https://www.youtube.com/watch?v=Rd8ao8B-J48&ab_channel=Jelvix

https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7903250/
https://docs.pupil-labs.com/vr-ar/hololens/#install-the-hololens-add-on
https://developer.nvidia.com/blog/nvidia-vrss-2-dynamic-foveated-rendering-no-assembly-required/