之前有陣子再做關於視線估計的演算法，
今天再分享一篇視線估計經典的論文：
Eye Tracking for Everyone

是CVPR2016的論文，
眼部追蹤技術在過去 40 年來，已被廣泛應用於心理學實驗和市場研究，
但由於其昂貴的硬體成本（高達幾十萬），使得它距離普通消費級應用十分遙遠。

之前也有廠商嘗試過將這一技術應用於消費產品中，
例如三星 Galaxy S4 基於普通鏡頭的眼部追蹤翻動手機頁面功能，然而產生的最大問題就是精度差，受環境光影響嚴重，不同人種更是差異巨大，所以三星後來去掉了這一功能。

在此之前，眼部追蹤相關的研究，主要問題在於需要昂貴的外部設備，或是在現實環境的條件下非常不精確
所以他們想要解決這個問題，將Eye Tracking 技術帶給每個人
因此他們用機器學習開發了一個只需應用普通鏡頭，能在一般行動裝置上運行的系統
可以將任何一支手機都變成眼球追蹤裝置，大大降低了眼球追蹤技術應用的成本，並且精度提高一大截。

GazeCapture

我們知道training data 越多，CNN系統的錯誤率會越低，效果會更好
但他們發現以往最大的eye tracking 數據約只有50個用戶注視模型的data，
主要原因是需要邀請測試者來到實驗室才能收集數據，若要擴大dataset耗費成本和時間可觀，
因此他們用一個創新的方式來收集數據，就是”眾包“(crowdsourcing)
眾包：透過網路平台，將工作外包給志願者完成，換取小額報酬

所以他們開發了一款名為 GazeCapture 的 iOS app，並且在Amazon 的眾包平台上發布，給用戶下載
就能夠收集到人們在實驗室之外的不同環境中觀看手機的方式。

運作方式是
會在屏幕上隨機出現一個小點，之後小點會變成 L 或 R ，並讓用戶通過點擊屏幕左側或右側，這是為了確保用戶集中注意力。然後藉助前置鏡頭記錄用戶的目光。並且他會要使用者改變頭的角度，或是手機的方向

他們透過這個方式收集到將近1500個user的gaze data,
並且包含不同人種、背景、光線還有頭的角度

iTracker

然後他們建構了一個CNN卷積神經網路系統iTracker， iTracker 能辨識出頭部和眼球的位置與方向，確定用戶的目光究竟看向螢幕的哪個位置。

input: 左眼、右眼、臉部的影像、還有一個標示出圖片中臉部位置的mask
output: 是離攝影機的距離值，單位是公分
精確度可以達到1.5公分，這是目前相關研究中最好的結果。

iTracker在其他dataset也可以已有很好的表現。