手語資料辨識的困難的地方在於，手勢變換很快，而且各式手語系統中都有大量雙手並用的表現形式，可能會因兩手交疊遮住手指動作，或手勢變換的自然顫抖，提高手勢辨識困難度。
「目前最先進的方法都是依賴效能強大的桌機環境，而我們的方法可在手機做到即時追蹤，甚至能延伸到多手部。」Google研究人員官方部落格寫道。
新創公司SignAll所開發的手語翻譯系統便採用多鏡頭多角度拍攝捕捉手勢相對位置，手部動作通常速度很快且微妙，但即便使用多鏡頭和深度感測裝置，追蹤每個動作還是有一定難度。
在這種情況下，研究人員只能盡量減少電腦需篩選的資料量，才能提高反應速度和追蹤精確度。
首先，他們放棄追蹤整個手部大小和位置，相反地，讓系統只找到手掌部位，這代表系統不用處理大量複雜的圖案。
每個強悍的機器學習系統開始階段都需要研究人員大量辛苦的餵資料。為了完成手指辨識部分，研究人員必須手動將這21個座標點加到各種姿勢和光照條件下約3萬張手掌圖。
確定手姿勢後就簡單了，將這些姿勢與已知的手語含義連結，從簡單的字母、數字直到特定含義的手勢。
這種演算法出現還能改進現有的辨識系統，不過距離AI真正理解手語依然還有許多問題需要改善。