今天來到我們特徵提取部分的最後一環啦~

把今天的視覺特徵提取方法也學起來之後，之後要怎麼分析都沒有問題了！

那就一起來看看吧！

視覺特徵提取

視覺方面的特徵，主要是透過圖片、影像的中的動作偵測，去提取面部表情或是肢體姿勢，從中了解其中傳達的資訊。

比較常用來分析的模型是CNN，因為他可以自行把我們需要的特徵提取出來，不像之前都要手動取標記。

後來也陸續有深度神經網絡架構被提出來，在初始階段結合局部、全面的特徵學習，或是用的深度三維卷積神經網路（3D-CNN）。

現在大多在研究中使用的公開程式庫有OKAO、CERT、
OpenFace、Facet等等，下面我們來稍微了解一下他們。

OKAO Vision

是日本 Omron 公司開發的（看到OKAO這個字就有一股日本風的感覺XD），主要用於檢測和追蹤臉部的特徵（眼睛、鼻子、嘴巴），並從這些資料中進行情緒、性別、年齡、眨眼平率等等的分析。

比較特別的部分是可以偵測並擷取每一幀圖片中的臉部特徵，抓到0~100的「微笑強度」和眼睛注視方向。

電腦表情辨識工具箱（CERT, Computer Expression Recognition Toolbox）

這個工具的基礎是面部行為編碼系統（FACS），可以自動識別面部肌肉和其傳達的情緒－－又叫臉部動作單元（AUs，可以量化特定區域的肌肉運動）。

使用者可以用這個工具，去提取微笑、頭部姿勢、臉部動作單元，以及八種基本情緒：憤怒、蔑視、厭惡、恐懼、喜悅、悲傷、驚訝、中性。

MultiComp OpenFace 2.0

一樣是有使用FACS系統的，可以支援面部動作單元的偵測，在這個工具庫中，可以提取68個臉部標誌（透過標誌關鍵點，如眼睛、嘴唇、鼻子等部位，構建面部形狀和動態模型）、17個臉部動作單元、判斷頭部姿勢／方向、眼睛注視方向等等。可以實時分析和處理影片，也支援多人的臉部表情分析。

在使用上因為許多功能都可以自訂，所以在一些情緒分析相關的研究中也有被廣泛使用到。

Facet

這是一款商業化的表情是別軟體，和前面兩者相同，也是基於FACS系統，可以對影像或實時的臉部表情進行自動分析，並追蹤20多個遍布表情單元。

分析的基本情緒和CERT差不多，共有七種：憤怒、蔑視、厭惡、恐懼、喜悅、悲傷、驚訝，唯一少的是「中性」。

以上幾款就是最近比較常使用到的視覺特徵提取工具了。

都說「工欲善其事，必先利其器」，在實作之前，把會用到或可能會用到的工具認全是很重要的哦！