iT邦幫忙

2021 iThome 鐵人賽

DAY 30
1
AI & Data

AI Facial Expression Recognition: Data, Model, Application系列 第 30

[Day 30] 人臉表情辨識App成果發表與完賽感想

-1. Google store link

這七天做的app上架囉! 歡迎下載
https://play.google.com/store/apps/details?id=com.custom.aifer

0. 總之先看看成品

1. 設計理念

我原本在想一個情境,
好讓大家合理地去使用這個App。
比如:「女朋友又生氣了嗎?用這個App確認一下!」
但是我想...會這樣做的人大概已經變成「前男友」了吧!(汗
就在我思考(thinking)要怎麼自圓其說的時候,
想到了App圖示就放思考的表情吧!
ICON

2. App介面圖

能夠操作的就只有兩個按鈕:拍照、相簿
UI

3. 真人圖片辨識範例

為國事感到憂傷的蔡總統

https://ithelp.ithome.com.tw/upload/images/20211004/20141294eiF589g52r.jpg

偶爾放下負擔的蔡總統(燦笑www

https://ithelp.ithome.com.tw/upload/images/20211004/20141294gpFhaXRfeE.jpg

被媒體問到生氣的陳部長

https://ithelp.ithome.com.tw/upload/images/20211004/20141294MaM9YnPSG1.jpg

偶像Lisa仙女般的笑容

https://ithelp.ithome.com.tw/upload/images/20211004/20141294IdFs8VWxl4.jpg

這個齁,我不知道啦(摸頭(燦笑

https://ithelp.ithome.com.tw/upload/images/20211004/20141294Dn1t8YhRSy.jpg

4. 動漫圖片辨識範例

這個是放大後,我很好奇的表情

由於動畫的臉和真實的臉部特徵差不多,模型還算夠general
https://ithelp.ithome.com.tw/upload/images/20211004/20141294dUkOZbopN2.jpg

這個是原版,我很好奇的表情

模型對於"只有人臉"的照片是比較有信心的,
如果背景太多反而會不太確定是哪一類表情。
https://ithelp.ithome.com.tw/upload/images/20211004/20141294FEtmYsXgII.jpg

5. 所以到底有什麼實際用途呢?

目前這個App還算是"靜態的",
其實做成"動態的"會更實用,
比如說用錄影的方式來及時辨識表情

那在甚麼情境會可能用到呢?

  1. 心理諮商:觀察被諮商人的表情變化
  2. 犯罪偵詢:觀察嫌疑犯的表情變化
    如果把攝影機放在雙面鏡後面,應該算可行。
  3. 視訊課程:觀察哪位學生情緒正在低落,做出對應的輔導行為
    尤其現在疫情緊張,大家都用視訊上課的話,老師其實可以一直偵測到學生的表情變化。

6. 缺點

這個可以列舉很多XD

  1. 沒有串接資料庫:如果使用者想要回顧照片的辨識結果,就會需要。
  2. 不能根據使用者的人臉做客製化:如果模型只是放在user手機,就不能及時調整模型以適合各個user。
  3. 錄影功能:及時辨識才是王道,誰還在一次一張辨識?
  4. 社交機制:在這個社交平台至上的時代,如果少了「分享結果到IG」,那這個App註定不會紅
  5. 回饋機制:如果偵測到生氣的表情,手機會震動、背景變紅色。
  6. 創意功能:如果偵測到女友生氣,app自動擬好一篇道歉文,可以讓user複製或是直接用訊息傳送。

7. 完賽感想

這30天中,前7天覺得好痛苦。
但是到了第15天就習慣了,
甚至可以一天產出兩篇文章。
回顧我當時報名比賽時設立的目標:

目標是做出一個人臉表情辨識的手機版應用程式,可能會用到的工具有Python、Visual Studio Code、Kotlin和Android Studio。從零開始清理資料、建立模型、製作程式介面到部署模型。這過程中有許多技巧和理論,也可能會遇到一些問題,想透過這30天跟大家分享。

在寫文章的時候,
我其實也是邊寫文章邊複習,
可惜的是Android Studio的篇幅有點少,
現在回頭看,或許經典CNN網路可以不用介紹,
把更多的篇幅加強app的功能,像是連結雲端資料庫、支援即時影片辨識等等。
雖然只完成了一個功能單一的陽春版app,
但還算是成功了啦!

感謝在臉書不厭其煩被我發文轟炸的朋友,
也感謝每篇都有按讚的朋友/images/emoticon/emoticon02.gif
還有高中同學和大學學長的參賽讓我知道我不孤單~

如果對於此App有什麼建議,歡迎在下方留言!


上一篇
[Day 29] Android Studio 七日隕石開發:影像辨識功能實作!
系列文
AI Facial Expression Recognition: Data, Model, Application30

1 則留言

0
chihying
iT邦新手 5 級 ‧ 2021-10-15 08:17:30

恭喜完賽! 這系列好讚/images/emoticon/emoticon12.gif

謝謝支持 :D

我要留言

立即登入留言