iT邦幫忙

2025 iThome 鐵人賽

DAY 2
0
生成式 AI

AI 情感偵測:從聲音到表情的多模態智能應用系列 第 2

【他不能動彈,卻能點餐:機器人如何讓臥床者重獲存在感?】

  • 分享至 

  • xImage
  •  

https://ithelp.ithome.com.tw/upload/images/20250916/20178322sLwzNO9S9Q.jpg

最近看到一個很有感的情緒感測應用,結合以人為本社會關懷與科技,製作了一個遠端控制送餐機器人,由身心不便者、植物人、小兒麻痺患者等失去基本工作能力的對象,操作點餐機為餐廳的客人服務、送餐、聊天,除了滿足顧客的需求外,也提供了無工作能力者被需求感、創造價值感,沒想到居然能透過科技的力量做到如此有意義的事情,雙向滿足了社會上被忽視的需求問題,並且透過科技結合情感,以良善的形式去解決身心不便者無法工作的問題,讓我們來看一段影片吧!

Yes

東京「Avatar Robot Café DAWN ver.β」是 Ory Laboratory 所營運的一間實驗性咖啡廳,其使命超越餐飲本身:它讓身心障礙者(包含臥床者、行動不便者,甚至 ALS 等重症者)能透過遠端操控 OriHime 或 OriHime-D 分身機器人,執行迎接、點餐、送飲與調飲服務。使用者透過手機、平板、甚至眼控等方式,不必親自外出,就能感受到被看見、被需要、被工作的力量。整個空間無障礙設計、細節處處為操作者與訪客考量,輪椅可通、桌椅高度合適、醫療設備充電便利。對操作者而言,看見客人對話時的笑容、被點名服務的那一刻,是對自我價值與存在感的確認;對訪客而言,也是一場溫暖的相遇,讓人明白「真正的溝通」從不簡單。這不只是咖啡廳,更是一個填滿孤獨、重建連結的場所,一個讓「臥床也能活得全」的標誌性案例。

除了常見的語音與語音與聲音分析之外,也有影像辨識面部表情的功能,幫助我們追蹤使用者的情緒、分析情緒反應,可以將影像辨識融入遊戲、VR互動,提升使用者沉浸式感受;除此之外,還能運用於生理感測,例如偵測心率、皮膚電感應、呼吸、壓力,尤其是在醫療中可以用於非接觸式監測,像是筑波大學全方圭一教授的研究小組開發的「非接觸式多模態情緒辨識」(ER),結合患者的聲音、生理反應以及與醫生的對話內容資訊,評估患者情緒,理解與妥善應對患者的情緒,用於提高治療效果與患者滿意度。

筑波大學開發新技術,利用非接觸式AI捕捉情緒,減輕醫師的同理心負擔

透過非接觸式量測降低病人負擔,在臨床環境的應用仍少被深入探討,表達非接觸式科技可以減輕患者的身體和心理負擔,同時也能在自然的對話環境中獲得情緒數據,因此基於以上論點做進行實驗。
實驗設計情境:依先前癌症溝通研究,進行 36 場模擬門診(依據三種情境:確診晚期、復發、終止治療),由三位受過溝通訓練、熟悉 SHARE 模型的安寧醫師與六位專業「模擬病人」參與。
根據實驗結果研究提出的非接觸式多模態、跨模態 Transformer 情緒辨識框架,在臨床近似情境中顯著優於單模態與臨床醫師的情緒判讀;顯示其有望成為臨床溝通與同理支援工具,提升癌症門診等高壓場域的溝通品質,並減輕醫護同理壓力。

Framework for Emotion Recognition Using Cross-Modal Transformers With Non-Contact Multimodal Signals Aiming Clinical Service Support

https://ithelp.ithome.com.tw/upload/images/20250916/20178322bNYibqNOD2.jpg


當然,除了在語音分析、影像識別、生理感測應用之外,情感感測也常應用於智慧家居與社交媒體中,例如Dyson 360 Heurist™智能吸塵機器人,能透過其智能視覺系統導航,隨時知道目前處於房間內的哪個位置,可構建居家環境的地圖,並能連線至Dyson Link應用程式,方便使用者隨時隨地控制。

https://ithelp.ithome.com.tw/upload/images/20250916/20178322MxpJWXBtHO.jpghttps://ithelp.ithome.com.tw/upload/images/20250916/201783227rCA6L7p6B.jpghttps://ithelp.ithome.com.tw/upload/images/20250916/20178322C6gZKCZxw1.jpg


而在長者照護與安全方面有 Walabot Home | 浴室跌倒偵測雷達,7/24異常檢測,精準辨識各種跌倒姿勢並自動警報,這項產品目前在香港販售但資料不完善,可斟酌參考。

在講到目前Apple的HomePod mini,是一款智能語音助理/藍芽喇叭,Siri 可以辨識最多達六位不同家庭成員的聲音,並且為每個人創造個人化體驗,所以當使用者要求 Siri 播放喜歡的音樂時,Siri 為他們各自選播的音樂會有所差異。可透過「個人化要求」,讓Siri辨識特定的人聲,進而從他 iPhone 上的「訊息」、「行事曆」、「提醒事項」以及「聯絡人」等 app 取得個人資訊。
支援「HomeKit 安全錄影」功能,能分析支援攝影機的畫面、偵測是否有人出現,以及辨認熟悉的面孔、寵物和汽車。所有的視訊處理直接在裝置端進行,並經端對端加密傳送到 iCloud,因此了除了你指定分享的對象外,你的錄製內容只有你自己能看到,包括 Apple 也無法看到。

https://ithelp.ithome.com.tw/upload/images/20250916/20178322X19hx48BF7.jpg


想像某天你因病或事故而臥床不起,整個世界彷彿只剩下牆壁與醫院,但東京的 Avatar Robot Café DAWN ver.β 卻讓你有機會遙控一台機器人走出家門,用自己的聲音與微小動作服務客人、與人對話,甚至品嚐咖啡的香氣。

這不只是科技的奇蹟,而是一種尊嚴與價值的回歸——讓那些被限制身體的靈魂,再次被看見、被傾聽,也被需要。

當科技與同理心攜手,一杯咖啡、一場對話,就能照亮無數被世界忽略的角落。


上一篇
什麼是情感計算?
系列文
AI 情感偵測:從聲音到表情的多模態智能應用2
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言