在互動媒體、藝術裝置與新媒體設計界，TouchDesigner 是創作常用的引擎，因為它善於做即時視覺、音效合成與互動控制。而情感計算（Affective AI / Emotion AI）則是把人的「內在情緒狀態」──像是臉部表情、聲音語調、心跳、生理信號──轉成可量化數值。
當你把這兩者結合，就能做到：人的情緒 → 直接驅動視覺 / 聲音 /裝置效應，讓互動不只是「外部輸入控制畫面」，而是「人內在狀態 ↔ 系統回應」形成對話。
接下來，我會從理論架構出發，帶你走進技術落地、常見挑戰，以及可操作的範例構想。
在做情感互動系統時，常見可分成這四個階段：
這樣的架構能讓你的作品變成「情緒感知裝置」，而不只是死板的互動媒體。
下面是具體操作步驟 + 技術建議，幫助你把情緒模型跟視覺系統串起來。
TouchDesigner 內建 Face Track CHOP 可以直接偵測人臉與追蹤關鍵點（landmarks）。
你可以把攝影機輸入做為 TOP，再接到 Face Track CHOP，從中拿到嘴角、眉毛、眼睛開合等訊號。
若想更靈活或跨平台，也可以在外部用 MediaPipe / OpenCV 辨識 landmark，然後透過 OSC / WebSocket 傳給 TD。
有使用者在論壇提到，他曾用 FaceOSC 或 DeepFace + Python library 整合到 TouchDesigner 做情緒濾鏡。
Reddit
提醒：光線不均、側臉、遮擋（口罩、髮絲）都是人臉偵測常見盲點，實作時要設 fallback 或警示機制。
TouchDesigner 支援在 Script TOP / Script CHOP 模組中寫 Python，載入模型、進行推論，再把結果輸出為 CHOP 或 DAT。
若情緒模型運算成本高，可以把模型跑在另一個進程（外部 Python 程式 / API server），然後用 OSC / TCP 傳回數值。
在 Interactive & Immersive HQ 的文章中，就有介紹如何把 AI 模型整合到 TouchDesigner 裡（像 StreamDiffusion / Stable Diffusion）做即時輸出。
有教學專案 “Real time Stable Diffusion in TouchDesigner” 示範如何在 TD 中整合生成模型做即時互動。
一旦你在 TD 拿到情緒通道（如 happy, sad, surprise 等），下一步就是把這些數字變成有趣的互動效應：
用 Math CHOP / Range CHOP 做數值正規化、線性映射 → 驅動畫面參數（亮度、色彩、粒子速率、模糊量、位移強度等）
用 Logic CHOP / Trigger CHOP 做條件判斷：例如當某情緒分數超過 0.8 時觸發一次閃光或顆粒爆炸
用粒子系統 / GLSL Shader / TOP 特效 結合這些參數創造視覺變化
使用緩動、低通濾波、插值方法（lerp）讓畫面變化更平滑、不突兀
這是我為你設計的互動構想，可以用來實驗整個流程：
這樣的展示，比傳統的人臉辨識更具共鳴感。
在實作過程中，常會遇到下列困難：
延遲 / 同步性問題
情緒辨識如果太慢、畫面更新滯後，使用者會感覺畫面「跟不上我」。要設計合理 buffering、同步機制。
情緒分類偏差與不穩定性
表情／聲音不一定代表真實情緒。建議在模型輸出時保留機率 / 信心水平，而不是硬分類。
光線 / 姿態 /遮擋干擾
若臉部在逆光、側臉、部分遮擋（如口罩）時辨識常失敗。要設 fallback 機制或提示使用者調整位置。
隱私 / 法規 /倫理
如果在公開場合或展覽使用，要明確告知使用者有臉部辨識、影像擷取等，盡可能做本地處理、不保存原始臉部影像。
效能與資源瓶頸
高解析度影像 + 複雜模型會吃 GPU / CPU 資源。要注意效能優化、模型輕量化或分工設計。
在這個版本裡，我們把「人情緒」從抽象、隱形的內在感受，轉化為能看見、能互動的視覺語彙。情感計算 + TouchDesigner 的結合能讓作品更溫度、更具回饋感。
iThome鐵人賽
看影片追技術