iT邦幫忙

2025 iThome 鐵人賽

0
生成式 AI

AI 情感偵測:從聲音到表情的多模態智能應用系列 第 19

【TouchDesigner 手部偵測入門 | 用你的手控制視覺互動!】

  • 分享至 

  • xImage
  •  

https://ithelp.ithome.com.tw/upload/images/20251026/20178322M2GDSaPPTO.jpg

在互動展演、沉浸式裝置藝術中「用手就能控制畫面」 一直是最能吸引觀眾、讓人 WOW 的體驗。而如今,不用貴鬆鬆的深度相機,只要一台普通筆電 + TouchDesigner + MediaPipe 就能讓你的手變成魔法控制器!

什麼是 MediaPipe Hand Tracking?

MediaPipe 是 Google 推出的視覺 AI 套件,可偵測 21 個手部關鍵點(包含:手腕、手指關節、指尖等),這些點會輸出
https://ithelp.ithome.com.tw/upload/images/20251026/20178322FLo1p25c4v.jpg
只需要把這些數據轉為互動指令,就能做到:
揮手 → 粒子爆出
捏合 → 縮放模型
指向物件 → 產生光束
V 手勢 → 切換場景
非常適合用來製作互動展演、VR/AR、互動藝術、遊戲

TouchDesigner 節點流程

[Webcam]
    ↓
[MediaPipe TOP → Hand Tracking]
    ↓ (關節位置座標)
[CHOP data]
    ↓
[Hold CHOP] → 平滑追蹤
[Clamp Math COMP] → 範圍重新映射(互動控制專用)
    ↓
粒子 / 物件 / 相機 / 光影控制

核心目的是把手部位置 → 變成可控制視覺效果的數值,只需要你做手勢畫面就跟著動!

為什麼要 Hold CHOP 與 Clamp Math?

https://ithelp.ithome.com.tw/upload/images/20251026/20178322dbloV8a89x.jpg
經過這些處理後,手部控制才會跟藝術裝置一樣「順、穩、美」

用手指,開始互動!

本次課程成果,已能偵測手、已取得手部座標、已完成資料平滑處理、已能控制互動參數,下一步,將這些數據接到:1.粒子發射器 Birth Rate 2.顏色/光暈強度 3.模型或相機位移 4.拖曳物件(3D UI)

今天達成的任務有哪些

https://ithelp.ithome.com.tw/upload/images/20251026/2017832278Xvn5s1Ny.jpg

參考教學影片:
Yes


上一篇
【讓 LSTM 記得更久 — Stateful Training 與 Sequence Batching】
系列文
AI 情感偵測:從聲音到表情的多模態智能應用19
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言