開始前分享一部12年前的作品，美國舞者Icon Sleepy Tut 的街頭錄影作品！

Icon - The Walk | Tutting | Part 1

在 Day 24 中，我們曾經討論到 Tutting 模擬器的設計願景：簡單直覺、多層進階、真實回饋、可持續性。這樣的目標，意味著模擬器不只是單純的骨架動畫工具，而是要成為一個能夠「互動」、「學習」甚至「回饋」的舞蹈系統。

在 Day 26，我想探索一個新的可能性：利用 Google MediaPipe 技術，將攝影機捕捉的舞者動作，直接轉換為 Tutting 模擬器的即時輸入，實現更自然的互動式舞蹈模擬。

為什麼選擇 MediaPipe？

MediaPipe 是 Google 開源的跨平台框架，內建了許多 姿態與手部追蹤模型，特別適合 Tutting 這種強調手臂與手指角度 的舞蹈。

• 手部追蹤 (Hand Tracking)：21 個關鍵點，可捕捉手掌與手指的角度。
• 全身姿態 (Pose)：33 個關鍵點，涵蓋肩膀、手肘、手腕，可還原 Tutting 的大框架。
• 即時運算：可在瀏覽器（JavaScript）、手機、甚至 Edge Device 上運行。

這意味著，舞者只需要一個攝影機，就能即時把自己的動作映射到模擬器裡。

MediaPipe 與 Tutting 模擬器的結合方式

• 輸入階段
  • 攝影機 → MediaPipe Pose/Hands → 抓取骨架座標 (x, y, z)。
• 數據轉換
  • 計算身體、手肘、手腕、指關節之間的角度。
  • 對應到模擬器的骨架系統與FK/IK 運動學結合。
• 模擬呈現
  • 模擬器即時還原舞者的 Tutting 動作。
  • 可附帶顏色或數值提示（例如角度精準度）。

系統流程規劃

[Camera] → [MediaPipe Hands/Pose] → [關節座標] → [Tutting 模擬器骨架] → [情緒、參數修正] → [輸出動畫]

• 鏡頭輸入：使用者操作 Tutting 動作。
• MediaPipe 偵測：取得 2D/3D 座標 (x,y,z)。
• 映射到模擬器骨架：把座標投射到模擬器的 FK/IK 系統。
• 情緒參數影響：在輸入基礎上，根據「情緒 profile」進行風格化處理（例如張力高 → 自動加強角度延伸）。
• 輸出動畫：模擬器顯示數位舞者，或者回饋學習指標。

結論

MediaPipe 讓 Tutting 模擬器不再只是「滑鼠拖曳遊戲」，讓 Tutting 模擬器從「工具」進化為「互動平台」，成為一個真正的互動工具。

接下來的挑戰：

• 練習系統：即時映射動作，精準回饋。
• 教學系統：教師可即時示範與批改。
• 對戰系統：舞者動作直接作為遊戲輸入，增加互動性。

參考：

https://ai.google.dev/edge/mediapipe/solutions/guide?hl=zh-tw