從文字模型走到物理世界

🎬 **影片／照片位置：

觀看重點：找出系統從感測環境、判斷狀態、輸出動作到再次取得回饋的完整閉環。

生成式 AI 可以產生文字、影像與程式碼。Physical AI 則需要把物理世界的狀態轉成可計算資料，根據任務做出決定，再讓機器人回到物理世界採取行動。

兩者最大的差異不是模型名稱，而是錯誤的後果。文字回答錯誤，可以重新查證；機器人的動作錯誤，可能造成碰撞、物件掉落、設備停機，甚至人員風險。

** 什麼條件成立時，一套 AI 系統才算進入 Physical AI 的範圍？**

Physical AI 是一個閉環，不是一個單次答案

可以用四個步驟理解：

這個閉環中，任何一層都可能失敗：

• 感知：相機被遮擋、LiDAR 看不到玻璃、編碼器延遲。
• 理解：物件分類錯誤、定位漂移、模型遇到沒看過的場景。
• 決策：路徑可達但會碰撞，或任務規則漏掉異常分支。
• 行動：馬達飽和、底盤打滑、夾爪沒有真正抓住物件。
• 回饋：系統沒有確認動作結果，就直接進入下一步。

因此，Physical AI 的完成條件不能只寫「模型推論成功」。至少要確認輸入是否可信、動作是否被執行、結果是否符合預期，以及失敗是否能被偵測。

年會中的兩個閉環示例

Reachy Mini 與移動操作

居家移動操作示範把語音、庫存相機、導航與手臂抓取串在一起。使用者提出需求後，系統先查詢庫存，再移動到指定位置，以 AprilTag 或既定地點輔助定位，最後執行抓取。

這個流程不是一個語言模型單獨完成。Navigation2、相機、底盤、手臂控制模型與實際物件位置都必須對齊。ACT 模型在固定地點抓取特定零食較穩定，但物件包裝或位置改變後可能失效，這就是任務分布改變的限制。

Autoware 與自駕平台

Autoware 的示例更能看出模組分工：LiDAR、IMU、GNSS 與車速訊號先建立車輛狀態；定位結果進入路徑規劃；控制系統計算目標速度與轉向；vehicle interface 再把抽象命令轉成油門、煞車、扭矩或伺服馬達命令。

同一套軟體架構可以移植到不同尺寸車輛，但感測器配置、控制介面、車輛動態與安全邊界仍需重新確認。共用架構不等於所有參數可以照搬。

Physical AI 需要什麼資料？

年會第五場以資料金字塔說明，Physical AI 的資料不只是一段文字。可以依層級整理如下：

資料越往上層，數量可能越少，但與任務及人員決策的關係越密切。這些資料如果缺少時間戳記、座標、版本與結果標籤，就很難重播，也很難拿來改善模型。

為什麼模擬會出現在 Physical AI 裡？

Physical AI 的動作會影響真實世界，不適合把所有錯誤都留到實機才發現。數位場景與物理模擬可以先檢查：

• 機械臂是否可達。
• 路徑是否穿過障礙物。
• 兩支手臂是否互相干涉。
• 延遲是否讓抓取點落後。
• 正常路徑與返工路徑是否都能完成。

模擬不能取代實體驗證，但可以把一部分明確的幾何、控制與流程錯誤提早暴露，並留下可重播紀錄。

本篇完成品：Physical AI 閉環檢查表

針對一個機器人任務，先回答：

如果其中一欄只能回答「由 AI 自動判斷」，就表示系統仍缺少可驗證的責任分界。

可以支持到哪裡？

本文提供的是 Physical AI 的工程心智模型，不代表任何特定模型已達成自主操作能力。年會示範與公開專案可以證明整合路徑可被實作，不能直接外推成商用可靠度、產線良率或醫療效益。

今天帶走三件事

1. Physical AI 必須形成感知、理解、決策、行動與回饋閉環。
2. 共用軟體架構可以降低開發門檻，但硬體介面與安全假設仍須逐案驗證。
3. 模擬的價值是提早發現可描述的錯誤，不是取代實體測試。

Day 3 會處理閉環中最重要的一道閘門：即使模型已經輸出動作，為什麼仍要在送往硬體前再檢查一次？