• Initial Impressions of ChatGPT’s Agent: Successful, Shaky, and Slow

文章重點整理

1. 任務流程總結

• 用「真人日常場景」測試ChatGPT Agent：搜尋餐廳、進入網站、確認人數、預約、填個資（需人協助）、送出、確認。
• 故意用「弱提示」進行互動，模擬真實用戶行為。

2. 智能互動優缺點

• ChatGPT沒主動追問細節（預算、菜系、交通等），直接進任務流程，缺少關鍵資訊。
• 搜尋時查閱多達96個來源，並用截圖記錄，提升用戶信任。
• 餐廳推介列表只含地點、營業時間、氛圍，缺少菜單與價位資訊。
• 網頁互動遇到彈窗、滾動失靈等障礙但可解決。
• 漏洞：花11分鐘完成預約，人類僅需2分鐘，且過久差點錯過時段。
• 處理表單與選單流程會出錯，會修正錯誤，也能標註過敏資訊。
• 填個人資料需人類介入(human-in-the-loop)，決策關鍵點需人批准保障安全，但降低效率。

3. 成果與警示

• 預約成功，但過程緩慢且易出錯，複雜場景更脆弱。
• Agent依賴初始提示，未主動蒐集所有重要資訊，易漏需求。
• 需主動性、彈性、可靠性提升，才能應對多變現實情境。

4. 結論

• Agent模式是重大里程碑，但尚需速度、主動性、長期可靠性等改進。
• AI成為人類「同伴」的新時代啟幕，人機協同設計、決策門檻仍是核心挑戰。

心得分析

UX 角度

• 努力降低溝通成本：AI應主動追問細節，減少用戶門檻。
• 信任建立：截圖、環節記錄有助於透明度，但資訊組織要貼近決策需求（如菜單與價格）。
• 人機協同流程：關鍵步驟、敏感資訊保留人類決策控制。
• 速度與回饋：效率須大幅提升，否則影響體驗。
• 多元網頁兼容性：AI需能應對不規則設計，避免流程卡住。

PM 角度

• 以真實用戶行為為本，設計主動、彈性互動，主動發掘需求。
• 全自動化需設計合理「決策閘」與安全機制，敏感流程留人類介入。
• 持續驗證可靠性、快速修正瓶頸。
• 教育用戶AI參與邊界，提升透明度與信任。
• 跨場景適應，產品應涵蓋主流與特殊場景，增強通用性。

綜合心得

ChatGPT Agent讓AI更貼近「用戶夥伴」定位，但在主動性、速度、可靠性、協同設計上仍需精進。設計需以真實用戶行為為中心，流程彈性、透明、安全且高效；持續迭代才是普及關鍵。