原文:Designing AI Agents: 4 Lessons from China’s Qwen Agent
文章沒有討論模型能力有多強,而是觀察使用者實際操作 AI Agent 的過程,看看哪些地方做得好、哪些地方容易讓人卡住。以下是文章中提及的四個重點:
文章一開始提到,AI Agent 和一般聊天機器人最大的不同,是它不只是回答問題,而是真的可以幫使用者完成事情,例如訂餐、叫車、訂機票、訂飯店等等。
不過研究中有個很有趣的發現。
當研究人員請受測者訂一杯奶茶時,6 個人裡有 5 個第一時間都是打開平常使用的外送 App,而不是使用 Qwen。
原因不是功能不好,而是大家還沒有建立「可以透過聊天完成交易」的習慣。
為了降低這個門檻,Qwen 提供了兩種入口:
不過文章也提到一個失敗案例。
有位使用者點進「奶茶與餐飲」分類後,系統卻自動送出「幫我訂一碗麵」的 Prompt,讓使用者當場傻眼。
作者認為,像餐飲這種範圍很大的需求,不適合直接幫使用者預填內容。與其猜,不如先問一句:
你想訂什麼?
再提供像是奶茶、麵食、速食等選項,反而比較不容易出錯。
文章提到另一個我很認同的觀點。
使用者不應該為了完成一件原本就很熟悉的事情,而重新學一套新的操作方式。
Qwen 在很多流程中,都刻意沿用了大家熟悉的介面,像是分類、商品列表、商品頁等設計,因此使用者在挑選商品時,會比較有安全感,也能把注意力放在「選什麼」,而不是「怎麼操作」。
有位受測者就提到,原本用聊天點餐時有點不知道自己在哪,但切換到像外送 App 的介面後,馬上就知道怎麼用了。
不過作者也提醒,「熟悉」不代表照搬。
例如 Qwen 用輪播圖(Carousel)一次只顯示一間店家,結果有使用者誤以為只有少數幾家可以選,最後乾脆回到原本的外送 App。
如果是店家很多的情境,用列表、網格,或直接顯示「附近共有 12 間店」等資訊,會更符合使用者的預期。
研究中,有受測者在授權 Taobao 後,Qwen 馬上把完整住家地址顯示在畫面上,而且是在還沒開始挑商品之前。
雖然技術上只是讀取已授權的資料,但因為系統沒有先說明用途,很多人第一個反應都是:
我的地址怎麼突然跑出來?是不是資料外洩了?
即使這只是誤會,一旦使用者開始懷疑,信任就很難建立回來。
作者提出三個改善方向:
AI Agent 的目的,是幫使用者更有效率完成事情。但是效率不能建立在資訊不透明的前提下。
其中一個案例是,使用者看到奶茶只要 1.6 元人民幣,到了結帳才變成 10.2 元,因為系統一直沒有說明運費、包裝費以及最低外送門檻。
另一位使用者在訂國際機票時,AI 已經幫他篩選出三家航空公司,看起來很方便,但卻沒有提供行李額度資訊。
最後,他還是回到原本的旅遊 App 查資料。
這兩個案例其實都有同一個問題。
AI 可以幫忙縮小選項、節省時間,但不能把影響決策的重要資訊省略掉。
如果使用者最後還是得回到其他 App 確認資料,那 AI Agent 帶來的便利就會大打折扣。
看完這篇文章,我最大的感受是:
AI Agent 的挑戰,好像已經不是「能不能做到」,而是「能不能讓使用者放心使用」。
功能再強,如果使用者不知道怎麼開始、不知道 AI 為什麼這樣做,也不相信它怎麼使用自己的資料,最後還是會回到原本熟悉的 App。
所以對 AI Agent 來說,「好用」不只是把事情完成,更重要的是讓整個過程可以理解、可以信任,也保留使用者的控制權。
這篇文章主要分享的是 Qwen 的研究結果,但也讓我想到幾個 PM 和 UX 可以繼續思考的方向。
這篇文章讓我開始思考,Generative UI 到底應該怎麼設計。
以前會覺得既然是 AI Agent,那是不是全部都用聊天完成就好了?但看完 Qwen 的案例後,我反而覺得不一定。
聊天介面比較適合用在「表達需求」的階段,例如使用者說一句:「我想訂一杯奶茶」,AI 可以透過對話慢慢縮小範圍、確認需求。
但真的到了挑商品、比較店家時,我反而覺得切回大家熟悉的介面會更自然。像 Qwen 在選定店家後,就改用類似外送 App 的點餐畫面,使用者不用重新學習新的操作方式,也能更專注在選商品,而不是研究怎麼操作。
如果遇到需要高度透明、需要仔細確認資訊的情境,例如機票選位、填寫個人資料或付款,我認為 Full-page 介面可能會比聊天更適合,讓重要資訊能完整呈現,也比較容易確認每個細節。
看完這篇文章後,我開始覺得,未來的 AI 介面應該不是只有 Chat,而是會根據不同任務,在 Chat、Popup 和 Full-page 之間動態切換。
受測者才剛授權,系統就直接把完整住家地址顯示出來,很多人的第一反應不是方便,而是覺得:「我的資料是不是被看光了?」
這讓我想到,AI 時代的隱私設計,好像不只是「有沒有取得授權」,更重要的是「什麼時候顯示、怎麼顯示」。
如果我是 PM,我會希望遵守幾個原則:
我覺得這種「漸進式揭露(Progressive Disclosure)」的方式,既能維持流程順暢,也比較不會讓人有被監控的感覺。
Qwen 有一個案例是,使用者想訂奶茶,結果系統自動送出了「訂麵」的 Prompt。
我覺得真正的問題不是 AI 猜錯,而是猜錯之後,使用者要花多少成本修正。
如果每次都要重新輸入一整段 Prompt,體驗一定很差。
我反而比較喜歡文章提到的做法,不要急著幫使用者預設答案,而是先多問一句:
你想訂什麼?
然後提供像是「奶茶」、「麵食」、「速食」這種 Quick Chips,讓使用者一鍵修正即可。
另外,整個流程中也應該保留「取消」、「返回」或「調整條件」等操作,讓使用者知道自己隨時都能改變決定,而不是只能一路往下完成流程。
如果未來真的做交易型 AI Agent,我們應該怎麼衡量它到底做得好不好?
除了大家熟悉的 GMV、轉換率之外,我覺得還可以加入一些更貼近 AI 特性的指標。
例如:
另外,我也覺得 PM 未來可能需要建立更多 Eval(評估機制),去量化哪些是好的 AI 回覆、哪些是失敗案例,而不是只看最後有沒有成交。
Qwen 最大的優勢,就是背後有阿里巴巴完整的電商、支付和物流生態,所以很多事情都可以直接完成。
但大部分產品其實都沒有這樣的資源。
如果是中小型產品,我覺得反而可以往另外一個方向思考。
一方面,可以透過 MCP(Model Context Protocol)這類標準協議,串接不同服務,降低資料孤島的問題。
另一方面,也可以把自己的專業知識變成 AI 的 Context。例如把團隊累積的 UX 規範、設計原則、產品知識整理成文件,讓 AI 更理解這個領域,而不是什麼都依賴通用模型。
也許未來真正的競爭力,不一定是誰擁有最多資料,而是誰提供了最有價值的 Context。
以前使用者會自己搜尋、比較很多商品,平台可以透過搜尋廣告、競價排名來獲利。
但如果 AI Agent 最後只推薦 1~3 個選項,那使用者一定會開始問:
為什麼是這三個?
我覺得未來推薦邏輯的透明度,可能會比排序本身更重要。
除了告訴使用者推薦了什麼,更應該說明「為什麼推薦」,例如:
同時,也不能因為商業考量,就刻意隱藏運費、包裝費、行李額度等重要資訊。文章中的案例也證明,一旦資訊不透明,使用者很快就會失去信任。
另外,我也很好奇,不同類型的平台會不會有不同策略。
像交易型產品希望 AI 幫使用者快速完成任務;但 Netflix、YouTube,甚至部分內容平台,可能反而希望使用者多瀏覽、多探索,而不是立刻找到唯一答案。
這或許也是 AI Agent 普及之後,產品設計和商業模式都需要重新思考的一個方向。