iT邦幫忙

2025 iThome 鐵人賽

DAY 29
1

延續 <AI 時代獨有的新風險:幻覺> 的議題,這篇我們來討論,當遇到這種新樣態風險時,PM 的幻覺求生術是什麼。

為了不讓自己成為 AI 幻覺的傳播者,你需要掌握幾項關鍵的「反虎爛」生存技巧。你可以把它們想像成一個內建在你腦中的 AI 回應可信度溫度儀,在採納任何 AI 產出的資訊前,先讓它通過這幾道關卡的檢驗。

技巧 1:優化提示詞(Prompt),讓 AI 自我設限

資訊領域有句名言:Garbage in, garbage out。要從源頭減少 AI 亂掰的機率,最好的方法就是下達一個具規格化、非常明確的指令。

具體方式如下:

  1. 要求引用與限制:在你的提示詞中,明確要求 AI 提供所有資訊的來源、出處與時間。

    Prompt 舉例:

    *幫我分析 2025 年 Q3 全球智慧健身市場的競爭格局。
    
    ##限制##
    -來源務必引用具權威性的市場報告或官方新聞稿作為來源
    -在每條論述後附上來源連結與發布日期。
    -如果找不到相關資訊,請直接告訴我「資訊不足」,不得自行想像或過度推論。*
    
  2. 使用提示步驟 + 思維鏈(Chain of Thought) 的提示法:這個技巧會強迫 AI 打開它的思考黑盒子,自問自答。

    Prompt 舉例:

    *請你扮演市場分析專家,分析 胡鬧廚房有限公司 在 2025 第四季可能面臨的市場風險。
    請一步一步地思考,不要求快
    
    ##Steps##
    首先,列出 A 公司在電動車領域的主要競爭對手。
    其次,搜尋這些對手過去六個月內發布的官方財報或公開新聞稿。
    最後,基於這些你找到的資料,分析 A公司在下一季可能面臨的市場風險,並說明你的推論過程。*
    

就算我們下了「好規格」的 Prompt ,還是不能大意。

當你得到回應結果後,你的檢驗步驟才剛要開始,需要做以下:

  1. 檢查來源真實性:AI 有時會編造不存在的網址或報告名稱,請務必親手點擊或搜尋確認。
  2. 評估來源可信度:官方網站、學術論文、權威媒體的報告,可信度高於個人部落格或論壇 thread。 (除了廣告內容之外)
  3. 確認資訊時效性:這份資料是上週發布的,還是三年前的?在快速變動的市場中,時效性決定了資訊的價值。 (必要時可在 prompt 中要求 AI 只找近 N 個月的來源)

技巧 2:用多個 AI 交叉驗證

在重要決定前,你不會只聽一個部門的意見就做決策,對吧?對待 AI 也該如此。把不同的 AI 模型當成來自不同部門、各有專長的專家。

  • 實戰心法:針對同一個複雜問題,同時詢問 ChatGPT、Gemini、Claude 等不同模型。
    • 比對回覆落差:看看它們的答案有哪些共通點,又有哪些互相矛盾的地方。
    • 萃取共識:各方都提到的部分,通常可信度較高,可作為基礎事實。
    • 標記差異點:互相矛盾的部分,正是你需要投入時間手動查核的關鍵風險點。

https://ithelp.ithome.com.tw/upload/images/20251002/20105528SmSDmOcldV.jpg

這個方法雖然比較搞工,但它特別適用於需要多角度分析的「開放性問題」。例如,ChatGPT 可能在創意發想上更勝一籌,Gemini 因為整合了 Google 搜尋,在事實驗證上可能更強,而 Claude 則擅長處理和總結超長篇的財報文件以及寫程式。了解這些工具的特性,有策略性地組合它們,就像組建一支高效的智囊團。

技巧 3:使用搜尋型 AI 工具

這其實是一個小小的偷吃步,與其費力去驗證一個通用型 AI 的答案,不如一開始就使用為搜尋而生的「搜尋工具型」 AI。例如 Perplexity、Felo Search 這類工具,它們的設計,打從 DNA 就是結合搜尋引擎、RAG 與 AI,預設就把引用來源融入了整個功能中。

https://ithelp.ithome.com.tw/upload/images/20251002/20105528xIiOhLGbIT.jpg
當你經常需要最新、可靠且有佐證的數據或事實時,我建議不仿就直接使用這類工具。

舉例一些情境來說:從事金融創新服務者常需比對最新法規變動;研發人員需要評估特定技術框架;投資者則必須定期研究各公司的最新財報。

技巧 4:善用 AI 的自我驗證功能

有些工具走的更前面,已經內建了檢查或驗證功能,例如 Google 的 Gemini,它會用不同顏色標示出它認為「高確信」或「可能不準確」的段落。

https://ithelp.ithome.com.tw/upload/images/20251002/20105528hTHC6oujxq.jpg
值得我們多注意一點的是,這雖然是一個很棒的查實功能,但絕非萬無一失的保證。AI 判斷的「高確信」,可能只是因為它在自己的索引資料庫中找到了大量相似的說法,但這些說法本身可能是錯的。PM 的批判性思維,永遠是最後、也是最重要的那道防線。

實戰場景:一個 PM 驗證流程的進化

讓我們看看一個重構了驗證工作流的情境,會如何處理驗證 AI 回應結果可靠性這件事。

實際場景情境

老闆臨時在走廊上問你:「明年我們的幾個競爭廠商,你覺得誰會先上市新的 OO 產品?」

傳統 PM 的做法

打開 ChatGPT,輸入問題,得到一長串分析。看起來頭頭是道,於是直接複製貼上到下午的會議簡報,最終導致被打臉。這種做法,是把 AI 當成答案產生器,自己則淪落為「抄作業」的學生。

重構後的驗證工作流

  1. 下達限制提示詞:使用技巧 1 的「思維鏈」提示法,要求 AI 基於最新的公開財報、融資新聞和創辦人訪談,分步驟進行推論,並附上所有來源。
  2. 多 AI 交叉驗證:將同樣的問題餵給不同 AI,發現它們對 A 公司的預測一致,但對 B 公司的上市可能性存在分歧。這時,B 公司就成了你的重點懷疑對象。
  3. 用搜索工具型 AI 深入查證:針對 B 公司,你使用 Perplexity 搜尋其近期的融資狀態和監管文件。結果發現,B 公司最近一輪融資並不順利,且其創辦人在某個 Podcast 訪談中曾經有不經意暗示了將延後上市計畫。
  4. 補上你的專業判斷:你綜合了 AI 找到的資料和自己的產業經驗,最終的結論是:「A 公司可能性最高,因為...(AI 提供的共識)。B 公司看似熱門,但根據最新查證的資料,風險很高,原因在於...。而我個人判斷,還需要關注 C 公司,雖然 AI 沒提,但他們的技術長 Vicky 剛從我們這跳槽過去,可能會加速他們的進程。」

發現了嗎?這整個流程,是從把 AI 當成「答案產生器」,進化為把它當成「草稿撰寫器」。AI 的產出,只不過是你思考的起點,而不是終點。你從一個被動的資訊接收者,變成了主動的、批判性的驗證者。

AI 不會取代你,但放任 AI 幻覺可能會讓你被別人取代

在新時代之下,PM 的核心價值正在發生根本性的轉移。你的價值不再是比別人知道得更多、做的更快,因為這點你永遠贏不了那個不用吃飯睡覺,只需要電的傢伙。

此刻,我們需要新的能力:辨真偽、識風險、做決斷。從舊時代的「資訊擁有者和傳遞者」,轉型為「決策品質的守門員」。為此,我們的任務是建立一套工作流,過濾掉 AI 產出中的雜訊、偏見和幻覺,只讓高品質、可信的資訊,流入你和團隊的決策過程中。


上一篇
Day28. AI 時代獨有的新風險:幻覺
系列文
重構工作流-在 AI 的夾擊下,泛 PM 職能應該如何生存並且持續提升管理力29
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言