iT邦幫忙

2026 iThome 鐵人賽

DAY 4
0

昨天說到 AI 可以先自查,但「可追溯性」不能只看它有沒有貼網址。今天要驗收一個超常見的錯覺:答案下面排了三個來源,看起來很學術,真的就比較可靠嗎?

先說結論:網址只是門牌,不代表屋子裡真的住著那個答案。

情境:市場調查最容易被「有來源」騙到

我平常做飲品、品牌或競賽市場調查時,常需要整理上市時間、售價、通路與消費者評價。這些資料很適合請 ChatGPT 先找,但也特別容易混在一起:

  • 品牌官網寫的是建議售價
  • 電商頁面顯示的是活動價
  • 新聞報導可能是上市當年的資訊
  • 網友分享只能代表個人感受
  • 搜尋結果摘要甚至可能已經過期

如果 AI 把它們全部排進同一張表,再補上一排連結,畫面很完整,資料身分卻可能全亂了。

今天的實驗:同一個說法,逐層往回查

今天不硬編新的品牌數據,而是用「某飲品售價 49 元」當示範句,檢查來源到底能證明什麼。

我把查核拆成四問:

  1. 誰說的? 是品牌、政府、媒體、通路,還是網友?
  2. 什麼時候說的? 發布日期與查詢日期是否相差太久?
  3. 真的有說這件事嗎? 頁面是否直接支持「49 元」,而不是只提到這項產品?
  4. 適用範圍是什麼? 是建議售價、單店價格、促銷價,還是特定容量?

只要其中一題答不出來,這筆資料就不能直接寫成肯定句。

我使用的來源階梯

等級 來源類型 適合證明什麼
A 政府資料、品牌官方公告、原始研究 規格、政策、正式說法、研究結果
B 可信媒體、學校或專業機構 事件背景、整理與專業解讀
C 零售通路、電商商品頁 當下通路、實售價格與包裝
D 論壇、社群、個人文章 使用感受、問題線索與待查方向

等級不是用來說「D 一定是錯的」。例如要研究口味評價,消費者留言反而很重要;但它不能代替官方資料證明上市日期。來源要和問題配對,才有意義。

AI 附來源時,我最常防四種錯

1. 連結存在,內容卻不支持答案

頁面真的打得開,但只介紹產品,沒有 AI 寫出的那個數字。這叫「有連結,沒證據」。

2. 把不同價格混成同一種價格

建議售價、會員價、促銷價與單店售價意義不同。修正時要把價格類型、容量、通路與查詢日期一起留下。

3. 舊資料穿越到現在

三年前的上市新聞可以證明當時的活動,不能自動代表今天仍有販售。涉及「目前、現在、最新」時,必須重新查。

4. 把個人感受寫成全民共識

幾則留言說「茶味很濃」,只能寫成「部分使用者如此形容」,不能直接變成「消費者普遍認為」。

建立一張證據卡

我現在會要求 AI 每個重要數據都附上:

  • 主張:它想證明什麼
  • 原文重點:來源實際寫了什麼
  • 來源名稱與連結
  • 發布日期與查詢日期
  • 適用範圍
  • 信心等級
  • 尚未確認的地方

這張卡比單純貼「參考資料」麻煩一點,卻能快速抓到牛頭不對馬嘴的引用。

放回五項驗收框架

  • 正確性:數字與原文是否一致?
  • 完整性:日期、容量、通路與價格類型有沒有漏?
  • 可追溯性:能否從結論回到原始頁面與原句?
  • 可使用性:讀者是否知道資料能用在哪裡?
  • 人工修正成本:我需要打開多少個錯誤連結重新找?

今天最重要的發現是:來源愈多,不一定愈可靠。五個互相抄寫的網站,可能只是在把同一個錯誤放大五次。

可以直接交給 AI 的查核指令

請把每項事實整理成證據卡。不得只提供網址;必須說明來源實際支持哪一句、發布日期、適用範圍與限制。若找不到原始來源,標記「無法驗證」,不要用其他網站的轉述補成肯定答案。

今日結論

AI 有附來源,只代表它交了參考資料,不代表通過查核。

真正可用的資料,要能回答「誰在什麼時間、針對什麼範圍、說了哪一句話」。網址不是裝飾品,證據也不是排版元素。下次看到 AI 丟出一長串藍色連結,我會先忍住感動,隨機打開兩個看看再說。

明天,我會接著驗收:同一個問題問兩次,AI 答案不一樣時,到底該信哪一次?


上一篇
Day 3|AI 自己改考卷,真的可信嗎?
下一篇
Day 5|問兩次答兩套,誰才是真的?
系列文
《AI 說完成,我偏要驗收:ChatGPT × Codex 的 30 天成果查核實驗》14
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中
0
lin1015
iT邦新手 5 級 ‧ 2026-09-13 10:43:23

寫完後又想到一個快速查法:先遮住 AI 的答案,只看來源原文,自己寫下一句結論,再回頭比較兩者。如果差很多,通常代表 AI 加了來源沒有說過的推論,或把限制條件偷偷省略了。

0
lin1015
iT邦新手 5 級 ‧ 2026-09-13 10:43:26

我做飲品市場調查時,最常遇到不同通路出現不同價格。以前很容易挑一個數字放進簡報,後來才發現容量、活動期間和會員資格都可能不同。不是資料互相打架,而是我忘了替每個數字留下身分證。

0
lin1015
iT邦新手 5 級 ‧ 2026-09-13 10:43:29

大家看到 AI 附上來源後,通常會全部打開、隨機抽查,還是看到網址就先相信?你曾遇過最離譜的引用錯誤是連結失效、文不對題,還是來源根本沒寫那句話?

我要留言

立即登入留言