iT邦幫忙

2026 iThome 鐵人賽

DAY 13
0

前幾天驗完企畫,今天正式進入問卷與資料。第一關不是統計,而是題目有沒有偷偷替受訪者回答。

AI 很會把句子修順,但「讀起來順」和「問得中立」不是同一件事。例如:「你是否支持學校提供更方便、更有效率的活動平台?」方便又有效率聽起來這麼美好,按不同意彷彿在反對幸福。這題不是在問態度,比較像把答案扶上紅毯。

今天的示範實驗

我準備三種常見題型,請 ChatGPT 先優化,再逐題抓偏誤:

  1. 引導題:「你是否認同更完善的平台能提升參與意願?」
  2. 雙重題:「你對活動資訊與報名流程是否滿意?」
  3. 預設題:「你較少參加活動的主要原因是什麼?」

第一題先暗示平台有效;第二題一次問兩件事,資訊可能滿意、流程可能不滿意;第三題預設每個人都較少參加。AI 若只調整語氣,三個問題可能一個都沒修到。

我的驗收方式

我不先問「這句好不好」,而是讓每一題通過五道檢查:

查核面向 問卷驗收問題
正確性 題目是否真的在量研究概念?
完整性 題幹、選項、量尺與跳題是否配合?
可追溯性 題目能否對回研究目的或變項?
可使用性 受訪者能否只靠題目做出明確回答?
人工修正成本 回收後才發現問題,是否已無法補救?

接著把一句話拆成三欄:題目想量什麼、受訪者可能怎麼理解、答案會被什麼字影響。只要三欄對不起來,就先不放進正式問卷。

AI 會修語病,不一定會守研究目的

這次最明顯的問題,是 AI 喜歡把題目變得更完整,順手加入「方便」「有效」「優質」等正向形容詞。句子升級了,立場也跟著偷渡進來。

我的修正規則是:一次只問一件事、不預設行為、不替方案加評價。如果要問平台是否影響參與意願,就先分開量目前參與狀況、使用需求與採用意願,不能把因果關係直接塞在題目裡。

可重複使用的反向試讀

寫完題目後,我會做四件事:

  1. 把正向形容詞拿掉,看意思是否改變。
  2. 嘗試站在不同立場回答,看某個答案是否特別難選。
  3. 圈出「以及、並且、同時」,檢查是否一次問兩件事。
  4. 請一位不熟研究的人說出他以為題目在問什麼。

最後一步不能完全交給 AI,因為真正填問卷的是人,不是提示詞高手。

今日結論

ChatGPT 可以當快速的題目檢查員,協助標出引導、雙重與預設;Codex 可以整理題目版本、變項對照與修改紀錄。但問卷的中立性不能只靠一句「請客觀」。題目像方向盤,歪一點點,收回來的資料可能整車都偏。


上一篇
Day 12|KPI 很會漲,成果卻沒跟上
下一篇
Day 14|選項都齊了,受訪者還是卡住
系列文
《AI 說完成,我偏要驗收:ChatGPT × Codex 的 30 天成果查核實驗》14
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中
0
lin1015
iT邦新手 5 級 ‧ 2026-09-22 09:49:41

啊突然想到!可以把選項順序反過來讀一次。如果題幹用了「更好、更方便」,但選項卻從非常同意排到非常不同意,受訪者很可能順著語氣一路點下去。中立不只在題目,也藏在整個作答動線。

0
lin1015
iT邦新手 5 級 ‧ 2026-09-22 09:49:43

我整理問卷時,最怕的不是錯字,而是大家都看得懂,卻每個人理解成不同問題。這種錯誤回收前很安靜,回收後才突然開演唱會,所以我現在更重視小規模試填與口頭追問。

0
lin1015
iT邦新手 5 級 ‧ 2026-09-22 09:51:14

我整理問卷時,最怕的不是錯字,而是大家都看得懂,卻每個人理解成不同問題。這種錯誤回收前很安靜,回收後才突然開演唱會,所以我現在更重視小規模試填與口頭追問。

0
lin1015
iT邦新手 5 級 ‧ 2026-09-22 09:52:18

大家填問卷時,遇過最想翻白眼的是引導題、一次問兩件事,還是題目先假設你做過某件事?哪一種最容易讓你直接關掉問卷?

我要留言

立即登入留言