前幾天驗完企畫,今天正式進入問卷與資料。第一關不是統計,而是題目有沒有偷偷替受訪者回答。
AI 很會把句子修順,但「讀起來順」和「問得中立」不是同一件事。例如:「你是否支持學校提供更方便、更有效率的活動平台?」方便又有效率聽起來這麼美好,按不同意彷彿在反對幸福。這題不是在問態度,比較像把答案扶上紅毯。
我準備三種常見題型,請 ChatGPT 先優化,再逐題抓偏誤:
第一題先暗示平台有效;第二題一次問兩件事,資訊可能滿意、流程可能不滿意;第三題預設每個人都較少參加。AI 若只調整語氣,三個問題可能一個都沒修到。
我不先問「這句好不好」,而是讓每一題通過五道檢查:
| 查核面向 | 問卷驗收問題 |
|---|---|
| 正確性 | 題目是否真的在量研究概念? |
| 完整性 | 題幹、選項、量尺與跳題是否配合? |
| 可追溯性 | 題目能否對回研究目的或變項? |
| 可使用性 | 受訪者能否只靠題目做出明確回答? |
| 人工修正成本 | 回收後才發現問題,是否已無法補救? |
接著把一句話拆成三欄:題目想量什麼、受訪者可能怎麼理解、答案會被什麼字影響。只要三欄對不起來,就先不放進正式問卷。
這次最明顯的問題,是 AI 喜歡把題目變得更完整,順手加入「方便」「有效」「優質」等正向形容詞。句子升級了,立場也跟著偷渡進來。
我的修正規則是:一次只問一件事、不預設行為、不替方案加評價。如果要問平台是否影響參與意願,就先分開量目前參與狀況、使用需求與採用意願,不能把因果關係直接塞在題目裡。
寫完題目後,我會做四件事:
最後一步不能完全交給 AI,因為真正填問卷的是人,不是提示詞高手。
ChatGPT 可以當快速的題目檢查員,協助標出引導、雙重與預設;Codex 可以整理題目版本、變項對照與修改紀錄。但問卷的中立性不能只靠一句「請客觀」。題目像方向盤,歪一點點,收回來的資料可能整車都偏。
啊突然想到!可以把選項順序反過來讀一次。如果題幹用了「更好、更方便」,但選項卻從非常同意排到非常不同意,受訪者很可能順著語氣一路點下去。中立不只在題目,也藏在整個作答動線。
我整理問卷時,最怕的不是錯字,而是大家都看得懂,卻每個人理解成不同問題。這種錯誤回收前很安靜,回收後才突然開演唱會,所以我現在更重視小規模試填與口頭追問。
我整理問卷時,最怕的不是錯字,而是大家都看得懂,卻每個人理解成不同問題。這種錯誤回收前很安靜,回收後才突然開演唱會,所以我現在更重視小規模試填與口頭追問。
大家填問卷時,遇過最想翻白眼的是引導題、一次問兩件事,還是題目先假設你做過某件事?哪一種最容易讓你直接關掉問卷?