iT邦幫忙

2026 iThome 鐵人賽

DAY 27
0

學生會背 CFA(驗證性因素分析)的全名,卻把 CFI(比較配適指標)=.98 解讀成「模型有 98% 正確率」,這份小考就沒有測到我們要的理解。Day 26 已定出四個完成條件,今天依它們設計學習單、小考與互動模擬。先分配學生要做的判斷,再決定媒介,才不會只是把同一段正文換成填空、選項與滑桿。

三種素材,各負責不同證據

素材 學生要做的事 教師看見的學習證據 不能取代什麼
學習單 畫模型、標限制、寫不能下的結論 推理步驟與錯誤位置 獨立遷移
小考 在新情境辨認 fit、validity、MI 誤釋 快速概念辨識 完整模型操作
互動模擬 改 loading/correlation/residual,看 implied pattern 參數—結果的局部關係 真實資料 validation

表格的用途是對齊 objective、activity 與 evidence(證據)。三種素材都完成仍不能證明長期學習成效,還需課堂觀察與更完整評量。

學習單:把六層責任留給學生填

學習單的設計例沿用 Day 17 三因素模型:先給 12 題與空白模型圖,請學生連接因素與指標;再提供一因素、三因素的簡化殘差模式,讓學生指出值得檢查的限制;最後用 CE02 的跨負荷訊號,追問直接刪題會失去什麼內容。這些是頁面安排,還不是已交付的三頁學習單。

學習單不在每格旁放答案。example 階段示範 BE;guided 階段處理 EE;independent 階段由學生完成 CE。教師版 answer key 保存判斷理由與替代答案,不只列單一字詞。

小考:測誤解,不測背誦

一題示例:

三因素 CFA 的 CFI=.98、RMSEA=.04。下列哪一句最可辯護?
A. 模型有 98% 正確率;B. 三構念已獲證明;C. 結果提供部分 internal-structure evidence,仍需檢查參數、residuals 與其他效度證據;D. 所有題目都應保留。

答案是 C,但解析要說 A 把 CFI 當比例正確率、B 越過效度(validity)論證、D 不是 fit(不證明模型正確)能決定。若只顯示「C」,小考不會修正錯誤模型。

另一題給 A/B observed means,不提供 invariance(測量恆等性)結果,正確行動是要求比較測量參數,而不是猜哪群較投入。這讓 Day 18 的 counterexample(反例)進入新情境。

互動模擬:滑桿必須連到可說明關係

模擬只做一個小故事:兩 indicators(指標題目)的因素負荷量(loading)與殘差變異數(residual variance)可調。畫面即時畫出模型隱含相關(model-implied correlation)。另有按鈕加入殘差相關(residual correlation),讓學生觀察「共同變動不一定全來自 factor(因素)」。每次操作記錄輸入、預測、觀察與解釋。

模擬不顯示「效度分數」,也不讓 CFI 隨滑桿變成遊戲得分。它的完成條件是學生能說明哪個參數改變了共變異數(covariance),以及這仍不能證明構念內容。完整估計與真實 sampling variation 留給進階活動。

Claude 協作:先出 mini-spec,再生成素材

我先給 Claude 一份 mini-spec:來源只能是 verified Day(已通過本系列查核) 17–18;列四個 learning objectives;指定 assistance level、輸出 schema(資料結構定義)、禁止主張、stable question IDs 與 answer-key 分離。模型先回傳素材藍圖,我核對後才請它寫題目或介面內容。

驗收候選內容時,可用兩個例子判斷是否偏離目標:只問「CFA 全名」無法觀察模型解釋能力;加入「AI 自動判定最佳模型」也可能跳過學生應做的比較。前者應改成情境判斷,後者應讓學生先提出預測與理由,再觀察結果。這裡是設計裁決的示範,未附生成前後的實測紀錄。

反例:答案洩漏藏在提示裡

學習單的提示寫「請記得 fit 不等於 validity」,下一題正好問 fit 能否證明效度。學生不需理解就能複製。alignment check 因此不只看答案是否另檔,也看提示、alt text、檔名與程式變數是否洩漏。

題目考的正是這張表的第三欄:

指標 它摘要什麼 它不能證明什麼
CFI/TLI 相對 baseline model 的改善 構念可區分
RMSEA 近似誤差與自由度 模型正確
SRMR 標準化殘差的平均大小 題目測到對的東西

第二個 failure case(失敗案例)是互動模擬允許把因素負荷量調到 1.5,卻沒有警告標準化解釋與不合理參數。輸入範圍、zero/empty values 與 boundary messages 都是教學內容;若系統自動截值,需告知學生發生了什麼。

第三個反例是三種素材各用不同題目文字。stable ID 與版本檢查確保 CE02 在學習單、小考、模擬和教師版一致;若教學情境需要改寫,建立 student variant ID 並說明不再是同一 observed 題目(item)。

跨素材走查可以從小考題的穩定 ID 開始,回到完成條件、教師版主張與來源。本篇把 CFA-Q02 當作未來題庫的示例 ID;目前沒有獨立題庫檔可供測試。若任何一段接不上,即使題目流暢也先留待修正。Day 29 會用同一條路徑說明驗收。

若要把上面的選擇題真正放進課程,還須把題目與解析分成學生、教師兩個交付版本。本文是教師設計示例,因此直接列答案;這不代表學生評量頁也應包含相同文字。版本、用途與受眾要一起確認,答案隔離才有明確的檢查對象。

素材完成後要回查同一個目標

原問題的答案是:素材不是文章換格式,而是同一 verified claims(需來源支持的主張)對應不同學習動作與證據。基礎層先完成學習單;發展層用小考與模擬交叉檢查;研究層可進評量設計(assessment design)、題目分析(item analysis)與 learning analytics,但本系列不蒐集真實學生資料。

本篇留下三種素材的設計要求、一題附解析的選擇題,以及一題群體比較情境;互動模擬目前只有規格,尚未提供可操作介面。下一篇依這些需求設計 AI 助教的提示政策,讓它配合練習階段,並守住來源與評量答案的邊界。

來源與協作揭露


上一篇
同一章不能直接交給學生:從教師版轉譯成學生版
系列文
不是叫 AI 寫教科書:大學教師用 Claude 自學心理計量,打造可驗證、可再教的客製化教材 共 27 篇
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言