今天要做的事
將摘要提示詞 v1 完成,並跑看看。
第一輪只用單頁,結果幾乎全過,接著把整個小節 4 頁丟進去跑第二輪,才看到單頁看不到的東西。
寫下 v1 怎麼從方向變成規則、兩輪實測各自看到什麼、還有哪些事我不能下結論。
開場
與 Claude 對話:
請詳細檢閱過進度表及目前為止的每篇文章後,告訴我今日的1計劃、構思與步驟,以及我要提供給你的資料。由於day7跟其他天的內容可能不太一樣,可能推翻了一些先前的構思,若是這樣,你不必再說明一次哪些想法被推翻,請直接採納最新的構思。
Claude 的可行性分析:
- 頁面上印刷的是三位數,PDF 閱讀器顯示的卻是第 1 頁,所以 v1 一律用印刷頁碼,因為我要對照講義時,翻到的就是那個號碼。
- 講義最多 80 頁,卡片彼此獨立,長講義可以分段跑再接起來。不過今天只跑單頁與一小節,分量測試留到 Day09。
- 先深後廣是可行的,先測同一科換頁穩不穩,再測換科目穩不穩,一次只有一個變數。
v1 的設計
- 輸出只有一個程式碼區塊,區塊前後不准有任何字(標題、說明、邀請、問句都不行),所有提醒一律寫進卡片的「警示」欄。
- 欄位標籤是每行開頭的固定名稱,例如「科目:」「公式:」,程式靠它們把卡片切成欄位。九個欄位依序是:科目、講義、頁碼、小節、概念說明、正式定義、公式、我的標記、警示。標籤固定,是因為之後 App 要讀我貼進去的卡片,標籤不固定就切不開。
- 占位符 □,代表「這裡有東西,但我不確定」,用它取代猜測值。規則寫成:任何字元、符號、上下標,只要無法直接在頁面上確認,就寫 □,不可以憑數學常識補上,即使覺得「通常是」某個符號。這是對 Day07 那個 0 ≤ p ≤ 1 的正面回應(原文是 0 < p < 1)。
- 禁止連接語、括號補充、「如下」「見下方」,只有概念說明允許用白話改寫。
- 公式允許重複並標出處,定義裡有的公式,公式欄再列一次,結尾標〔出處:定義 N〕。
- 來源標頭寫「標記:讀」才處理,而且只寫頁面上實際看得到的螢光筆、底線、打勾、手寫字,看不到就寫「無」,不要推測。
- 公式用純文字線性寫法,上標 ^、下標 _、分數 (分子)/(分母)。
測試前先寫的東西
單頁的標準答案:卡片 2 張(小節導言一張、二項分配那一節一張);公式 3 條;標記 7 處(螢光筆 3、底線 1、打勾 1、手寫 1 組兩行),應該標警示的只有手寫箭頭指向不明的那一處。
預期:PDF 版公式全對,標記找到大部分但可能漏一兩個;純文字版公式欄多半變成 □,不再重組出錯,「我的標記」應該寫「無」,順便檢查它會不會編造。
備案:PDF 版如果結果都是 □,就在 v1.1 把「無法確認」的條件修改;純文字版如果仍然重組,就加規則「公式被拆散、順序無法確認時整條寫 □」;格式不穩就附一張範例卡片讓它照著寫。
評分六項:公式是否全對、有沒有猜測值進卡片、定義裡有沒有講義沒有的字、卡片外有沒有多餘文字、標籤是否完整固定(用程式實際切)、該標的警示有標。
第一輪:單頁,PDF 對純文字
設定:Sonnet 5、思考程度 medium,兩個專案外的新對話,同一則訊息貼 v1 和來源標頭。
切欄位測試:Claude 用一小段程式實際切了兩份回覆,各 2 張卡、每張九個標籤依序出現、沒有多出的欄位、標籤沒有出現在內容裡、公式行都有出處、警示行都以 ⚠ 開頭。這一項過,代表 App 之後可以直接讀貼進去的卡片。
PDF 版:
- 公式 3 條全對,含範圍 0 < p < 1,猜測值 0。
- Claude 拿 PDF 的文字層比對三段長句,都一致,也沒有「如下」「見下方」。
- 標記全找到,沒有編造。警示只有 1 則,正好是手寫箭頭那一則。
- 打勾那行多了括號補充,超出固定格式;概念說明裡放了公式,同一條公式出現三次定義、公式欄、概念說明。
純文字版:
- 公式欄幾乎全是 □。v0 是重組錯,v1 是不重組。
- 分段定義裡「1 對成功、0 對失敗」的對應是依版面重組的,它自己有標警示,內容碰巧也對;警示說大括號遺失,卡片裡卻寫了大括號,因為 v1 有一條規則要求分段用大括號、另一條要求看不到就寫 □,兩條在這裡互相打架。
- 空白的差異(例如標題少一個空格)是文字層本來的樣子,不是模型改的,Claude 用程式讀文字層才分辨得出來。
- 「我的標記」寫「無」,沒有編造。但「無」可以同時是「看了沒有」和「看不到」,它靠自己多加一則警示才講清楚,而且那則警示在兩張卡片各寫了一次。
疑問:
Claude 用程式讀這個 PDF 的文字層,發現等號、小於號、大括號其實都在,只是以符號字型的特殊編碼存放,複製貼上時變成空白,連順序都被倒過來(「x = 0, 1」變成「1,0=x」)。
對照預期:
標記我預期會漏一兩個,實際全找到;PDF 版過敏的風險沒有發生;格式不穩也沒有發生。v0 的四個毛病(插入「如下」「見下方」、多出備註區塊、卡片外多字、p 的範圍寫錯)全部不存在。
v1.1
- 概念說明不放公式與符號記法,公式一律放公式欄。
2.「我的標記」每行只寫「種類:被標的字」,不加括號補充或位置說明。
- 純文字來源時,「我的標記」寫「無法判讀(純文字)」,不再另寫警示。
v1.1 全文如下:
【來源標頭】
科目:機率與統計
講義:4
頁碼範圍:N-M
標記:讀
你是大學生的講義摘要助手。這則訊息後面有「來源標頭」和講義內容(PDF 附件或純文字)。請整理成「考試速看重點」卡片。
【輸出規則】
- 整個回覆只能有一個程式碼區塊,所有卡片都放在裡面,區塊前後不得有任何文字,包括標題、說明、總結、提醒、邀請、問句,所有提醒一律寫進卡片的「警示」欄。
- 只處理來源標頭「頁碼範圍」內的頁面,範圍外的頁面完全忽略。頁碼指頁面上印刷的頁碼,不是 PDF 閱讀器顯示的第幾頁。
- 一個有標題的小節一張卡片,小節底下只有導言、沒有定義或公式,也要做一張。每張卡片以一行「=== 卡片 ===」開頭,欄位與順序固定如下,標籤一個字都不要改,不要新增欄位:
=== 卡片 ===
科目:
講義:
頁碼:
小節:
概念說明:
正式定義:
公式:
我的標記:
警示:
標籤一律在行首,後面接半形冒號。欄位內容可以多行,但內容裡不得有任何一行以這九個標籤開頭。沒有內容的欄位寫「無」。
【各欄位怎麼填】
- 科目、講義:照抄來源標頭。
- 頁碼:範圍只有一頁就照抄。範圍有多頁,就填該小節所在頁面印刷的頁碼(跨頁寫「52-53」),必須落在範圍內,讀不到寫「□」。
- 小節:編號加標題,照講義原文,不加不減。
- 概念說明:1~3 句白話,只根據該小節在頁面上的文字。這是唯一允許改寫的欄位。不得加入講義沒有的內容,包括背景知識、你的推論、「後面會介紹」這類預告。不放公式與符號記法,公式一律放在「公式」欄。
- 正式定義:講義上標了「【定義 N】」「【定理 N】」之類的正式陳述,逐字照抄。每一則的第一行是「- 」加原標籤和名稱(例如「- 【定義 5】某某分配 (Some Distribution)」),內容從下一行開始,縮排兩個空格。禁止改寫、省略、換句話說,也禁止加入原文沒有的字,包括連接語、括號補充、「如下」「見下方」「見公式」。定義裡的公式照原位置寫在定義裡。
- 公式:小節裡所有公式與符號記法(含定義裡的),一條一行,開頭是「- 」,結尾加出處,例如「〔出處:定義 5〕」,沒有編號就寫「〔出處:正文〕」。定義裡已經寫過的公式,這裡仍要再列一次。
- 我的標記:只在來源標頭寫「標記:讀」時才處理。只寫頁面上實際看得到的螢光筆、底線、打勾、手寫字,每個一行,格式「- 種類:被標的字或手寫內容」,冒號後面只放被標的字或手寫內容,不加括號補充或位置說明。放在被標記位置所屬小節的卡片。看不到任何標記就寫「無」,不要從內容推測哪裡可能被標記。標頭寫「標記:不讀」則一律寫「無」。如果講義內容是貼在訊息裡的純文字(沒有 PDF 或圖片附件)而標頭寫「標記:讀」,這一欄寫「無法判讀(純文字)」,不要為此另寫警示。
- 警示:每個警示一行,開頭是「⚠ 」,說明位置、原因,以及要對照的頁碼,例如「⚠ 定理 7 的第二條公式:分母的符號無法確認,請對照講義第 52 頁」。手寫字或箭頭指向讀不清楚,也要寫在這裡。
【內容規則】
4. 只整理頁面上有的內容,不補充、不推測、不評論。
5. 數學符號用純文字線性寫法:上標 ^、下標 _、分數 (分子)/(分母)、根號 sqrt(...)、分段用 { 條件一 ; 條件二 };希臘字母和 ≤ ≥ ≠ ∑ ∫ 這類符號直接用。不使用 LaTeX,不使用 $。
6. 不確定就寫 □,不要猜。任何字元、符號、上下標、等號、不等號,只要你無法直接在頁面上確認,就在該位置寫「□」。不可以憑數學常識、常見寫法或上下文補上,即使你覺得「通常是」某個符號。卡片裡只要有「□」,警示欄就要說明是哪一處、為什麼。
7. 如果沒有收到講義內容,或內容無法處理,不要編造卡片,只輸出一個程式碼區塊,內容是:
=== 錯誤 ===
原因:(一句話)
第二輪:把整個小節連續 4 頁丟進去
- 一個小節橫跨 4 頁,這一節底下有 4 則定義、2 則定理、1 個 Note、1 個例題,如此一來會變成一張超大卡片。
- 標記除了螢光筆,還有圈選和方框,還有黃色與粉紅兩種螢光筆;頁面上另有 3 張圖表、1 個例題和一段 R 程式碼。v1 的標記種類只列了螢光筆、底線、打勾、手寫字,也沒有給例題和程式碼任何欄位。
- R 程式碼旁邊的一句註解,和例題「至少」的題意寫法有不同。
- Note 的三個條件句在純文字裡長得一樣,只有從頁面圖像才分得出等於、大於、小於,所以第二輪只跑 PDF 版,純文字加公式不再花實驗。
結果:
- 切欄位: 通過。
- 公式: 13 條全對,組合數的上下標保持講義寫法,Note 的不等號與偏態的配對沒錯,範圍條件的嚴格不等號也沒錯,整份輸出只有 1 個 □,用在我自己也讀不準的一個手寫字上。
- 定義逐字: 4 則定義、2 則定理的敘述句,用文字層比對全部一致。公式尾巴的文字層本身是亂的,比不了,所以公式靠對照頁面圖像。
- 標記: 28 處全找到,種類與數量都對得上標準答案。
- 警示: 2 則,沒有過度標。
- v1.1 的小改:概念說明沒有放公式,標記行沒有括號補充。
- 陷阱: 組合數與不等號配對通過,R 註解與圖內數值兩個陷阱沒有觸發,因為模型根本沒收 R 程式碼,也沒有寫圖裡的數字。
三個沒設計到的缺口:
- 一張超大卡。
- 例題的題目文字、R 程式碼、3 張圖表都沒有收錄,卡片裡也沒有任何一行說這些漏了。
- 模型自創了「圈選」「框選」,卻把「手寫字」寫成「手寫」,種類名稱不固定,App 之後就沒辦法依種類篩選。
備案與 v1.2 候選:
備案在測試前就寫好了,所以是直接切換。v1.2 候選有三個修改,還沒實跑:小節底下有 3 個以上定義、定理、例題、Note 時,每個各一張卡,「小節」欄寫「小節編號標題 / 單位標籤」;標記種類固定為六種(螢光筆、底線、打勾、圈選、框選、手寫字),不准自創或改名;圖表、程式碼這類不整理的內容,要在警示欄寫一行「未收錄」,種類與數量照實寫。
兩個小測試
- Chrome 本機儲存: 已起跑。我用 Chrome 開個人版測試頁,在 A1 存了當天日期,裝置代碼已記下。明天原封重開、不清瀏覽資料,看 A1 和裝置代碼有沒有變:代碼變了代表整個本機儲存被清,代碼沒變但 A1 空了,代表只有那一格被清。
- 預覽版 Artifact 的 PDF 實測: 順延到 Day09。
今日總結
今天把摘要提示詞 v1 寫定並實跑兩輪。第一輪單頁:切欄位測試通過,PDF 版公式全對、標記全找到、警示只有該標的一則;純文字版不再重組出錯,但公式欄幾乎全是 □,我把它列為已知限制,並查證原因是符號字型的特殊編碼。v1.1 做了三個小改後,第二輪把整個小節連續 4 頁丟進去:13 條公式全對、28 處標記全找到、定義逐字,但暴露三個沒設計到的缺口:整節只做成一張超大卡、例題與程式碼與圖表沒收錄也沒說、標記種類自創與改名。備案在測試前就寫好,所以整理出 v1.2 候選,還沒實跑。
今天最大的收穫,是「加大範圍」比「調細規則」更能發現問題。同一份提示詞,在單頁上接近完美,放到整節就出現三個設計缺口。
明日內容
- 先看 Chrome 本機儲存的隔夜結果。
- 用 v1.2 候選和 v1.1 在同樣 4 頁上對照,一次只變提示詞一個變數,看拆卡是否合理、有沒有因此漏標記或分錯卡、種類名稱是否固定、「未收錄」警示有沒有寫。
- 對選定的版本重複跑,量出標記與公式的發生率,而不是單次觀察。
- 量輸出量:1 頁、約 10 頁、整份 39 頁,看輸出會不會被截斷。