我以前判斷一筆資料有沒有處理好,方法很直觀:回去看有沒有摘要和標籤,在知識庫裡找不找得到它。有的話,我也會看標籤是不是貼得合理;沒有的話,就再等一下,或開始懷疑哪裡出了問題。
後來才發現,這樣看還是不太夠。
之前測試時,我看過摘要出現了,內容卻跟原本那篇對不上;也看過標籤貼了和主題沒什麼關係的詞。有一次,同一筆資料還出現不只一段摘要,像是相近的內容疊在一起。
後來回頭看,我判斷多段摘要和標籤不相關,與當時的設定有關。不過,光看畫面上的結果,我沒辦法知道資料究竟在哪一步出了問題。
摘要和標籤出現了,至少表示有些處理產生了結果;內容對不對、其他步驟有沒有完成,還得分開確認。

查了程式之後才知道,存入和分析是分開的兩件事。依照送入資料的方式,後面的處理路徑也可能不同。
用 CLI 或 MCP 送入資料時,部分流程會在存入後接著執行分析,等處理後才回傳。從網頁介面送入時,則有先保存、標記待處理,再由背景程序認領的路徑。對我來說,難處在於送出後不容易直接看出它現在走到哪一步。
分析也不只有產生摘要,還包括標籤、向量化與關聯等處理。某些步驟有結果,不代表其他步驟都完成;系統也可能記錄「部分完成」或「失敗」。至於摘要寫得是否貼切,仍要回頭讀內容,不能只靠完成狀態判斷。

查流程時,我才注意到,同一筆資料除了原本的分析,也可能進入失敗後重試、補跑,或 NotebookLM 補強等處理。這讓我想弄清楚:每一次處理是在補哪個步驟?有沒有把已有的內容再加一次?
我測試時看到的多段摘要,當時沒有查到是上述哪條路徑造成的。我判斷它與設定有關,但還需要對照那筆資料的處理紀錄,才能把原因說清楚。現在先把這個現象和可能需要檢查的路徑分開記下來。
像 RAG 的分類或底層判定,我目前沒辦法只靠畫面直接確認;要看懂處理紀錄,還得請 AI coding 協助。所以看到標籤不相關或多段摘要時,我知道結果有問題,卻不容易判斷是哪一步、哪次處理需要檢查。
我希望查看一筆資料時,能知道它是待處理、部分完成,還是處理失敗;如果失敗,也能看到是哪個步驟出了問題。這樣就不用只憑摘要有沒有出現來猜。

程式裡已有分析狀態的記錄;至於我使用的畫面能顯示哪些狀態、顯示到多細,還需要按實際介面核對。圖中右側是我希望改善的呈現方式。
這次讓我在意的,不只是資料最後有沒有摘要,而是送入之後經過了哪些處理。如果只看到最後的卡片,遇到內容不對或重複時,我仍不知道該從哪裡查起。
先把每筆資料的處理狀態與失敗步驟顯示清楚,再拿測試中出錯的資料逐筆對照。我想先從這裡試試看。
待辦
| 項目 | 狀態 |
|---|---|
| 核對目前使用介面已顯示哪些分析狀態 | 待核對 |
| 每筆資料清楚顯示待處理、部分完成與失敗狀態 | 改善方向,待設計驗收 |
| 失敗時指出處理步驟與可採取的下一步 | 改善方向,待設計驗收 |
| 對照測試紀錄,釐清多段摘要與標籤不相關的設定及處理過程 | 待查 |