前面上傳的文件、圖片、網路搜尋的資料都會先經過chunking,切割成固定大小的文字字串儲存,等待生成簡報時檢索用。檢索使用SQLite作關鍵字搜尋,找出與目標相符的文件,當作候選文件。
但是使用者可能上傳大量的素材,如果全部文件丟進模型會塞滿context,同時導致費用上升、效能下降,所以這邊還需要一個配額機制。

(深橘色是使用者指定的素材,淺橘色是檢索到的素材,其餘未使用)
總體來說檢索機制的目的是在有限的context預算內,找到最相關的資源。所以檢索準確度、context預算都很重要,目前每頁參考資料開放到150k context,是在上傳200份文件的情況,可以正常檢索的長度,同時控制預算在可接受範圍。所以通常來說,文字模型的消耗都不會太大。
另外檢索性能也存在優化空間,例如不使用關鍵字,改為使用BM25/Embedding Model之類的方法,但目前一樣是預算/機器性能的考量,檢索性能暫時夠用,所以還沒打算更換。
素材的功能到這裡講到一段落了,目前平台已經可以上傳/搜尋網路資料當作素材、設計大綱、生成簡報,重點部分設計完成,可以生成一份完整簡報了。接下來的章節會著重一些外圍設計、生成品質實測、改進,目標把簡報平台優化到更好。