iT邦幫忙

2026 iThome 鐵人賽

DAY 20
0
Claude AI

AI工具革命 - 使用AI工作流打造簡報生成平台系列 第 20

Day 20 - 簡報平台設計- 素材資源 (資源檢索)

  • 分享至 

  • xImage
  •  

前面上傳的文件、圖片、網路搜尋的資料都會先經過chunking,切割成固定大小的文字字串儲存,等待生成簡報時檢索用。檢索使用SQLite作關鍵字搜尋,找出與目標相符的文件,當作候選文件。

但是使用者可能上傳大量的素材,如果全部文件丟進模型會塞滿context,同時導致費用上升、效能下降,所以這邊還需要一個配額機制。

  • 指定資源優先: 手動指定的參考資料會優先使用,如果有這一頁必須呈現的素材,就可以手動勾選
  • 相關度: 檢索相關性越高的資源也會優先使用
  • 保底配額: 每份文件保底一個chunk配額,但受到chunk limit上限限制

https://ithelp.ithome.com.tw/upload/images/20260823/20130011i0rVEjtuXW.png
(深橘色是使用者指定的素材,淺橘色是檢索到的素材,其餘未使用)

總體來說檢索機制的目的是在有限的context預算內,找到最相關的資源。所以檢索準確度、context預算都很重要,目前每頁參考資料開放到150k context,是在上傳200份文件的情況,可以正常檢索的長度,同時控制預算在可接受範圍。所以通常來說,文字模型的消耗都不會太大。

另外檢索性能也存在優化空間,例如不使用關鍵字,改為使用BM25/Embedding Model之類的方法,但目前一樣是預算/機器性能的考量,檢索性能暫時夠用,所以還沒打算更換。

素材的功能到這裡講到一段落了,目前平台已經可以上傳/搜尋網路資料當作素材、設計大綱、生成簡報,重點部分設計完成,可以生成一份完整簡報了。接下來的章節會著重一些外圍設計、生成品質實測、改進,目標把簡報平台優化到更好。


上一篇
Day 19 - 簡報平台設計- 素材資源(docx, ppt, txt, MD, IMG...)
下一篇
Day 21 - 簡報平台設計- 資源匯出
系列文
AI工具革命 - 使用AI工作流打造簡報生成平台21
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言