分享至
Chunking（文字切片）指的是把一大段文字依照一定規則切成小段。
在RAG系統中，我們常會放入很長的文件，例如一整本手冊、醫療報告、課程講義……但是LLM模型一次只能處理有限長度的文字（token），如果不切開，模型根本讀不完，也沒辦法搜尋正確內容。所以我們要先把長文件分割成多個小段（chunks），每段都單獨轉成embedding向量，檢索時就能根據語意快速找到最相關的那一段。
Chunking的常見切法：
IT邦幫忙
妤
iThome鐵人賽
看影片追技術