技術 【Day 14】資料 Chunking 與 Embedding 成本評估

在 Day 13，我們討論了Chunking 策略，將 Notion 筆記切分成適合的文字片段，方便送進 Embedding 模型轉換成向量。今天，我們要實作兩...

技術 【Day 13】Chunking 策略：為 Embedding 做好準備

在 Day 12，我們理解了 Embedding 這個將「語意」轉化為「數學座標」的魔法。在我們迫不及待地想把所有筆記都向量化之前，還有一個極其重要、卻也最常被...

技術 Day 11｜實戰 Chunking：從《資通安全管理法》學習切分技巧

今天就開始我們的實作，這次我取用的資料是資通安全管理法，這邊可以直接點擊網站下載。 1. 取得文件內的文字要處理這個文件前，要先取得這個檔案的內容。 # 要先安...