技術 Prompting engineer 提示工程 : Text Splitter、Chunk 文字分割分塊

今天來講 text splitter(文字分割)跟Chunk(切塊) 在平常開發時，我們經常需要處理各種文本數據，例如文章、訊息或說明。有時，我們需要將文本分成...

技術 生成式A.I.(AIGC)從0開始 - Tokens 介紹

前面我們也有提到滿多次Tokens的概念，中文又叫分詞像是GPT模型會看到GPT-3.5 turbo 16K、gpt-4 32k這裡的16K就是支援的Token...