前面我們也有提到滿多次Tokens的概念,中文又叫分詞像是GPT模型會看到GPT-3.5 turbo 16K、gpt-4 32k這裡的16K就是支援的Token...
今天來講 text splitter(文字分割)跟Chunk(切塊) 在平常開發時,我們經常需要處理各種文本數據,例如文章、訊息或說明。有時,我們需要將文本分成...
IT邦幫忙