技術 生成式A.I.(AIGC)從0開始 - Tokens 介紹

前面我們也有提到滿多次Tokens的概念，中文又叫分詞像是GPT模型會看到GPT-3.5 turbo 16K、gpt-4 32k這裡的16K就是支援的Token...

技術 【Day - 15】GPT Tokenizer - 計算對話字數

昨天我們完成了和AI對話的功能。然而，由於GPT模型有Token數量的限制，我們無法將無窮無盡的歷史對話上下文訊息全部交給GPT模型處理。這時候，我們就需要借助...

技術 生成式A.I.(AIGC)從0開始 - 第一個LLMs小應用 - 履歷產生器 (2) few-shot prompting

今天繼續完成我們的履歷生成器 目前我們只有一個輸入跟輸出使用者輸入完他的訊息後會回傳履歷給我 那我們想要再給他一些功能讓他寫更好的履歷給我們像是應徵的工作類型，...

技術 Day 12 - 使用 Transformers (3) - Tokenizer(下半部)

解碼 接著前一天的部分繼續說，昨天的整個流程是把自然語言文本再轉到數字 ID，那當然我們也可以把數字 ID 轉回自然語言文本，這個動作稱為 Decoding。...

技術 Day 11 - 使用 Transformers (2) - Tokenizer(上半部)

今天我們要針對昨天說到的三個部份的第一個部分 Tokenizer 來做說明 (會先講一半) 以上圖出自 Hugging Face 官方 Tokenizer 的主...