原作者已歸隱（小隱隱於野，中隱隱於市，大隱隱於朝），並且先前的「萌王莉姆露」帳號已經刪除。以下是原作者文章與資訊的彙整。 iThome鐵人賽2023「用Pyth...
簡介 Activation-Aware Weight Quantization (AWQ) 是類似於 GPTQ 的另外一種量化方法，同樣也是透過少量的校準資料集...
介紹 pandas-ai 是一個開源套件，能夠讓使用者用 Prompt 的方式請 LLM 幫忙分析 DataFrame (等價於excel) 裡面的數據。 使用...
簡介 GPTQ 是透過 Post-Training 的方式對模型進行量化，其準確率與速度通常比 bitsandbytes (BNB) 4-Bit 好一些，是個相...
簡介 最近 Hugging Face Transformers 整合了 Flash Attention 2，可以減少記憶體消耗並提昇模型運算的速度，且使用方式非...
簡介 AI 領域的變化相當快速，很有可能筆者今天寫的介紹，明天框架一個大改就不能用了。或者突然出現一個驚人的模型，取代了所有 Transformer Decod...
前言 前一篇提到 Semantic Kernel對於OpenAI Chat Completions封裝了一些方法，可以幫助開發人員快速的使用以對話為模式的Cha...
前言 有使用過OpenAI或Azure OpenAI平台的開發者，對於Chat Completions API應該不陌生，Chat Completions AP...
簡介 在研究 LLM 相關的授權條款時，主要有三個方向：程式碼的授權、資料集的授權與模型權重的授權。有些相對嚴謹的專案，會將這三種東西的授權設定成不同的授權，而...
前言 Semantic Kernel 提供給了我們一個開發LLM應用的pattern，經過前面的文章內容可以發現到本質上的關鍵還是Prompt，然而，在實際開發...
簡介 要訓練一個模型，首先要有資料。不僅要有很大量的資料，也要有品質很好的資料。資料的品質包含：文句是否通順、格式是否合理、內容是否偏頗、資訊是否有害等等。品質...
前言 前面的文章陸續介紹了Semantic Kernel的核心組成，kernel、plugins、connector、Memory，接下來本篇要來介紹最後一個組...
前言 一如先前所提，本週迎來Semantic Kernel v1.0.0 Beta1，做為v1.0.0的暖身，當然從preview到v1.0.0不意外的有些破壞...
簡介 當訓練資料的長度越長，需要的 GPU 記憶體就會越高，因為算出來的梯度會跟著變大。透過 Gradient Checkpointing 可以幫助我們減少梯度...
前言 本篇要來介紹在Semantic Kernel裡，如果要依序執行多個semantic function並且共享上下文，該如何進行？這樣的需求會滿常見的，舉例...
續上一篇機器學習 挑戰 - Day 3，我們今天要詳細研究一下如何套用 tensorflow.keras.models的LSTM 來預測BTC的價格。 在應用t...
簡介 在單張消費級顯卡上全微調 (Fully Fine-Tune, FFT) 一個 7B 參數量以上的模型幾乎是不可能的，這時神秘的笑臉再次出手拯救了我們。由...
簡介 接下來要來討論如何微調 (Finetune) 一個大型語言模型。微調 LLM 與微調其他模型其實很相似，但是因為 LLM 的參數量較大，所以訓練的最低需求...
前言 本篇來談談最多人關心的如何在ChatGPT模型中引用企業私有知識庫，目前最常見的做法不外乎是微調(fine-tuning)或embeddings的使用。本...
前言 在連續談了幾篇有關Plugins的使用之後，本篇要暫時脫離Plugins，進入下一個Semantic Kernel組成，稱為Connector連接器。...
續上一篇機器學習 挑戰 - Day 1，我們今天要來詳細研究一下如何套用machine learning module 來預測BTC的價格。 首先想要研究的是A...
簡介 除了下層的推論框架以外，也有非常多人在關注上層的應用開發，其中最炙手可熱的當屬 LangChain 框架。當我們開始實際使用 LLM 開發相關應用程式時，...
前言 Semantic Kernel做為一個SDK，除了提供一個標準化的開發模式之外，也針對一些常用功能提供內建已標準化的Plugins，這些Plugins稱為...
簡介 任務導向對話 (Task-Oriented Dialogue, TOD) 聊天機器人，與一般的 Chatbot 不同，TOD Chatbot 有明確的任務...
前言 到目前為所寫的Native Function都是只有一個參數的，但現實場景中多個參數的運用是很常見的需求，本篇內容就來介紹如何建立與使用多參數的Nativ...
簡介 資訊檢索 (Information Retrieval, IR) 在討論如何快速的搜尋使用者想要找到的結果，在 LLM 出現之前已經是個相對成熟的領域，我...
前言 前一篇介紹如何撰寫 Native Functions，並且示範如何在程式流程中依邏輯順序分別調用 Semantic Function與Native Fun...
簡介 上下文學習 (In-Context Learning, ICL) 是一種語言模型的現象，LLM 可以根據提供的範例來產生預測的標記，而不需要任何額外的微調...
前言 前面二篇談論如何建立與使用 semantic functions，接下來要談的就是Plugins的另一種function型態 - native funct...
簡介 Offloading Inference 主要在探討如何讓 GPU 與其他裝置一起協同推論，例如有些運算放在 CPU，有些記憶體暫存在硬碟裡面。這類的方法...
大歐派蘿莉
Ian
Papii
iThome鐵人賽
看影片追技術