前言 有使用過OpenAI或Azure OpenAI平台的開發者，對於Chat Completions API應該不陌生，Chat Completions AP...
前言 Semantic Kernel 提供給了我們一個開發LLM應用的pattern，經過前面的文章內容可以發現到本質上的關鍵還是Prompt，然而，在實際開發...
前言 前面的文章陸續介紹了Semantic Kernel的核心組成，kernel、plugins、connector、Memory，接下來本篇要來介紹最後一個組...
簡介 AI 領域的變化相當快速，很有可能筆者今天寫的介紹，明天框架一個大改就不能用了。或者突然出現一個驚人的模型，取代了所有 Transformer Decod...
簡介 在研究 LLM 相關的授權條款時，主要有三個方向：程式碼的授權、資料集的授權與模型權重的授權。有些相對嚴謹的專案，會將這三種東西的授權設定成不同的授權，而...
續上一篇機器學習 挑戰 - Day 3，我們今天要詳細研究一下如何套用 tensorflow.keras.models的LSTM 來預測BTC的價格。 在應用t...
簡介 要訓練一個模型，首先要有資料。不僅要有很大量的資料，也要有品質很好的資料。資料的品質包含：文句是否通順、格式是否合理、內容是否偏頗、資訊是否有害等等。品質...
前言 一如先前所提，本週迎來Semantic Kernel v1.0.0 Beta1，做為v1.0.0的暖身，當然從preview到v1.0.0不意外的有些破壞...
前言 本篇要來介紹在Semantic Kernel裡，如果要依序執行多個semantic function並且共享上下文，該如何進行？這樣的需求會滿常見的，舉例...
前言 本篇來談談最多人關心的如何在ChatGPT模型中引用企業私有知識庫，目前最常見的做法不外乎是微調(fine-tuning)或embeddings的使用。本...
前言 在連續談了幾篇有關Plugins的使用之後，本篇要暫時脫離Plugins，進入下一個Semantic Kernel組成，稱為Connector連接器。...
簡介 當訓練資料的長度越長，需要的 GPU 記憶體就會越高，因為算出來的梯度會跟著變大。透過 Gradient Checkpointing 可以幫助我們減少梯度...
簡介 在單張消費級顯卡上全微調 (Fully Fine-Tune, FFT) 一個 7B 參數量以上的模型幾乎是不可能的，這時神秘的笑臉再次出手拯救了我們。由...
簡介 接下來要來討論如何微調 (Finetune) 一個大型語言模型。微調 LLM 與微調其他模型其實很相似，但是因為 LLM 的參數量較大，所以訓練的最低需求...
續上一篇機器學習 挑戰 - Day 1，我們今天要來詳細研究一下如何套用machine learning module 來預測BTC的價格。 首先想要研究的是A...
簡介 除了下層的推論框架以外，也有非常多人在關注上層的應用開發，其中最炙手可熱的當屬 LangChain 框架。當我們開始實際使用 LLM 開發相關應用程式時，...
前言 Semantic Kernel做為一個SDK，除了提供一個標準化的開發模式之外，也針對一些常用功能提供內建已標準化的Plugins，這些Plugins稱為...
前言 到目前為所寫的Native Function都是只有一個參數的，但現實場景中多個參數的運用是很常見的需求，本篇內容就來介紹如何建立與使用多參數的Nativ...
簡介 任務導向對話 (Task-Oriented Dialogue, TOD) 聊天機器人，與一般的 Chatbot 不同，TOD Chatbot 有明確的任務...
前言 前一篇介紹如何撰寫 Native Functions，並且示範如何在程式流程中依邏輯順序分別調用 Semantic Function與Native Fun...
簡介 資訊檢索 (Information Retrieval, IR) 在討論如何快速的搜尋使用者想要找到的結果，在 LLM 出現之前已經是個相對成熟的領域，我...
前言 前面二篇談論如何建立與使用 semantic functions，接下來要談的就是Plugins的另一種function型態 - native funct...
前言 在前一篇文章中，探討了Semantic Functions的Inline寫法，透過Prompt Engineering的概念，展現了LLM模型的能力。然而...
簡介 上下文學習 (In-Context Learning, ICL) 是一種語言模型的現象，LLM 可以根據提供的範例來產生預測的標記，而不需要任何額外的微調...
續上一篇LLM 和機器學習的介紹-Part 2，我們繼續討論一些數據建模、LLM和機器學習的示例。 3. 回歸分析 (Regression analysis)回...
續上一篇LLM 和機器學習的介紹-Part 1，我想更深入地介紹一些數據建模、LLM和機器學習的示例。 統計概念大數據以及machine learning的基礎...
前言 前一篇我們認識了Plugins以及它在Semantic Kernel裡的作用，本篇就開始動手來打造Plugins，首先來看的semantic functi...
簡介 Offloading Inference 主要在探討如何讓 GPU 與其他裝置一起協同推論，例如有些運算放在 CPU，有些記憶體暫存在硬碟裡面。這類的方法...
前言 plugins是Semantic Kernel的核心組成之一，主要功用是封裝能力組成，交由Kernel來運行，提升LLM應用的層面，本篇來認識 plugi...
簡介 Text Generation Inference 簡稱 TGI，是由 Hugging Face 開發的 LLM Inference 框架。其中整合了相當...
Ian
Penut Chen
Papii
iThome鐵人賽
看影片追技術