簡介 ggml 是 ggerganov 開發的一個機器學習框架，主打純 C 語言、輕量化且可以在 Apple 裝置上執行等功能。大概 2022 年底的時候，就常...
簡介 在開始實際操作 LLM 之前，我們先來瞭解 LLM 的訓練流程。訓練一個 LLM 通常包含兩個步驟：監督式微調與增強式學習，不過也有許多模型只做監督式微調...
前言 前一篇提到Prompt 的基本技法，本篇開始會談一些進階式的用法，首先來看的是In-Context Learning。雖然前一篇的Prompt 基本技法在...
相信大家用 ChatGPT 都有一陣子了， 也知道 ChatGPT 雖然強大，但是有以下幾個缺點: 無法詢問超過 2021 年以後的問題 無法直接上傳自己的數...
簡介 Hugging Face 🤗 Transformers 是訓練 Transformer 模型最知名的套件沒有之一，此套件收入了許多知名模型架構、訓練演算法...
簡介 接下來要來討論如何微調 (Finetune) 一個大型語言模型。微調 LLM 與微調其他模型其實很相似，但是因為 LLM 的參數量較大，所以訓練的最低需求...
簡介 在單張消費級顯卡上全微調 (Fully Fine-Tune, FFT) 一個 7B 參數量以上的模型幾乎是不可能的，這時神秘的笑臉再次出手拯救了我們。由...
提示工程（Prompt Engineering）：Prompt 進階技法 chain-of-thought (CoT) 前言 前一篇提到 In-Context...
前言 相信有用過ChatGPT都有發現到，要讓ChatGPT的回應符合我們想要的內容，其中很重要的關鍵是Prompt(又稱提示、詠唱)，本篇就來談談Prompt...
前言 上一篇提到Prompt是LLM模型的誘發劑，本篇接續介紹Prompt的基本用法和一些初階技法，幫助讀者更有效的與這些語言模型互動。 接下來的內容均以Ch...
簡介 除了下層的推論框架以外，也有非常多人在關注上層的應用開發，其中最炙手可熱的當屬 LangChain 框架。當我們開始實際使用 LLM 開發相關應用程式時，...
Semantic Kernel的實踐：Semantic Kernel 概觀 前言 在開始使用 Semantic Kernel 之前，先從概觀的角度來理解 Sem...
簡介 雖然多數的 Local LLM 不會像 ChatGPT 一樣高達 175B 的參數量，但即便模型只有 7B, 13B，在只有一兩張 3090, 4090...
簡介 vLLM 是來自 UC Berkeley 的 Woosuk Kwon 和 Zhuohan Li 所製作的推論框架，使用 Paged Attention 技...
簡介 Text Generation Inference 簡稱 TGI，是由 Hugging Face 開發的 LLM Inference 框架。其中整合了相當...
前言 經過前面幾篇內容，將Prompt的技法從基本運用到目前幾個研究實驗論文所提出的進階技法，做了一番說明，本篇將引用OpenAI與Micrsoft官方推出的針...
前言 前一篇以一個範例示範在不依賴任何SDK之下，如何用Prompt技巧實作LLM應用，或許接下來的疑問是，那為何需要Semantic Kernel呢？究竟Se...
前言 前一篇提到思維鏈（CoT）技法，用於處理邏輯推理、算述運算效果特別不錯，本篇延伸思維鏈（CoT）技法，介紹另一個進階技法Tree of Thoughts...
前言 前一篇說明目前OpenAI上的可用模型，部份模型已被公告即將退役，因此就沒有特別再提到，接下來很重要的一件事就是，我們必須了解如何使用OpenAI的API...
簡介 最近 Hugging Face Transformers 整合了 Flash Attention 2，可以減少記憶體消耗並提昇模型運算的速度，且使用方式非...
前言 從本篇開始進入開發面的實踐，在進入Semantic Kernel之前，讓我們先前會用的模型做大略的認識，總不能要開發LLM應用，卻不認識模型對吧。目前較為...
前言 前一篇從概觀的角度理解 Semantic Kernel，並且概述了Semantic Kernel核心的5個元素，本篇以一個簡單的Sample來體會一下如何...
簡介 ONNX Runtime (ORT) 與其他推論框架相比，是個相對古老的框架。但是他的泛用性相當高，可以適用於幾乎任何模型上。而 ORT 不只專注在推論上...
簡介 上下文學習 (In-Context Learning, ICL) 是一種語言模型的現象，LLM 可以根據提供的範例來產生預測的標記，而不需要任何額外的微調...
前言 前一篇以一個簡單的Sample體會如何使用Semantic Kernel，接著就要來細說Semantic Kernel的細節，本篇先從 Kernel開始。...
簡介 要訓練一個模型，首先要有資料。不僅要有很大量的資料，也要有品質很好的資料。資料的品質包含：文句是否通順、格式是否合理、內容是否偏頗、資訊是否有害等等。品質...
簡介 任務導向對話 (Task-Oriented Dialogue, TOD) 聊天機器人，與一般的 Chatbot 不同，TOD Chatbot 有明確的任務...
前言 本篇開始進入LLM應用的開發，首先假設我們只知道LLM以及前面所學到的Prompt技巧，不知道任何的SDK。我想目前多數有在開發LLM應用，應該都是這一類...
前言 本篇來談談最多人關心的如何在ChatGPT模型中引用企業私有知識庫，目前最常見的做法不外乎是微調(fine-tuning)或embeddings的使用。本...
前言 Semantic Kernel 提供給了我們一個開發LLM應用的pattern，經過前面的文章內容可以發現到本質上的關鍵還是Prompt，然而，在實際開發...
大歐派蘿莉
Ian
iThome鐵人賽
看影片追技術