簡介 ggml 是 ggerganov 開發的一個機器學習框架，主打純 C 語言、輕量化且可以在 Apple 裝置上執行等功能。大概 2022 年底的時候，就常...
簡介 在開始實際操作 LLM 之前，我們先來瞭解 LLM 的訓練流程。訓練一個 LLM 通常包含兩個步驟：監督式微調與增強式學習，不過也有許多模型只做監督式微調...
簡介 接下來要來討論如何微調 (Finetune) 一個大型語言模型。微調 LLM 與微調其他模型其實很相似，但是因為 LLM 的參數量較大，所以訓練的最低需求...
提示工程（Prompt Engineering）：Prompt 進階技法 chain-of-thought (CoT) 前言 前一篇提到 In-Context...
簡介 在單張消費級顯卡上全微調 (Fully Fine-Tune, FFT) 一個 7B 參數量以上的模型幾乎是不可能的，這時神秘的笑臉再次出手拯救了我們。由...
前言 前一篇提到Prompt 的基本技法，本篇開始會談一些進階式的用法，首先來看的是In-Context Learning。雖然前一篇的Prompt 基本技法在...
簡介 Hugging Face 🤗 Transformers 是訓練 Transformer 模型最知名的套件沒有之一，此套件收入了許多知名模型架構、訓練演算法...
摘要這篇文章是一篇關於 Ollama 的詳細指南，介紹了 Ollama 這個開源本地大型語言模型運行框架。文章首先介紹了 Ollama 的背景、特性和優點，強...
簡介 除了下層的推論框架以外，也有非常多人在關注上層的應用開發，其中最炙手可熱的當屬 LangChain 框架。當我們開始實際使用 LLM 開發相關應用程式時，...
簡介 vLLM 是來自 UC Berkeley 的 Woosuk Kwon 和 Zhuohan Li 所製作的推論框架，使用 Paged Attention 技...
摘要本文介紹了 LangGraph Studio，一個專為 AI 代理應用程式開發設計的整合開發環境 (IDE)。文章首先介紹了 LangGraph Stud...
摘要這篇文章深入探討了人工智慧領域從單一模型到複合式 AI 系統的轉變，並重點介紹了 AI 代理 的概念和應用。文章首先以智慧打卡系統為例，說明單一模型在處理...
前言 相信有用過ChatGPT都有發現到，要讓ChatGPT的回應符合我們想要的內容，其中很重要的關鍵是Prompt(又稱提示、詠唱)，本篇就來談談Prompt...
簡介 雖然多數的 Local LLM 不會像 ChatGPT 一樣高達 175B 的參數量，但即便模型只有 7B, 13B，在只有一兩張 3090, 4090...
前言 上一篇提到Prompt是LLM模型的誘發劑，本篇接續介紹Prompt的基本用法和一些初階技法，幫助讀者更有效的與這些語言模型互動。 接下來的內容均以Ch...
相信大家用 ChatGPT 都有一陣子了， 也知道 ChatGPT 雖然強大，但是有以下幾個缺點: 無法詢問超過 2021 年以後的問題 無法直接上傳自己的數...
簡介 上下文學習 (In-Context Learning, ICL) 是一種語言模型的現象，LLM 可以根據提供的範例來產生預測的標記，而不需要任何額外的微調...
簡介 Text Generation Inference 簡稱 TGI，是由 Hugging Face 開發的 LLM Inference 框架。其中整合了相當...
簡介 ONNX Runtime (ORT) 與其他推論框架相比，是個相對古老的框架。但是他的泛用性相當高，可以適用於幾乎任何模型上。而 ORT 不只專注在推論上...
Semantic Kernel的實踐：Semantic Kernel 概觀 前言 在開始使用 Semantic Kernel 之前，先從概觀的角度來理解 Sem...
摘要這篇文章深入淺出地介紹了 LangGraph，一種由 LangChain 團隊開發的工具，用於構建更靈活且複雜的 AI 代理工作流程。LangGraph...
最近接觸到要將 LLM 放在 Windows 筆電上運行的案子，需對 llama.cpp 做一些自訂選項的編譯，因此無法直接拿 GitHub 上的 Releas...
前言 前一篇提到思維鏈（CoT）技法，用於處理邏輯推理、算述運算效果特別不錯，本篇延伸思維鏈（CoT）技法，介紹另一個進階技法Tree of Thoughts...
簡介 最近 Hugging Face Transformers 整合了 Flash Attention 2，可以減少記憶體消耗並提昇模型運算的速度，且使用方式非...
簡介 要訓練一個模型，首先要有資料。不僅要有很大量的資料，也要有品質很好的資料。資料的品質包含：文句是否通順、格式是否合理、內容是否偏頗、資訊是否有害等等。品質...
摘要本文探討 LangGraph 框架中的 Function Calling 技術，它是一種讓大型語言模型 (LLM) 能夠與外部工具互動的機制，進而擴展 A...
摘要DSPy 是一個由 Stanford NLP 研究人員開發的框架，旨在簡化大型語言模型 (LLM) 的開發。它以 "Programming, n...
Groq 是一家美國的人工智慧公司，專注於硬體推論加速器的開發，近期以 LPU (Language Process Unit) 聞名。LPU 就跟 CPU 或...
前言 經過前面幾篇內容，將Prompt的技法從基本運用到目前幾個研究實驗論文所提出的進階技法，做了一番說明，本篇將引用OpenAI與Micrsoft官方推出的針...
簡介 Activation-Aware Weight Quantization (AWQ) 是類似於 GPTQ 的另外一種量化方法，同樣也是透過少量的校準資料集...
Penut Chen
Ian
hengshiousheu
iThome鐵人賽
看影片追技術