簡介 除了下層的推論框架以外，也有非常多人在關注上層的應用開發，其中最炙手可熱的當屬 LangChain 框架。當我們開始實際使用 LLM 開發相關應用程式時，...
前言 Semantic Kernel做為一個SDK，除了提供一個標準化的開發模式之外，也針對一些常用功能提供內建已標準化的Plugins，這些Plugins稱為...
前言 到目前為所寫的Native Function都是只有一個參數的，但現實場景中多個參數的運用是很常見的需求，本篇內容就來介紹如何建立與使用多參數的Nativ...
簡介 任務導向對話 (Task-Oriented Dialogue, TOD) 聊天機器人，與一般的 Chatbot 不同，TOD Chatbot 有明確的任務...
前言 前一篇介紹如何撰寫 Native Functions，並且示範如何在程式流程中依邏輯順序分別調用 Semantic Function與Native Fun...
簡介 資訊檢索 (Information Retrieval, IR) 在討論如何快速的搜尋使用者想要找到的結果，在 LLM 出現之前已經是個相對成熟的領域，我...
前言 前面二篇談論如何建立與使用 semantic functions，接下來要談的就是Plugins的另一種function型態 - native funct...
前言 在前一篇文章中，探討了Semantic Functions的Inline寫法，透過Prompt Engineering的概念，展現了LLM模型的能力。然而...
簡介 上下文學習 (In-Context Learning, ICL) 是一種語言模型的現象，LLM 可以根據提供的範例來產生預測的標記，而不需要任何額外的微調...
續上一篇LLM 和機器學習的介紹-Part 2，我們繼續討論一些數據建模、LLM和機器學習的示例。 3. 回歸分析 (Regression analysis)回...
續上一篇LLM 和機器學習的介紹-Part 1，我想更深入地介紹一些數據建模、LLM和機器學習的示例。 統計概念大數據以及machine learning的基礎...
前言 前一篇我們認識了Plugins以及它在Semantic Kernel裡的作用，本篇就開始動手來打造Plugins，首先來看的semantic functi...
簡介 Offloading Inference 主要在探討如何讓 GPU 與其他裝置一起協同推論，例如有些運算放在 CPU，有些記憶體暫存在硬碟裡面。這類的方法...
前言 plugins是Semantic Kernel的核心組成之一，主要功用是封裝能力組成，交由Kernel來運行，提升LLM應用的層面，本篇來認識 plugi...
簡介 Text Generation Inference 簡稱 TGI，是由 Hugging Face 開發的 LLM Inference 框架。其中整合了相當...
前言 前一篇以一個簡單的Sample體會如何使用Semantic Kernel，接著就要來細說Semantic Kernel的細節，本篇先從 Kernel開始。...
簡介 vLLM 是來自 UC Berkeley 的 Woosuk Kwon 和 Zhuohan Li 所製作的推論框架，使用 Paged Attention 技...
簡介 ggml 是 ggerganov 開發的一個機器學習框架，主打純 C 語言、輕量化且可以在 Apple 裝置上執行等功能。大概 2022 年底的時候，就常...
簡介 ONNX Runtime (ORT) 與其他推論框架相比，是個相對古老的框架。但是他的泛用性相當高，可以適用於幾乎任何模型上。而 ORT 不只專注在推論上...
前言 前一篇從概觀的角度理解 Semantic Kernel，並且概述了Semantic Kernel核心的5個元素，本篇以一個簡單的Sample來體會一下如何...
人工智慧（AI）最近在科技界成為熱門詞彙，每個人都想參與AI領域。我想分享一下我對AI基礎的學習心得，包括：數據建模、語言學習模型（LLM）和機器學習（ML）的...
Semantic Kernel的實踐：Semantic Kernel 概觀 前言 在開始使用 Semantic Kernel 之前，先從概觀的角度來理解 Sem...
前言 這一篇其實是個意外，前幾天在某個AI大師對談的活動上出現一個提問，在網路上引起了不小的討論，提問是這樣的 什麼是LLM 突然意識在談LLM的開發，但卻...
簡介 雖然多數的 Local LLM 不會像 ChatGPT 一樣高達 175B 的參數量，但即便模型只有 7B, 13B，在只有一兩張 3090, 4090...
簡介 Hugging Face 🤗 Transformers 是訓練 Transformer 模型最知名的套件沒有之一，此套件收入了許多知名模型架構、訓練演算法...
前言 前一篇以一個範例示範在不依賴任何SDK之下，如何用Prompt技巧實作LLM應用，或許接下來的疑問是，那為何需要Semantic Kernel呢？究竟Se...
前言 本篇開始進入LLM應用的開發，首先假設我們只知道LLM以及前面所學到的Prompt技巧，不知道任何的SDK。我想目前多數有在開發LLM應用，應該都是這一類...
大型語言模型（LLM）是指包含數千億（或更多）參數的語言模型，這些參數是在大量文本數據上訓練的，LLM 建立在 Transformer 架構之上，其中多頭註意力...
科科
‧
2023-09-24
前言 前一篇說明目前OpenAI上的可用模型，部份模型已被公告即將退役，因此就沒有特別再提到，接下來很重要的一件事就是，我們必須了解如何使用OpenAI的API...
簡介 在開始實際操作 LLM 之前，我們先來瞭解 LLM 的訓練流程。訓練一個 LLM 通常包含兩個步驟：監督式微調與增強式學習，不過也有許多模型只做監督式微調...
Penut Chen
Ian
Papii
iThome鐵人賽
看影片追技術