前言 前一篇以一個簡單的Sample體會如何使用Semantic Kernel，接著就要來細說Semantic Kernel的細節，本篇先從 Kernel開始。...
簡介 vLLM 是來自 UC Berkeley 的 Woosuk Kwon 和 Zhuohan Li 所製作的推論框架，使用 Paged Attention 技...
簡介 ggml 是 ggerganov 開發的一個機器學習框架，主打純 C 語言、輕量化且可以在 Apple 裝置上執行等功能。大概 2022 年底的時候，就常...
簡介 ONNX Runtime (ORT) 與其他推論框架相比，是個相對古老的框架。但是他的泛用性相當高，可以適用於幾乎任何模型上。而 ORT 不只專注在推論上...
前言 前一篇從概觀的角度理解 Semantic Kernel，並且概述了Semantic Kernel核心的5個元素，本篇以一個簡單的Sample來體會一下如何...
人工智慧（AI）最近在科技界成為熱門詞彙，每個人都想參與AI領域。我想分享一下我對AI基礎的學習心得，包括：數據建模、語言學習模型（LLM）和機器學習（ML）的...
Semantic Kernel的實踐：Semantic Kernel 概觀 前言 在開始使用 Semantic Kernel 之前，先從概觀的角度來理解 Sem...
前言 這一篇其實是個意外，前幾天在某個AI大師對談的活動上出現一個提問，在網路上引起了不小的討論，提問是這樣的 什麼是LLM 突然意識在談LLM的開發，但卻...
簡介 雖然多數的 Local LLM 不會像 ChatGPT 一樣高達 175B 的參數量，但即便模型只有 7B, 13B，在只有一兩張 3090, 4090...
簡介 Hugging Face 🤗 Transformers 是訓練 Transformer 模型最知名的套件沒有之一，此套件收入了許多知名模型架構、訓練演算法...
前言 前一篇以一個範例示範在不依賴任何SDK之下，如何用Prompt技巧實作LLM應用，或許接下來的疑問是，那為何需要Semantic Kernel呢？究竟Se...
前言 本篇開始進入LLM應用的開發，首先假設我們只知道LLM以及前面所學到的Prompt技巧，不知道任何的SDK。我想目前多數有在開發LLM應用，應該都是這一類...
大型語言模型（LLM）是指包含數千億（或更多）參數的語言模型，這些參數是在大量文本數據上訓練的，LLM 建立在 Transformer 架構之上，其中多頭註意力...
科科
‧
2023-09-24
前言 前一篇說明目前OpenAI上的可用模型，部份模型已被公告即將退役，因此就沒有特別再提到，接下來很重要的一件事就是，我們必須了解如何使用OpenAI的API...
簡介 在開始實際操作 LLM 之前，我們先來瞭解 LLM 的訓練流程。訓練一個 LLM 通常包含兩個步驟：監督式微調與增強式學習，不過也有許多模型只做監督式微調...
前言 從本篇開始進入開發面的實踐，在進入Semantic Kernel之前，讓我們先前會用的模型做大略的認識，總不能要開發LLM應用，卻不認識模型對吧。目前較為...
前言 經過前面幾篇內容，將Prompt的技法從基本運用到目前幾個研究實驗論文所提出的進階技法，做了一番說明，本篇將引用OpenAI與Micrsoft官方推出的針...
簡介 作為公開 LLM Chatbot 第一人的 ChatGPT，雖然有踩穩市場第一步的優勢，但各大研究單位推出的模型同樣來勢洶洶。在這激烈競爭的 AI 大戰中...
前言 前一篇提到思維鏈（CoT）技法，用於處理邏輯推理、算述運算效果特別不錯，本篇延伸思維鏈（CoT）技法，介紹另一個進階技法Tree of Thoughts...
提示工程（Prompt Engineering）：Prompt 進階技法 chain-of-thought (CoT) 前言 前一篇提到 In-Context...
今天來介紹LLM → Large Language Models 大型語言模型，我們的主題AIGC也離不開大語言模型相信大家一定都有使用過ChatGPT，沒錯C...
前言 前一篇提到Prompt 的基本技法，本篇開始會談一些進階式的用法，首先來看的是In-Context Learning。雖然前一篇的Prompt 基本技法在...
前言 上一篇提到Prompt是LLM模型的誘發劑，本篇接續介紹Prompt的基本用法和一些初階技法，幫助讀者更有效的與這些語言模型互動。 接下來的內容均以Ch...
前言 相信有用過ChatGPT都有發現到，要讓ChatGPT的回應符合我們想要的內容，其中很重要的關鍵是Prompt(又稱提示、詠唱)，本篇就來談談Prompt...
MLOps 發展已經有一段時間，但是在 2020 年才開始逐漸被廣泛討論，這是因為在過去許多企業開始將 AI/ML 應用於生產環境，並開始面臨 AI/ML 應用...
MLOps 的發展也已經經歷了 5 年以上，目前來到了 LLM (大型語言模型) 的時代，而 LLM 的訓練與部署，更是需要更多的資源與時間，因此 MLOps...
過去，我發過一個 action-translate-readme 專案，專案的功能為:"只需要推送更新的README文件，翻譯後的README(zh或...
相信大家用 ChatGPT 都有一陣子了， 也知道 ChatGPT 雖然強大，但是有以下幾個缺點: 無法詢問超過 2021 年以後的問題 無法直接上傳自己的數...
Ian
Penut Chen
Papii
shrine90459
jimmyliao
iThome鐵人賽
看影片追技術