iT邦幫忙

llm相關文章
共有 443 則文章
2 Like 0 留言 5239 瀏覽
鐵人賽 AI & Data DAY 28
LLM 學習筆記 系列 第 28 篇

技術 LLM Note Day 28 - 資料集 Datasets

簡介 要訓練一個模型，首先要有資料。不僅要有很大量的資料，也要有品質很好的資料。資料的品質包含：文句是否通順、格式是否合理、內容是否偏頗、資訊是否有害等等。品質...

Penut Chen ‧ 2023-10-13 ‧團隊消波塊上的海洋貓貓
0 Like 0 留言 1727 瀏覽
鐵人賽 AI & Data DAY 26
OpenAI 從提示工程（Prompt Engineering)到語義核心(Semantic Kernel)的實踐 系列 第 26 篇

技術 Semantic Kernel的實踐：Semantic Kernel v1.0.0 Beta1 變化

前言 一如先前所提，本週迎來Semantic Kernel v1.0.0 Beta1，做為v1.0.0的暖身，當然從preview到v1.0.0不意外的有些破壞...

Ian ‧ 2023-10-11
0 Like 0 留言 1714 瀏覽
鐵人賽 AI & Data DAY 25
OpenAI 從提示工程（Prompt Engineering)到語義核心(Semantic Kernel)的實踐 系列 第 25 篇

技術 Semantic Kernel的實踐：Semantic Kernel - 串連多個semantic function共享上下文

前言 本篇要來介紹在Semantic Kernel裡，如果要依序執行多個semantic function並且共享上下文，該如何進行？這樣的需求會滿常見的，舉例...

Ian ‧ 2023-10-10
0 Like 0 留言 3683 瀏覽
鐵人賽 AI & Data DAY 24
OpenAI 從提示工程（Prompt Engineering)到語義核心(Semantic Kernel)的實踐 系列 第 24 篇

技術 Semantic Kernel的實踐：Semantic Kernel - 整合embedding，以建立私有知識庫應用為例

前言 本篇來談談最多人關心的如何在ChatGPT模型中引用企業私有知識庫，目前最常見的做法不外乎是微調(fine-tuning)或embeddings的使用。本...

Ian ‧ 2023-10-09
0 Like 0 留言 1961 瀏覽
鐵人賽 AI & Data DAY 23
OpenAI 從提示工程（Prompt Engineering)到語義核心(Semantic Kernel)的實踐 系列 第 23 篇

技術 Semantic Kernel的實踐：Semantic Kernel - 認識 Connector連接器

前言 在連續談了幾篇有關Plugins的使用之後，本篇要暫時脫離Plugins，進入下一個Semantic Kernel組成，稱為Connector連接器。...

Ian ‧ 2023-10-08
1 Like 0 留言 3410 瀏覽
鐵人賽 AI & Data DAY 26
LLM 學習筆記 系列 第 26 篇

技術 LLM Note Day 26 - Gradient Checkpointing

簡介 當訓練資料的長度越長，需要的 GPU 記憶體就會越高，因為算出來的梯度會跟著變大。透過 Gradient Checkpointing 可以幫助我們減少梯度...

Penut Chen ‧ 2023-10-11 ‧團隊消波塊上的海洋貓貓
5 Like 1 留言 19216 瀏覽
鐵人賽 AI & Data DAY 25
LLM 學習筆記 系列 第 25 篇

技術 LLM Note Day 25 - PEFT & LoRA 訓練框架

簡介 在單張消費級顯卡上全微調 (Fully Fine-Tune, FFT) 一個 7B 參數量以上的模型幾乎是不可能的，這時神秘的笑臉再次出手拯救了我們。由...

Penut Chen ‧ 2023-10-10 ‧團隊消波塊上的海洋貓貓
3 Like 1 留言 26049 瀏覽
鐵人賽 AI & Data DAY 24
LLM 學習筆記 系列 第 24 篇

技術 LLM Note Day 24 - 語言模型微調 LLM Finetuning

簡介 接下來要來討論如何微調 (Finetune) 一個大型語言模型。微調 LLM 與微調其他模型其實很相似，但是因為 LLM 的參數量較大，所以訓練的最低需求...

Penut Chen ‧ 2023-10-09 ‧團隊消波塊上的海洋貓貓
1 Like 0 留言 1114 瀏覽
鐵人賽 AI & Data DAY 23
資料分析的硬體以及軟體學習以及成長心得 系列 第 23 篇

技術 機器學習 挑戰 - Day ２

續上一篇機器學習 挑戰 - Day 1，我們今天要來詳細研究一下如何套用machine learning module 來預測BTC的價格。 首先想要研究的是A...

Papii ‧ 2023-10-08 ‧團隊dbt 和 dbt 以外有趣的事
3 Like 1 留言 6971 瀏覽
鐵人賽 AI & Data DAY 23
LLM 學習筆記 系列 第 23 篇

技術 LLM Note Day 23 - LangChain 中二技能翻譯

簡介 除了下層的推論框架以外，也有非常多人在關注上層的應用開發，其中最炙手可熱的當屬 LangChain 框架。當我們開始實際使用 LLM 開發相關應用程式時，...

Penut Chen ‧ 2023-10-08 ‧團隊消波塊上的海洋貓貓
0 Like 0 留言 2617 瀏覽
鐵人賽 AI & Data DAY 22
OpenAI 從提示工程（Prompt Engineering)到語義核心(Semantic Kernel)的實踐 系列 第 22 篇

技術 Semantic Kernel的實踐：Semantic Kernel - 開箱即用Plugins

前言 Semantic Kernel做為一個SDK，除了提供一個標準化的開發模式之外，也針對一些常用功能提供內建已標準化的Plugins，這些Plugins稱為...

Ian ‧ 2023-10-07
0 Like 0 留言 1979 瀏覽
鐵人賽 AI & Data DAY 21
OpenAI 從提示工程（Prompt Engineering)到語義核心(Semantic Kernel)的實踐 系列 第 21 篇

技術 Semantic Kernel的實踐：Semantic Kernel - Plugins開發篇- Native Function 多參數傳遞

前言 到目前為所寫的Native Function都是只有一個參數的，但現實場景中多個參數的運用是很常見的需求，本篇內容就來介紹如何建立與使用多參數的Nativ...

Ian ‧ 2023-10-06
4 Like 0 留言 3816 瀏覽
鐵人賽 AI & Data DAY 22
LLM 學習筆記 系列 第 22 篇

技術 LLM Note Day 22 - 任務導向聊天機器人 TOD Chatbot

簡介 任務導向對話 (Task-Oriented Dialogue, TOD) 聊天機器人，與一般的 Chatbot 不同，TOD Chatbot 有明確的任務...

Penut Chen ‧ 2023-10-07 ‧團隊消波塊上的海洋貓貓
0 Like 0 留言 1806 瀏覽
鐵人賽 AI & Data DAY 20
OpenAI 從提示工程（Prompt Engineering)到語義核心(Semantic Kernel)的實踐 系列 第 20 篇

技術 Semantic Kernel的實踐：Semantic Kernel - Plugins開發篇 Semantic Function調用Native Function

前言 前一篇介紹如何撰寫 Native Functions，並且示範如何在程式流程中依邏輯順序分別調用 Semantic Function與Native Fun...

Ian ‧ 2023-10-05
2 Like 0 留言 3090 瀏覽
鐵人賽 AI & Data DAY 21
LLM 學習筆記 系列 第 21 篇

技術 LLM Note Day 21 - 資訊檢索小知識 IR Tips

簡介 資訊檢索 (Information Retrieval, IR) 在討論如何快速的搜尋使用者想要找到的結果，在 LLM 出現之前已經是個相對成熟的領域，我...

Penut Chen ‧ 2023-10-06 ‧團隊消波塊上的海洋貓貓
0 Like 0 留言 2233 瀏覽
鐵人賽 AI & Data DAY 19
OpenAI 從提示工程（Prompt Engineering)到語義核心(Semantic Kernel)的實踐 系列 第 19 篇

技術 Semantic Kernel的實踐：Semantic Kernel - Plugins開發篇 native functions

前言 前面二篇談論如何建立與使用 semantic functions，接下來要談的就是Plugins的另一種function型態 - native funct...

Ian ‧ 2023-10-04
0 Like 0 留言 2177 瀏覽
鐵人賽 AI & Data DAY 18
OpenAI 從提示工程（Prompt Engineering)到語義核心(Semantic Kernel)的實踐 系列 第 18 篇

技術 Semantic Kernel的實踐：Semantic Kernel - Plugins開發篇 Semantic functions (Part 2)

前言 在前一篇文章中，探討了Semantic Functions的Inline寫法，透過Prompt Engineering的概念，展現了LLM模型的能力。然而...

Ian ‧ 2023-10-03
3 Like 0 留言 8259 瀏覽
鐵人賽 AI & Data DAY 20
LLM 學習筆記 系列 第 20 篇

技術 LLM Note Day 20 - 上下文學習 In-Context Learning

簡介 上下文學習 (In-Context Learning, ICL) 是一種語言模型的現象，LLM 可以根據提供的範例來產生預測的標記，而不需要任何額外的微調...

Penut Chen ‧ 2023-10-05 ‧團隊消波塊上的海洋貓貓
0 Like 0 留言 748 瀏覽
鐵人賽 AI & Data DAY 18
資料分析的硬體以及軟體學習以及成長心得 系列 第 18 篇

技術 LLM 和機器學習的介紹-Part 3

續上一篇LLM 和機器學習的介紹-Part 2，我們繼續討論一些數據建模、LLM和機器學習的示例。 3. 回歸分析 (Regression analysis)回...

Papii ‧ 2023-10-03 ‧團隊dbt 和 dbt 以外有趣的事
1 Like 0 留言 795 瀏覽
鐵人賽 AI & Data DAY 17
資料分析的硬體以及軟體學習以及成長心得 系列 第 17 篇

技術 LLM 和機器學習的介紹-Part 2

續上一篇LLM 和機器學習的介紹-Part 1，我想更深入地介紹一些數據建模、LLM和機器學習的示例。 統計概念大數據以及machine learning的基礎...

Papii ‧ 2023-10-02 ‧團隊dbt 和 dbt 以外有趣的事
0 Like 0 留言 2129 瀏覽
鐵人賽 AI & Data DAY 17
OpenAI 從提示工程（Prompt Engineering)到語義核心(Semantic Kernel)的實踐 系列 第 17 篇

技術 Semantic Kernel的實踐：Semantic Kernel - Plugins開發篇 Semantic functions (Part 1)

前言 前一篇我們認識了Plugins以及它在Semantic Kernel裡的作用，本篇就開始動手來打造Plugins，首先來看的semantic functi...

Ian ‧ 2023-10-02
2 Like 0 留言 5056 瀏覽
鐵人賽 AI & Data DAY 19
LLM 學習筆記 系列 第 19 篇

技術 LLM Note Day 19 - Offloading Inference

簡介 Offloading Inference 主要在探討如何讓 GPU 與其他裝置一起協同推論，例如有些運算放在 CPU，有些記憶體暫存在硬碟裡面。這類的方法...

Penut Chen ‧ 2023-10-04 ‧團隊消波塊上的海洋貓貓
0 Like 0 留言 2414 瀏覽
鐵人賽 AI & Data DAY 16
OpenAI 從提示工程（Prompt Engineering)到語義核心(Semantic Kernel)的實踐 系列 第 16 篇

技術 Semantic Kernel的實踐：Semantic Kernel - 認識 plugins

前言 plugins是Semantic Kernel的核心組成之一，主要功用是封裝能力組成，交由Kernel來運行，提升LLM應用的層面，本篇來認識 plugi...

Ian ‧ 2023-10-01
2 Like 0 留言 6743 瀏覽
鐵人賽 AI & Data DAY 18
LLM 學習筆記 系列 第 18 篇

技術 LLM Note Day 18 - Hugging Face Text Generation Inference

簡介 Text Generation Inference 簡稱 TGI，是由 Hugging Face 開發的 LLM Inference 框架。其中整合了相當...

Penut Chen ‧ 2023-10-03 ‧團隊消波塊上的海洋貓貓
0 Like 0 留言 2591 瀏覽
鐵人賽 AI & Data DAY 15
OpenAI 從提示工程（Prompt Engineering)到語義核心(Semantic Kernel)的實踐 系列 第 15 篇

技術 Semantic Kernel的實踐：Semantic Kernel - 配置 Kernel

前言 前一篇以一個簡單的Sample體會如何使用Semantic Kernel，接著就要來細說Semantic Kernel的細節，本篇先從 Kernel開始。...

Ian ‧ 2023-09-30
4 Like 1 留言 11256 瀏覽
鐵人賽 AI & Data DAY 17
LLM 學習筆記 系列 第 17 篇

技術 LLM Note Day 17 - vLLM & Paged Attention

簡介 vLLM 是來自 UC Berkeley 的 Woosuk Kwon 和 Zhuohan Li 所製作的推論框架，使用 Paged Attention 技...

Penut Chen ‧ 2023-10-02 ‧團隊消波塊上的海洋貓貓
4 Like 1 留言 36096 瀏覽
鐵人賽 AI & Data DAY 16
LLM 學習筆記 系列 第 16 篇

技術 LLM Note Day 16 - ggml & llama.cpp

簡介 ggml 是 ggerganov 開發的一個機器學習框架，主打純 C 語言、輕量化且可以在 Apple 裝置上執行等功能。大概 2022 年底的時候，就常...

Penut Chen ‧ 2023-10-01 ‧團隊消波塊上的海洋貓貓
1 Like 0 留言 8373 瀏覽
鐵人賽 AI & Data DAY 15
LLM 學習筆記 系列 第 15 篇

技術 LLM Note Day 15 - ONNX & ONNX Runtime

簡介 ONNX Runtime (ORT) 與其他推論框架相比，是個相對古老的框架。但是他的泛用性相當高，可以適用於幾乎任何模型上。而 ORT 不只專注在推論上...

Penut Chen ‧ 2023-09-30 ‧團隊消波塊上的海洋貓貓
0 Like 0 留言 3643 瀏覽
鐵人賽 AI & Data DAY 14
OpenAI 從提示工程（Prompt Engineering)到語義核心(Semantic Kernel)的實踐 系列 第 14 篇

技術 Semantic Kernel的實踐：Semantic Kernel first sample

前言 前一篇從概觀的角度理解 Semantic Kernel，並且概述了Semantic Kernel核心的5個元素，本篇以一個簡單的Sample來體會一下如何...

Ian ‧ 2023-09-29
1 Like 0 留言 1305 瀏覽
鐵人賽 AI & Data DAY 16
資料分析的硬體以及軟體學習以及成長心得 系列 第 16 篇

技術 LLM 和機器學習的介紹-Part 1

人工智慧（AI）最近在科技界成為熱門詞彙，每個人都想參與AI領域。我想分享一下我對AI基礎的學習心得，包括：數據建模、語言學習模型（LLM）和機器學習（ML）的...

Papii ‧ 2023-10-01 ‧團隊dbt 和 dbt 以外有趣的事
iThome鐵人賽
參賽組數
929 組
團體組數
32 組
累計文章數
20253 篇
完賽人數
534 人
iT+看影片追技術 看影片追技術 看更多
熱門tag
15th鐵人賽 16th鐵人賽 13th鐵人賽 18th鐵人賽 17th鐵人賽 14th鐵人賽 12th鐵人賽 11th鐵人賽 鐵人賽 2019鐵人賽 javascript 2018鐵人賽 python 2017鐵人賽 windows php c# linux windows server css
熱門問題
熱門回答
熱門文章
IT邦幫忙