iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

0 Like 0 留言 374 瀏覽

鐵人賽 AI/ ML & Data DAY 25

30 Days of AI Research 系列第 26 篇

技術 [Day 25] Reasoning on graphs: Faithful and interpretable large language model reasoning

Paper link | Note link | Code link | ICLR 2024 整體想法這篇論文提出了圖推理（RoG），通過將大型語言模型（...

whoami ‧ 2024-08-25

0 Like 0 留言 506 瀏覽

鐵人賽 AI/ ML & Data DAY 16

30 Days of AI Research 系列第 17 篇

技術 [Day 16] RLEG: Vision-Language Representation Learning with Diffusion-based Embedding Generation

Paper link | ICML 2023 整體想法這項研究提出了一種簡單但有效的表示學習方法，稱為 RLEG，由基於擴散的嵌入生成器指導。擴散模型在...

whoami ‧ 2024-08-16

0 Like 0 留言 560 瀏覽

鐵人賽 AI/ ML & Data DAY 14

30 Days of AI Research 系列第 15 篇

技術 [Day 14] Unveiling Fantastic Fact-Skeleton of LLMs via Ontology-Driven Reinforcement Learning

Paper link | Code link | AAAI 2024 整體想法這項研究解決了與大型語言模型（LLMs）事實性評估相關的主要挑戰，並透過複雜...

whoami ‧ 2024-08-14

0 Like 0 留言 837 瀏覽

鐵人賽 AI/ ML & Data DAY 9

30 Days of AI Research 系列第 10 篇

技術 [Day 9] Reward Design with Language Models

Paper link | Note link | Code link | ICLR 2023 整體想法這項研究探討了使用提示策略配合大型語言模型（LLM）...

whoami ‧ 2024-08-09

0 Like 0 留言 5878 瀏覽

技術在 Windows 上編譯 llama.cpp 專案

最近接觸到要將 LLM 放在 Windows 筆電上運行的案子，需對 llama.cpp 做一些自訂選項的編譯，因此無法直接拿 GitHub 上的 Releas...

Penut Chen ‧ 2024-08-03

1 Like 0 留言 3851 瀏覽

技術在 Colab 上無痛產出 llama.cpp gguf 量化模型

llama.cpp 是個相當受歡迎的語言模型推論框架，但一些相關的環境配置、編譯手法稍微困難一點，若不是有點技術底，一開始玩起來是頗痛苦。好在後來作者都會定期...

Penut Chen ‧ 2024-07-25

2 Like 0 留言 5496 瀏覽

技術 Groq + Llama 3.1 + SerpApi 免費仔光速打造簡易 RAG 系統

Groq 是一家美國的人工智慧公司，專注於硬體推論加速器的開發，近期以 LPU (Language Process Unit) 聞名。LPU 就跟 CPU 或...

Penut Chen ‧ 2024-07-24

3 Like 0 留言 5292 瀏覽

技術計算 LLM 的 Perplexity 困惑度

簡介困惑度 (Perplexity, PPL) 是個評估語言模型相當實用的指標，用來表示語言模型對一句話的困惑程度。什麼叫困惑程度呢？當我們看到一句話會產生困...

Penut Chen ‧ 2024-07-06

2 Like 0 留言 1596 瀏覽

技術使用 HF Transformers 對 KV 快取量化

簡介昨天 Hugging Face Transformers 發布 v4.42 版，其中 Quantized KV Cache 這個功能特別吸引我，看到量化就...

Penut Chen ‧ 2024-06-29

1 Like 0 留言 1512 瀏覽

技術原「萌王莉姆露」帳號相關資訊整理

原作者已歸隱（小隱隱於野，中隱隱於市，大隱隱於朝），並且先前的「萌王莉姆露」帳號已經刪除。以下是原作者文章與資訊的彙整。 iThome鐵人賽2023「用Pyth...

萌王莉姆露 ‧ 2023-12-28

2 Like 0 留言 4326 瀏覽

鐵人賽 AI & Data

LLM 學習筆記系列第 33 篇

技術 LLM Note Day 33 - AutoAWQ

簡介 Activation-Aware Weight Quantization (AWQ) 是類似於 GPTQ 的另外一種量化方法，同樣也是透過少量的校準資料集...

Penut Chen ‧ 2023-12-05 ‧團隊消波塊上的海洋貓貓

2 Like 0 留言 3296 瀏覽

技術 Python: pandas + gpt3.5 用一句話讓 LLM 分析數據

介紹 pandas-ai 是一個開源套件，能夠讓使用者用 Prompt 的方式請 LLM 幫忙分析 DataFrame (等價於excel) 裡面的數據。使用...

Pythonist ‧ 2023-10-19

0 Like 0 留言 3194 瀏覽

鐵人賽 AI & Data

LLM 學習筆記系列第 32 篇

技術 LLM Note Day 32 - AutoGPTQ

簡介 GPTQ 是透過 Post-Training 的方式對模型進行量化，其準確率與速度通常比 bitsandbytes (BNB) 4-Bit 好一些，是個相...

Penut Chen ‧ 2023-10-19 ‧團隊消波塊上的海洋貓貓

0 Like 0 留言 4086 瀏覽

鐵人賽 AI & Data

LLM 學習筆記系列第 31 篇

技術 LLM Note Day 31 - Flash Attention

簡介最近 Hugging Face Transformers 整合了 Flash Attention 2，可以減少記憶體消耗並提昇模型運算的速度，且使用方式非...

Penut Chen ‧ 2023-10-18 ‧團隊消波塊上的海洋貓貓

1 Like 1 留言 1914 瀏覽

鐵人賽 AI & Data DAY 30

OpenAI 從提示工程（Prompt Engineering)到語義核心(Semantic Kernel)的實踐系列第 30 篇

技術 Semantic Kernel的實踐：Kernel 與 OpenAI Chat Completions

前言前一篇提到 Semantic Kernel對於OpenAI Chat Completions封裝了一些方法，可以幫助開發人員快速的使用以對話為模式的Cha...

Ian ‧ 2023-10-15

0 Like 0 留言 1646 瀏覽

鐵人賽 AI & Data DAY 29

OpenAI 從提示工程（Prompt Engineering)到語義核心(Semantic Kernel)的實踐系列第 29 篇

技術 Semantic Kernel的實踐：Semantic Kernel - OpenAI Chat Completions

前言有使用過OpenAI或Azure OpenAI平台的開發者，對於Chat Completions API應該不陌生，Chat Completions AP...

Ian ‧ 2023-10-14

0 Like 0 留言 2014 瀏覽

鐵人賽 AI & Data DAY 28

OpenAI 從提示工程（Prompt Engineering)到語義核心(Semantic Kernel)的實踐系列第 28 篇

技術 Semantic Kernel的實踐：Semantic Kernel - PromptTemplateEngine

前言 Semantic Kernel 提供給了我們一個開發LLM應用的pattern，經過前面的文章內容可以發現到本質上的關鍵還是Prompt，然而，在實際開發...

Ian ‧ 2023-10-13

0 Like 0 留言 2221 瀏覽

鐵人賽 AI & Data DAY 27

OpenAI 從提示工程（Prompt Engineering)到語義核心(Semantic Kernel)的實踐系列第 27 篇

技術 Semantic Kernel - planner 規劃器

前言前面的文章陸續介紹了Semantic Kernel的核心組成，kernel、plugins、connector、Memory，接下來本篇要來介紹最後一個組...

Ian ‧ 2023-10-12

2 Like 2 留言 1659 瀏覽

鐵人賽 AI & Data DAY 30

LLM 學習筆記系列第 30 篇

技術 LLM Note Day 30 - 學海無涯，學無止境

簡介 AI 領域的變化相當快速，很有可能筆者今天寫的介紹，明天框架一個大改就不能用了。或者突然出現一個驚人的模型，取代了所有 Transformer Decod...

Penut Chen ‧ 2023-10-15 ‧團隊消波塊上的海洋貓貓

2 Like 0 留言 3037 瀏覽

鐵人賽 AI & Data DAY 29

LLM 學習筆記系列第 29 篇

技術 LLM Note Day 29 - 授權條款 License

簡介在研究 LLM 相關的授權條款時，主要有三個方向：程式碼的授權、資料集的授權與模型權重的授權。有些相對嚴謹的專案，會將這三種東西的授權設定成不同的授權，而...

Penut Chen ‧ 2023-10-14 ‧團隊消波塊上的海洋貓貓

1 Like 0 留言 1055 瀏覽

鐵人賽 AI & Data DAY 25

資料分析的硬體以及軟體學習以及成長心得系列第 25 篇

技術機器學習挑戰 - Day 4

續上一篇機器學習挑戰 - Day 3，我們今天要詳細研究一下如何套用 tensorflow.keras.models的LSTM 來預測BTC的價格。在應用t...

Papii ‧ 2023-10-10 ‧團隊dbt 和 dbt 以外有趣的事

2 Like 0 留言 4278 瀏覽

鐵人賽 AI & Data DAY 28

LLM 學習筆記系列第 28 篇

技術 LLM Note Day 28 - 資料集 Datasets

簡介要訓練一個模型，首先要有資料。不僅要有很大量的資料，也要有品質很好的資料。資料的品質包含：文句是否通順、格式是否合理、內容是否偏頗、資訊是否有害等等。品質...

Penut Chen ‧ 2023-10-13 ‧團隊消波塊上的海洋貓貓

0 Like 0 留言 1428 瀏覽

鐵人賽 AI & Data DAY 26

OpenAI 從提示工程（Prompt Engineering)到語義核心(Semantic Kernel)的實踐系列第 26 篇

技術 Semantic Kernel的實踐：Semantic Kernel v1.0.0 Beta1 變化

前言一如先前所提，本週迎來Semantic Kernel v1.0.0 Beta1，做為v1.0.0的暖身，當然從preview到v1.0.0不意外的有些破壞...

Ian ‧ 2023-10-11

0 Like 0 留言 1394 瀏覽

鐵人賽 AI & Data DAY 25

OpenAI 從提示工程（Prompt Engineering)到語義核心(Semantic Kernel)的實踐系列第 25 篇

技術 Semantic Kernel的實踐：Semantic Kernel - 串連多個semantic function共享上下文

前言本篇要來介紹在Semantic Kernel裡，如果要依序執行多個semantic function並且共享上下文，該如何進行？這樣的需求會滿常見的，舉例...

Ian ‧ 2023-10-10

0 Like 0 留言 3175 瀏覽

鐵人賽 AI & Data DAY 24

OpenAI 從提示工程（Prompt Engineering)到語義核心(Semantic Kernel)的實踐系列第 24 篇

技術 Semantic Kernel的實踐：Semantic Kernel - 整合embedding，以建立私有知識庫應用為例

前言本篇來談談最多人關心的如何在ChatGPT模型中引用企業私有知識庫，目前最常見的做法不外乎是微調(fine-tuning)或embeddings的使用。本...

Ian ‧ 2023-10-09

0 Like 0 留言 1640 瀏覽

鐵人賽 AI & Data DAY 23

OpenAI 從提示工程（Prompt Engineering)到語義核心(Semantic Kernel)的實踐系列第 23 篇

技術 Semantic Kernel的實踐：Semantic Kernel - 認識 Connector連接器

前言在連續談了幾篇有關Plugins的使用之後，本篇要暫時脫離Plugins，進入下一個Semantic Kernel組成，稱為Connector連接器。...

Ian ‧ 2023-10-08

1 Like 0 留言 2418 瀏覽

鐵人賽 AI & Data DAY 26

LLM 學習筆記系列第 26 篇

技術 LLM Note Day 26 - Gradient Checkpointing

簡介當訓練資料的長度越長，需要的 GPU 記憶體就會越高，因為算出來的梯度會跟著變大。透過 Gradient Checkpointing 可以幫助我們減少梯度...

Penut Chen ‧ 2023-10-11 ‧團隊消波塊上的海洋貓貓

5 Like 1 留言 14894 瀏覽

鐵人賽 AI & Data DAY 25

LLM 學習筆記系列第 25 篇

技術 LLM Note Day 25 - PEFT & LoRA 訓練框架

簡介在單張消費級顯卡上全微調 (Fully Fine-Tune, FFT) 一個 7B 參數量以上的模型幾乎是不可能的，這時神秘的笑臉再次出手拯救了我們。由...

Penut Chen ‧ 2023-10-10 ‧團隊消波塊上的海洋貓貓

3 Like 1 留言 21325 瀏覽

鐵人賽 AI & Data DAY 24

LLM 學習筆記系列第 24 篇

技術 LLM Note Day 24 - 語言模型微調 LLM Finetuning

簡介接下來要來討論如何微調 (Finetune) 一個大型語言模型。微調 LLM 與微調其他模型其實很相似，但是因為 LLM 的參數量較大，所以訓練的最低需求...

Penut Chen ‧ 2023-10-09 ‧團隊消波塊上的海洋貓貓

1 Like 0 留言 745 瀏覽

鐵人賽 AI & Data DAY 23

資料分析的硬體以及軟體學習以及成長心得系列第 23 篇

技術機器學習挑戰 - Day ２

續上一篇機器學習挑戰 - Day 1，我們今天要來詳細研究一下如何套用machine learning module 來預測BTC的價格。首先想要研究的是A...

Papii ‧ 2023-10-08 ‧團隊dbt 和 dbt 以外有趣的事

技術 [Day 25] Reasoning on graphs: Faithful and interpretable large language model reasoning

技術 [Day 16] RLEG: Vision-Language Representation Learning with Diffusion-based Embedding Generation

技術 [Day 14] Unveiling Fantastic Fact-Skeleton of LLMs via Ontology-Driven Reinforcement Learning

技術 [Day 9] Reward Design with Language Models

技術 在 Windows 上編譯 llama.cpp 專案

技術 在 Colab 上無痛產出 llama.cpp gguf 量化模型

技術 Groq + Llama 3.1 + SerpApi 免費仔光速打造簡易 RAG 系統

技術 計算 LLM 的 Perplexity 困惑度

技術 使用 HF Transformers 對 KV 快取量化

技術 原「萌王莉姆露」帳號相關資訊整理

技術 LLM Note Day 33 - AutoAWQ

技術 Python: pandas + gpt3.5 用一句話讓 LLM 分析數據

技術 LLM Note Day 32 - AutoGPTQ

技術 LLM Note Day 31 - Flash Attention

技術 Semantic Kernel的實踐：Kernel 與 OpenAI Chat Completions

技術 Semantic Kernel的實踐：Semantic Kernel - OpenAI Chat Completions

技術 Semantic Kernel的實踐：Semantic Kernel - PromptTemplateEngine

技術 Semantic Kernel - planner 規劃器

技術 LLM Note Day 30 - 學海無涯，學無止境

技術 LLM Note Day 29 - 授權條款 License

技術 機器學習 挑戰 - Day 4

技術 LLM Note Day 28 - 資料集 Datasets

技術 Semantic Kernel的實踐：Semantic Kernel v1.0.0 Beta1 變化

技術 Semantic Kernel的實踐：Semantic Kernel - 串連多個semantic function共享上下文

技術 Semantic Kernel的實踐：Semantic Kernel - 整合embedding，以建立私有知識庫應用為例

技術 Semantic Kernel的實踐：Semantic Kernel - 認識 Connector連接器

技術 LLM Note Day 26 - Gradient Checkpointing

技術 LLM Note Day 25 - PEFT & LoRA 訓練框架

技術 LLM Note Day 24 - 語言模型微調 LLM Finetuning

技術 機器學習 挑戰 - Day ２

標記使用者

技術在 Windows 上編譯 llama.cpp 專案

技術在 Colab 上無痛產出 llama.cpp gguf 量化模型

技術計算 LLM 的 Perplexity 困惑度

技術使用 HF Transformers 對 KV 快取量化

技術原「萌王莉姆露」帳號相關資訊整理

技術機器學習挑戰 - Day 4

技術機器學習挑戰 - Day ２