iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

1 Like 0 留言 2378 瀏覽

鐵人賽生成式 AI DAY 3

Local LLM infra & Inference 一部曲系列第 3 篇

技術 Day3 - LLM 吃什麼資源?

剛學習LLM的時候，只會知道要用GPU，因為他的平行計算能力比較快。不過真的只有這樣嗎？ (圖源: 自製) 在運算的過程中，最主要會消耗的是大量的記憶體（資料...

母湯小精靈 ‧ 2024-09-04 ‧團隊為了AI而AI

2 Like 0 留言 1772 瀏覽

鐵人賽生成式 AI DAY 2

Local LLM infra & Inference 一部曲系列第 2 篇

技術 Day2 - 應用LLM常見的迷思

LLM大坑簡介大型語言模型(LLM)的出現讓自然語言處理(NLP)有重大革命，以往NLP分成各式各樣的任務，像是翻譯、分類、摘要、資訊擷取等等，原本每一個任務...

母湯小精靈 ‧ 2024-09-03 ‧團隊為了AI而AI

1 Like 0 留言 826 瀏覽

鐵人賽生成式 AI DAY 1

懶人救星：生成式AI 系列第 1 篇

技術 Day1－大AI時代來臨了，你準備好了嗎？

AI會取代人類嗎？人工智慧（AI）是否會取代人類的工作，這個問題在近年來引起了廣泛的討論和關注。根據《遠見雜誌》的報導，生成式AI的爆發，讓世人驚覺人工智慧...

這支筆有AI ‧ 2024-09-02 ‧團隊為了AI而AI

0 Like 0 留言 2317 瀏覽

鐵人賽生成式 AI DAY 8

2024 年用 LangGraph 從零開始實現 Agentic AI System 系列第 8 篇

技術【Day 8】- 深入理解 LangGraph 狀態的工作機制

摘要這篇文章以大家熟悉的「大地遊戲」為比喻，深入淺出地解說了 LangGraph 的狀態管理機制，並強調其在 AI 對話系統中的重要性。文章首先說明 Lang...

hengshiousheu ‧ 2024-09-06

1 Like 0 留言 4647 瀏覽

鐵人賽生成式 AI DAY 7

2024 年用 LangGraph 從零開始實現 Agentic AI System 系列第 7 篇

技術【Day 7】 - LangGraph 深入探索：Function Calling 機制與進階應用

摘要本文探討 LangGraph 框架中的 Function Calling 技術，它是一種讓大型語言模型 (LLM) 能夠與外部工具互動的機制，進而擴展 A...

hengshiousheu ‧ 2024-09-05

1 Like 1 留言 3966 瀏覽

鐵人賽生成式 AI DAY 6

2024 年用 LangGraph 從零開始實現 Agentic AI System 系列第 6 篇

技術【Day 6】- LangChain 與 LangGraph 工具實戰探討：AI 模型的程式呼叫能力

摘要這篇文章探討了 LangChain 和 LangGraph 這兩個強大的工具，它們能夠賦予 AI 模型呼叫外部程式碼的能力，進而擴展其功能並實現更智能的交...

hengshiousheu ‧ 2024-09-04

4 Like 0 留言 1681 瀏覽

鐵人賽生成式 AI DAY 1

Local LLM infra & Inference 一部曲系列第 1 篇

技術 Day1 - 前言 & 為什麼基礎建設很重要?

前言 - 為什麼基礎建設很重要? 嗨嗨，大家好，我是精靈。身為畢業兩年左右的菜鳥，因為意外不小心跳入了infra火坑，爬上來之後又意外吃了LLM這塊餅。接觸了...

母湯小精靈 ‧ 2024-09-02 ‧團隊為了AI而AI

1 Like 0 留言 8026 瀏覽

鐵人賽生成式 AI DAY 4

2024 年用 LangGraph 從零開始實現 Agentic AI System 系列第 4 篇

技術【Day 4】- LangGraph 入門教程：節點、邊、狀態

摘要這篇文章深入淺出地介紹了 LangGraph，一種由 LangChain 團隊開發的工具，用於構建更靈活且複雜的 AI 代理工作流程。LangGraph...

hengshiousheu ‧ 2024-09-02

0 Like 0 留言 4747 瀏覽

鐵人賽生成式 AI DAY 3

2024 年用 LangGraph 從零開始實現 Agentic AI System 系列第 3 篇

技術【Day 3】- LangGraph：構建下一代智能應用的革命性框架

摘要LangGraph 是一個用於建立複雜、狀態化的多AI代理系統的革命性框架，特別適用於與大型語言模型 (LLM) 合作。LangGraph 以圖形結構為基...

hengshiousheu ‧ 2024-09-01

0 Like 0 留言 726 瀏覽

鐵人賽生成式 AI DAY 3

智能雲端架構圖生成：結合LangChain&LangGrpah與Rag的創新應用系列第 3 篇

技術 day3 LangChain核心：通過 Chain 提升任務自動化

前言昨天進行了model的串接功能今天主要會說明串接model之後，會需要進行一系列的任務串接，包含Prompt的使用、LLM的呼叫、格式化輸出，涉及多個複...

jay0810 ‧ 2024-09-02 ‧團隊不時以註解遮羞的實習同學

1 Like 0 留言 8584 瀏覽

鐵人賽生成式 AI DAY 2

2024 年用 LangGraph 從零開始實現 Agentic AI System 系列第 2 篇

技術【Day 2】- 什麼是 AI 代理？複合式 AI 與 Agentic AI 的創新之路

摘要這篇文章深入探討了人工智慧領域從單一模型到複合式 AI 系統的轉變，並重點介紹了 AI 代理的概念和應用。文章首先以智慧打卡系統為例，說明單一模型在處理...

hengshiousheu ‧ 2024-08-31

0 Like 0 留言 1775 瀏覽

鐵人賽生成式 AI DAY 2

智能雲端架構圖生成：結合LangChain&LangGrpah與Rag的創新應用系列第 2 篇

技術 day2 LangChain的安裝與連接多種LLM

今天要說明LangChain的安裝和LLM的連接主要使用python進行安裝 pip install langchain 接著連接LLM langChai...

jay0810 ‧ 2024-09-01 ‧團隊不時以註解遮羞的實習同學

0 Like 0 留言 364 瀏覽

鐵人賽 AI/ ML & Data DAY 29

30 Days of AI Research 系列第 30 篇

技術 [Day 29] Talk like a Graph: Encoding Graphs for Large Language Models

Paper link | Note link | Code link | ICLR 2024 整體想法在這項研究中，他們首次全面性地探討了將圖結構資料編碼...

whoami ‧ 2024-08-29

0 Like 0 留言 414 瀏覽

鐵人賽 AI/ ML & Data DAY 27

30 Days of AI Research 系列第 28 篇

技術 [Day 27] StructGPT: A General Framework for Large Language Model to Reason over Structured Data

Paper link | Note link | Code link | EMNLP 2023 整體想法本篇提出了一個通用框架，用於提升LLM在結構化數據...

whoami ‧ 2024-08-27

0 Like 0 留言 635 瀏覽

鐵人賽 AI/ ML & Data DAY 26

30 Days of AI Research 系列第 27 篇

技術 [Day 26] Graph of Thoughts: Solving Elaborate Problems with Large Language Models

Paper link | Note link | Code link | AAAI 2024 整體想法 Graph of Thoughts (GoT) 提升...

whoami ‧ 2024-08-26

0 Like 0 留言 347 瀏覽

鐵人賽 AI/ ML & Data DAY 25

30 Days of AI Research 系列第 26 篇

技術 [Day 25] Reasoning on graphs: Faithful and interpretable large language model reasoning

Paper link | Note link | Code link | ICLR 2024 整體想法這篇論文提出了圖推理（RoG），通過將大型語言模型（...

whoami ‧ 2024-08-25

0 Like 0 留言 466 瀏覽

鐵人賽 AI/ ML & Data DAY 16

30 Days of AI Research 系列第 17 篇

技術 [Day 16] RLEG: Vision-Language Representation Learning with Diffusion-based Embedding Generation

Paper link | ICML 2023 整體想法這項研究提出了一種簡單但有效的表示學習方法，稱為 RLEG，由基於擴散的嵌入生成器指導。擴散模型在...

whoami ‧ 2024-08-16

0 Like 0 留言 517 瀏覽

鐵人賽 AI/ ML & Data DAY 14

30 Days of AI Research 系列第 15 篇

技術 [Day 14] Unveiling Fantastic Fact-Skeleton of LLMs via Ontology-Driven Reinforcement Learning

Paper link | Code link | AAAI 2024 整體想法這項研究解決了與大型語言模型（LLMs）事實性評估相關的主要挑戰，並透過複雜...

whoami ‧ 2024-08-14

0 Like 0 留言 742 瀏覽

鐵人賽 AI/ ML & Data DAY 9

30 Days of AI Research 系列第 10 篇

技術 [Day 9] Reward Design with Language Models

Paper link | Note link | Code link | ICLR 2023 整體想法這項研究探討了使用提示策略配合大型語言模型（LLM）...

whoami ‧ 2024-08-09

0 Like 0 留言 5215 瀏覽

技術在 Windows 上編譯 llama.cpp 專案

最近接觸到要將 LLM 放在 Windows 筆電上運行的案子，需對 llama.cpp 做一些自訂選項的編譯，因此無法直接拿 GitHub 上的 Releas...

Penut Chen ‧ 2024-08-03

1 Like 0 留言 3680 瀏覽

技術在 Colab 上無痛產出 llama.cpp gguf 量化模型

llama.cpp 是個相當受歡迎的語言模型推論框架，但一些相關的環境配置、編譯手法稍微困難一點，若不是有點技術底，一開始玩起來是頗痛苦。好在後來作者都會定期...

Penut Chen ‧ 2024-07-25

2 Like 0 留言 5108 瀏覽

技術 Groq + Llama 3.1 + SerpApi 免費仔光速打造簡易 RAG 系統

Groq 是一家美國的人工智慧公司，專注於硬體推論加速器的開發，近期以 LPU (Language Process Unit) 聞名。LPU 就跟 CPU 或...

Penut Chen ‧ 2024-07-24

3 Like 0 留言 4677 瀏覽

技術計算 LLM 的 Perplexity 困惑度

簡介困惑度 (Perplexity, PPL) 是個評估語言模型相當實用的指標，用來表示語言模型對一句話的困惑程度。什麼叫困惑程度呢？當我們看到一句話會產生困...

Penut Chen ‧ 2024-07-06

2 Like 0 留言 1535 瀏覽

技術使用 HF Transformers 對 KV 快取量化

簡介昨天 Hugging Face Transformers 發布 v4.42 版，其中 Quantized KV Cache 這個功能特別吸引我，看到量化就...

Penut Chen ‧ 2024-06-29

1 Like 0 留言 1482 瀏覽

技術原「萌王莉姆露」帳號相關資訊整理

原作者已歸隱（小隱隱於野，中隱隱於市，大隱隱於朝），並且先前的「萌王莉姆露」帳號已經刪除。以下是原作者文章與資訊的彙整。 iThome鐵人賽2023「用Pyth...

萌王莉姆露 ‧ 2023-12-28

2 Like 0 留言 4106 瀏覽

鐵人賽 AI & Data

LLM 學習筆記系列第 33 篇

技術 LLM Note Day 33 - AutoAWQ

簡介 Activation-Aware Weight Quantization (AWQ) 是類似於 GPTQ 的另外一種量化方法，同樣也是透過少量的校準資料集...

Penut Chen ‧ 2023-12-05 ‧團隊消波塊上的海洋貓貓

2 Like 0 留言 3126 瀏覽

技術 Python: pandas + gpt3.5 用一句話讓 LLM 分析數據

介紹 pandas-ai 是一個開源套件，能夠讓使用者用 Prompt 的方式請 LLM 幫忙分析 DataFrame (等價於excel) 裡面的數據。使用...

Pythonist ‧ 2023-10-19

0 Like 0 留言 3018 瀏覽

鐵人賽 AI & Data

LLM 學習筆記系列第 32 篇

技術 LLM Note Day 32 - AutoGPTQ

簡介 GPTQ 是透過 Post-Training 的方式對模型進行量化，其準確率與速度通常比 bitsandbytes (BNB) 4-Bit 好一些，是個相...

Penut Chen ‧ 2023-10-19 ‧團隊消波塊上的海洋貓貓

0 Like 0 留言 3909 瀏覽

鐵人賽 AI & Data

LLM 學習筆記系列第 31 篇

技術 LLM Note Day 31 - Flash Attention

簡介最近 Hugging Face Transformers 整合了 Flash Attention 2，可以減少記憶體消耗並提昇模型運算的速度，且使用方式非...

Penut Chen ‧ 2023-10-18 ‧團隊消波塊上的海洋貓貓

1 Like 1 留言 1830 瀏覽

鐵人賽 AI & Data DAY 30

OpenAI 從提示工程（Prompt Engineering)到語義核心(Semantic Kernel)的實踐系列第 30 篇

技術 Semantic Kernel的實踐：Kernel 與 OpenAI Chat Completions

前言前一篇提到 Semantic Kernel對於OpenAI Chat Completions封裝了一些方法，可以幫助開發人員快速的使用以對話為模式的Cha...

Ian ‧ 2023-10-15

技術 Day3 - LLM 吃什麼資源?

技術 Day2 - 應用LLM常見的迷思

技術 Day1－大AI時代來臨了，你準備好了嗎？

技術 【Day 8】- 深入理解 LangGraph 狀態的工作機制

技術 【Day 7】 - LangGraph 深入探索：Function Calling 機制與進階應用

技術 【Day 6】- LangChain 與 LangGraph 工具實戰探討：AI 模型的程式呼叫能力

技術 Day1 - 前言 & 為什麼基礎建設很重要?

技術 【Day 4】- LangGraph 入門教程：節點、邊、狀態

技術 【Day 3】- LangGraph：構建下一代智能應用的革命性框架

技術 day3 LangChain核心：通過 Chain 提升任務自動化

技術 【Day 2】- 什麼是 AI 代理？複合式 AI 與 Agentic AI 的創新之路

技術 day2 LangChain的安裝與連接多種LLM

技術 [Day 29] Talk like a Graph: Encoding Graphs for Large Language Models

技術 [Day 27] StructGPT: A General Framework for Large Language Model to Reason over Structured Data

技術 [Day 26] Graph of Thoughts: Solving Elaborate Problems with Large Language Models

技術 [Day 25] Reasoning on graphs: Faithful and interpretable large language model reasoning

技術 [Day 16] RLEG: Vision-Language Representation Learning with Diffusion-based Embedding Generation

技術 [Day 14] Unveiling Fantastic Fact-Skeleton of LLMs via Ontology-Driven Reinforcement Learning

技術 [Day 9] Reward Design with Language Models

技術 在 Windows 上編譯 llama.cpp 專案

技術 在 Colab 上無痛產出 llama.cpp gguf 量化模型

技術 Groq + Llama 3.1 + SerpApi 免費仔光速打造簡易 RAG 系統

技術 計算 LLM 的 Perplexity 困惑度

技術 使用 HF Transformers 對 KV 快取量化

技術 原「萌王莉姆露」帳號相關資訊整理

技術 LLM Note Day 33 - AutoAWQ

技術 Python: pandas + gpt3.5 用一句話讓 LLM 分析數據

技術 LLM Note Day 32 - AutoGPTQ

技術 LLM Note Day 31 - Flash Attention

技術 Semantic Kernel的實踐：Kernel 與 OpenAI Chat Completions

標記使用者

技術【Day 8】- 深入理解 LangGraph 狀態的工作機制

技術【Day 7】 - LangGraph 深入探索：Function Calling 機制與進階應用

技術【Day 6】- LangChain 與 LangGraph 工具實戰探討：AI 模型的程式呼叫能力

技術【Day 4】- LangGraph 入門教程：節點、邊、狀態

技術【Day 3】- LangGraph：構建下一代智能應用的革命性框架

技術【Day 2】- 什麼是 AI 代理？複合式 AI 與 Agentic AI 的創新之路

技術在 Windows 上編譯 llama.cpp 專案

技術在 Colab 上無痛產出 llama.cpp gguf 量化模型

技術計算 LLM 的 Perplexity 困惑度

技術使用 HF Transformers 對 KV 快取量化

技術原「萌王莉姆露」帳號相關資訊整理