iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

10 Like 1 留言 59521 瀏覽

鐵人賽生成式 AI DAY 26

2024 年用 LangGraph 從零開始實現 Agentic AI System 系列第 26 篇

技術【Day 26】- Ollama: 革命性工具讓本地 AI 開發觸手可及 - 從安裝到進階應用的完整指南

摘要這篇文章是一篇關於 Ollama 的詳細指南，介紹了 Ollama 這個開源本地大型語言模型運行框架。文章首先介紹了 Ollama 的背景、特性和優點，強...

hengshiousheu ‧ 2024-09-24

5 Like 0 留言 25552 瀏覽

達標好文技術 #1 製作屬於自己的 AI Vtuber

現在AI已經流行了好一陣子，有在關注AI Vtuber的各位一定都知道Vedal(計算機程序員和人工智慧開發者，利用大型語言模型生成了Neuro-sama的回應...

xiangcheng ‧ 2024-09-17

3 Like 0 留言 22271 瀏覽

技術 #2 Python SDK for Gemini API 使用 Google 的 Gemini 大型語言模型

本篇我們要接續#1 製作屬於自己的 AI Vtuberhttps://ithelp.ithome.com.tw/articles/10352663 此流程通過整...

xiangcheng ‧ 2024-09-17

1 Like 0 留言 22222 瀏覽

鐵人賽 AI & Data DAY 5

OpenAI 從提示工程（Prompt Engineering)到語義核心(Semantic Kernel)的實踐系列第 5 篇

技術提示工程（Prompt Engineering）：Prompt 進階技法 chain-of-thought (CoT)

提示工程（Prompt Engineering）：Prompt 進階技法 chain-of-thought (CoT) 前言前一篇提到 In-Context...

Ian ‧ 2023-09-20

2 Like 1 留言 22011 瀏覽

技術 #3 開發專屬個人化回覆AI(基於tkinter和 Google 生成式 AI 模型的簡單聊天應用)

在上篇已經創建好Gemini api金鑰及創建使用者與AI對話視窗(連結在下面)，今天要來實驗一個屬於自己的AI人物設置!上篇連結 #2 Python SDK...

xiangcheng ‧ 2024-09-28

4 Like 1 留言 21918 瀏覽

鐵人賽 AI & Data DAY 16

LLM 學習筆記系列第 16 篇

技術 LLM Note Day 16 - ggml & llama.cpp

簡介 ggml 是 ggerganov 開發的一個機器學習框架，主打純 C 語言、輕量化且可以在 Apple 裝置上執行等功能。大概 2022 年底的時候，就常...

Penut Chen ‧ 2023-10-01 ‧團隊消波塊上的海洋貓貓

3 Like 1 留言 19775 瀏覽

鐵人賽 AI & Data DAY 24

LLM 學習筆記系列第 24 篇

技術 LLM Note Day 24 - 語言模型微調 LLM Finetuning

簡介接下來要來討論如何微調 (Finetune) 一個大型語言模型。微調 LLM 與微調其他模型其實很相似，但是因為 LLM 的參數量較大，所以訓練的最低需求...

Penut Chen ‧ 2023-10-09 ‧團隊消波塊上的海洋貓貓

3 Like 0 留言 16173 瀏覽

鐵人賽 AI & Data DAY 9

LLM 學習筆記系列第 9 篇

技術 LLM Note Day 9 - LLM 訓練流程

簡介在開始實際操作 LLM 之前，我們先來瞭解 LLM 的訓練流程。訓練一個 LLM 通常包含兩個步驟：監督式微調與增強式學習，不過也有許多模型只做監督式微調...

Penut Chen ‧ 2023-09-24 ‧團隊消波塊上的海洋貓貓

5 Like 1 留言 13436 瀏覽

鐵人賽 AI & Data DAY 25

LLM 學習筆記系列第 25 篇

技術 LLM Note Day 25 - PEFT & LoRA 訓練框架

簡介在單張消費級顯卡上全微調 (Fully Fine-Tune, FFT) 一個 7B 參數量以上的模型幾乎是不可能的，這時神秘的笑臉再次出手拯救了我們。由...

Penut Chen ‧ 2023-10-10 ‧團隊消波塊上的海洋貓貓

1 Like 0 留言 10889 瀏覽

鐵人賽 AI & Data DAY 4

OpenAI 從提示工程（Prompt Engineering)到語義核心(Semantic Kernel)的實踐系列第 4 篇

技術提示工程（Prompt Engineering）：Prompt 進階技法 In-Context Learning

前言前一篇提到Prompt 的基本技法，本篇開始會談一些進階式的用法，首先來看的是In-Context Learning。雖然前一篇的Prompt 基本技法在...

Ian ‧ 2023-09-19

1 Like 0 留言 10828 瀏覽

鐵人賽生成式 AI DAY 24

2024 年用 LangGraph 從零開始實現 Agentic AI System 系列第 24 篇

技術【Day 24】- GraphRAG：革新檢索增強生成的新範式

摘要這篇文章介紹了一種名為 GraphRAG 的新型檢索增強生成技術，它由微軟研究團隊提出，旨在突破傳統 RAG 方法在處理複雜資訊時的局限性。GraphRA...

hengshiousheu ‧ 2024-09-22

4 Like 0 留言 9155 瀏覽

鐵人賽 AI & Data DAY 11

LLM 學習筆記系列第 11 篇

技術 LLM Note Day 11 - 擁抱開源的微笑 Hugging Face Transformers

簡介 Hugging Face 🤗 Transformers 是訓練 Transformer 模型最知名的套件沒有之一，此套件收入了許多知名模型架構、訓練演算法...

Penut Chen ‧ 2023-09-26 ‧團隊消波塊上的海洋貓貓

4 Like 1 留言 8805 瀏覽

鐵人賽 AI & Data DAY 17

LLM 學習筆記系列第 17 篇

技術 LLM Note Day 17 - vLLM & Paged Attention

簡介 vLLM 是來自 UC Berkeley 的 Woosuk Kwon 和 Zhuohan Li 所製作的推論框架，使用 Paged Attention 技...

Penut Chen ‧ 2023-10-02 ‧團隊消波塊上的海洋貓貓

1 Like 0 留言 8461 瀏覽

鐵人賽生成式 AI DAY 2

2024 年用 LangGraph 從零開始實現 Agentic AI System 系列第 2 篇

技術【Day 2】- 什麼是 AI 代理？複合式 AI 與 Agentic AI 的創新之路

摘要這篇文章深入探討了人工智慧領域從單一模型到複合式 AI 系統的轉變，並重點介紹了 AI 代理的概念和應用。文章首先以智慧打卡系統為例，說明單一模型在處理...

hengshiousheu ‧ 2024-08-31

1 Like 0 留言 8296 瀏覽

鐵人賽生成式 AI DAY 10

2024 年用 LangGraph 從零開始實現 Agentic AI System 系列第 10 篇

技術【Day 10】從零到一：用實戰案例掌握 LangGraph Studio 開發 AI 代理

摘要本文介紹了 LangGraph Studio，一個專為 AI 代理應用程式開發設計的整合開發環境 (IDE)。文章首先介紹了 LangGraph Stud...

hengshiousheu ‧ 2024-09-08

1 Like 0 留言 7864 瀏覽

鐵人賽生成式 AI DAY 4

2024 年用 LangGraph 從零開始實現 Agentic AI System 系列第 4 篇

技術【Day 4】- LangGraph 入門教程：節點、邊、狀態

摘要這篇文章深入淺出地介紹了 LangGraph，一種由 LangChain 團隊開發的工具，用於構建更靈活且複雜的 AI 代理工作流程。LangGraph...

hengshiousheu ‧ 2024-09-02

0 Like 0 留言 6735 瀏覽

鐵人賽生成式 AI DAY 9

Local LLM infra & Inference 一部曲系列第 9 篇

技術 Day9 - 選擇適合你的中文local LLM

前言這章來整理一下目前看到的繁體中文LLM，以及怎麼選擇適合自己任務的local LLM。找local Model最重要的是模型的推理能力，模型對於特定任務...

母湯小精靈 ‧ 2024-09-10 ‧團隊為了AI而AI

0 Like 1 留言 6474 瀏覽

鐵人賽生成式 AI DAY 21

2024 年用 LangGraph 從零開始實現 Agentic AI System 系列第 21 篇

技術【Day 21】- 從基礎到進階: 掌握RAG基礎並使用LangGraph實現Agentic RAG

摘要這篇文章探討了檢索增強生成 (Retrieval-Augmented Generation, RAG) 技術，它結合了資訊檢索和文本生成，以克服現有大型語...

hengshiousheu ‧ 2024-09-19

1 Like 1 留言 6123 瀏覽

鐵人賽生成式 AI DAY 18

2024 年用 LangGraph 從零開始實現 Agentic AI System 系列第 18 篇

技術【Day 18】- LangGraph 與 LangFuse：打造 Agent 觀測系統全方位指南

摘要這篇文章探討了如何使用 LangGraph 與 LangFuse 打造全方位的 Agent 觀測系統。LangGraph 是一個用於構建複雜 AI 代理應...

hengshiousheu ‧ 2024-09-16

3 Like 1 留言 6105 瀏覽

鐵人賽 AI & Data DAY 23

LLM 學習筆記系列第 23 篇

技術 LLM Note Day 23 - LangChain 中二技能翻譯

簡介除了下層的推論框架以外，也有非常多人在關注上層的應用開發，其中最炙手可熱的當屬 LangChain 框架。當我們開始實際使用 LLM 開發相關應用程式時，...

Penut Chen ‧ 2023-10-08 ‧團隊消波塊上的海洋貓貓

0 Like 0 留言 5862 瀏覽

鐵人賽 AI & Data DAY 3

OpenAI 從提示工程（Prompt Engineering)到語義核心(Semantic Kernel)的實踐系列第 3 篇

技術提示工程（Prompt Engineering）：Prompt 初階技法

前言上一篇提到Prompt是LLM模型的誘發劑，本篇接續介紹Prompt的基本用法和一些初階技法，幫助讀者更有效的與這些語言模型互動。接下來的內容均以Ch...

Ian ‧ 2023-09-18

3 Like 0 留言 5840 瀏覽

鐵人賽 AI & Data DAY 20

LLM 學習筆記系列第 20 篇

技術 LLM Note Day 20 - 上下文學習 In-Context Learning

簡介上下文學習 (In-Context Learning, ICL) 是一種語言模型的現象，LLM 可以根據提供的範例來產生預測的標記，而不需要任何額外的微調...

Penut Chen ‧ 2023-10-05 ‧團隊消波塊上的海洋貓貓

2 Like 0 留言 5614 瀏覽

鐵人賽 AI & Data DAY 12

LLM 學習筆記系列第 12 篇

技術 LLM Note Day 12 - So Many LLMs 如繁星般的語言模型們

簡介雖然多數的 Local LLM 不會像 ChatGPT 一樣高達 175B 的參數量，但即便模型只有 7B, 13B，在只有一兩張 3090, 4090...

Penut Chen ‧ 2023-09-27 ‧團隊消波塊上的海洋貓貓

0 Like 0 留言 5524 瀏覽

鐵人賽 AI & Data DAY 2

OpenAI 從提示工程（Prompt Engineering)到語義核心(Semantic Kernel)的實踐系列第 2 篇

技術提示工程（Prompt Engineering）：LLM模型的誘發劑-Prompt提示

前言相信有用過ChatGPT都有發現到，要讓ChatGPT的回應符合我們想要的內容，其中很重要的關鍵是Prompt(又稱提示、詠唱)，本篇就來談談Prompt...

Ian ‧ 2023-09-17

1 Like 1 留言 5327 瀏覽

鐵人賽生成式 AI DAY 27

2024 年用 LangGraph 從零開始實現 Agentic AI System 系列第 27 篇

技術【Day 27】- 告別提示工程：DSPy如何革新大型語言模型的應用開發

摘要DSPy 是一個由 Stanford NLP 研究人員開發的框架，旨在簡化大型語言模型 (LLM) 的開發。它以 "Programming, n...

hengshiousheu ‧ 2024-09-25

0 Like 0 留言 5168 瀏覽

技術在 Windows 上編譯 llama.cpp 專案

最近接觸到要將 LLM 放在 Windows 筆電上運行的案子，需對 llama.cpp 做一些自訂選項的編譯，因此無法直接拿 GitHub 上的 Releas...

Penut Chen ‧ 2024-08-03

1 Like 0 留言 5159 瀏覽

鐵人賽 AI & Data DAY 15

LLM 學習筆記系列第 15 篇

技術 LLM Note Day 15 - ONNX & ONNX Runtime

簡介 ONNX Runtime (ORT) 與其他推論框架相比，是個相對古老的框架。但是他的泛用性相當高，可以適用於幾乎任何模型上。而 ORT 不只專注在推論上...

Penut Chen ‧ 2023-09-30 ‧團隊消波塊上的海洋貓貓

2 Like 0 留言 5092 瀏覽

鐵人賽 AI & Data DAY 18

LLM 學習筆記系列第 18 篇

技術 LLM Note Day 18 - Hugging Face Text Generation Inference

簡介 Text Generation Inference 簡稱 TGI，是由 Hugging Face 開發的 LLM Inference 框架。其中整合了相當...

Penut Chen ‧ 2023-10-03 ‧團隊消波塊上的海洋貓貓

2 Like 0 留言 5071 瀏覽

技術 Groq + Llama 3.1 + SerpApi 免費仔光速打造簡易 RAG 系統

Groq 是一家美國的人工智慧公司，專注於硬體推論加速器的開發，近期以 LPU (Language Process Unit) 聞名。LPU 就跟 CPU 或...

Penut Chen ‧ 2024-07-24

0 Like 0 留言 4984 瀏覽

鐵人賽生成式 AI DAY 25

Local LLM infra & Inference 一部曲系列第 25 篇

技術 Day25 - vLLM實作篇PART4：安裝到推理 (Windows version)

前言前面講完linux的vLLM安裝使用，這次來介紹Windows版本的使用方式，筆者之前剛好借到一台windows電腦+RTX 4060 Ti * 2，就用...

母湯小精靈 ‧ 2024-09-26 ‧團隊為了AI而AI

技術 【Day 26】- Ollama: 革命性工具讓本地 AI 開發觸手可及 - 從安裝到進階應用的完整指南

達標好文 技術 #1 製作屬於自己的 AI Vtuber

技術 #2 Python SDK for Gemini API 使用 Google 的 Gemini 大型語言模型

技術 提示工程（Prompt Engineering）：Prompt 進階技法 chain-of-thought (CoT)