iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

10 Like 1 留言 114161 瀏覽

鐵人賽生成式 AI DAY 26

2024 年用 LangGraph 從零開始實現 Agentic AI System 系列第 26 篇

達標好文技術【Day 26】- Ollama: 革命性工具讓本地 AI 開發觸手可及 - 從安裝到進階應用的完整指南

摘要這篇文章是一篇關於 Ollama 的詳細指南，介紹了 Ollama 這個開源本地大型語言模型運行框架。文章首先介紹了 Ollama 的背景、特性和優點，強...

hengshiousheu ‧ 2024-09-24

1 Like 0 留言 32877 瀏覽

鐵人賽 AI & Data DAY 5

OpenAI 從提示工程（Prompt Engineering)到語義核心(Semantic Kernel)的實踐系列第 5 篇

技術提示工程（Prompt Engineering）：Prompt 進階技法 chain-of-thought (CoT)

提示工程（Prompt Engineering）：Prompt 進階技法 chain-of-thought (CoT) 前言前一篇提到 In-Context...

Ian ‧ 2023-09-20

4 Like 1 留言 31521 瀏覽

鐵人賽 AI & Data DAY 16

LLM 學習筆記系列第 16 篇

技術 LLM Note Day 16 - ggml & llama.cpp

簡介 ggml 是 ggerganov 開發的一個機器學習框架，主打純 C 語言、輕量化且可以在 Apple 裝置上執行等功能。大概 2022 年底的時候，就常...

Penut Chen ‧ 2023-10-01 ‧團隊消波塊上的海洋貓貓

6 Like 1 留言 27306 瀏覽

達標好文技術 #1 製作屬於自己的 AI Vtuber

現在AI已經流行了好一陣子，有在關注AI Vtuber的各位一定都知道Vedal(計算機程序員和人工智慧開發者，利用大型語言模型生成了Neuro-sama的回應...

xiangcheng ‧ 2024-09-17

3 Like 1 留言 24320 瀏覽

鐵人賽 AI & Data DAY 24

LLM 學習筆記系列第 24 篇

技術 LLM Note Day 24 - 語言模型微調 LLM Finetuning

簡介接下來要來討論如何微調 (Finetune) 一個大型語言模型。微調 LLM 與微調其他模型其實很相似，但是因為 LLM 的參數量較大，所以訓練的最低需求...

Penut Chen ‧ 2023-10-09 ‧團隊消波塊上的海洋貓貓

4 Like 0 留言 22755 瀏覽

技術 #2 Python SDK for Gemini API 使用 Google 的 Gemini 大型語言模型

本篇我們要接續#1 製作屬於自己的 AI Vtuberhttps://ithelp.ithome.com.tw/articles/10352663 此流程通過整...

xiangcheng ‧ 2024-09-17

3 Like 1 留言 22272 瀏覽

技術 #3 開發專屬個人化回覆AI(基於tkinter和 Google 生成式 AI 模型的簡單聊天應用)

在上篇已經創建好Gemini api金鑰及創建使用者與AI對話視窗(連結在下面)，今天要來實驗一個屬於自己的AI人物設置!上篇連結 #2 Python SDK...

xiangcheng ‧ 2024-09-28

1 Like 0 留言 19153 瀏覽

鐵人賽生成式 AI DAY 24

2024 年用 LangGraph 從零開始實現 Agentic AI System 系列第 24 篇

技術【Day 24】- GraphRAG：革新檢索增強生成的新範式

摘要這篇文章介紹了一種名為 GraphRAG 的新型檢索增強生成技術，它由微軟研究團隊提出，旨在突破傳統 RAG 方法在處理複雜資訊時的局限性。GraphRA...

hengshiousheu ‧ 2024-09-22

3 Like 0 留言 19010 瀏覽

鐵人賽 AI & Data DAY 9

LLM 學習筆記系列第 9 篇

技術 LLM Note Day 9 - LLM 訓練流程

簡介在開始實際操作 LLM 之前，我們先來瞭解 LLM 的訓練流程。訓練一個 LLM 通常包含兩個步驟：監督式微調與增強式學習，不過也有許多模型只做監督式微調...

Penut Chen ‧ 2023-09-24 ‧團隊消波塊上的海洋貓貓

5 Like 1 留言 17954 瀏覽

鐵人賽 AI & Data DAY 25

LLM 學習筆記系列第 25 篇

技術 LLM Note Day 25 - PEFT & LoRA 訓練框架

簡介在單張消費級顯卡上全微調 (Fully Fine-Tune, FFT) 一個 7B 參數量以上的模型幾乎是不可能的，這時神秘的笑臉再次出手拯救了我們。由...

Penut Chen ‧ 2023-10-10 ‧團隊消波塊上的海洋貓貓

1 Like 0 留言 16406 瀏覽

鐵人賽生成式 AI DAY 4

2024 年用 LangGraph 從零開始實現 Agentic AI System 系列第 4 篇

技術【Day 4】- LangGraph 入門教程：節點、邊、狀態

摘要這篇文章深入淺出地介紹了 LangGraph，一種由 LangChain 團隊開發的工具，用於構建更靈活且複雜的 AI 代理工作流程。LangGraph...

hengshiousheu ‧ 2024-09-02

2 Like 1 留言 14223 瀏覽

鐵人賽生成式 AI DAY 2

2024 年用 LangGraph 從零開始實現 Agentic AI System 系列第 2 篇

技術【Day 2】- 什麼是 AI 代理？複合式 AI 與 Agentic AI 的創新之路

摘要這篇文章深入探討了人工智慧領域從單一模型到複合式 AI 系統的轉變，並重點介紹了 AI 代理的概念和應用。文章首先以智慧打卡系統為例，說明單一模型在處理...

hengshiousheu ‧ 2024-08-31

0 Like 0 留言 13766 瀏覽

鐵人賽生成式 AI DAY 22

Local LLM infra & Inference 一部曲系列第 22 篇

技術 Day22 - vLLM實作篇PART1：安裝到推理 (Linux version)

🚀 vLLM介紹 vLLM是一個速度快、靈活又簡單好用的推理加速框架，主打使用PagedAttention管理kv cache，Model Paralleliz...

母湯小精靈 ‧ 2024-09-23 ‧團隊為了AI而AI

0 Like 0 留言 13416 瀏覽

鐵人賽生成式 AI DAY 9

Local LLM infra & Inference 一部曲系列第 9 篇

技術 Day9 - 選擇適合你的中文local LLM

前言這章來整理一下目前看到的繁體中文LLM，以及怎麼選擇適合自己任務的local LLM。找local Model最重要的是模型的推理能力，模型對於特定任務...

母湯小精靈 ‧ 2024-09-10 ‧團隊為了AI而AI

1 Like 0 留言 13168 瀏覽

鐵人賽 AI & Data DAY 4

OpenAI 從提示工程（Prompt Engineering)到語義核心(Semantic Kernel)的實踐系列第 4 篇

技術提示工程（Prompt Engineering）：Prompt 進階技法 In-Context Learning

前言前一篇提到Prompt 的基本技法，本篇開始會談一些進階式的用法，首先來看的是In-Context Learning。雖然前一篇的Prompt 基本技法在...

Ian ‧ 2023-09-19

2 Like 1 留言 12563 瀏覽

鐵人賽生成式 AI DAY 18

2024 年用 LangGraph 從零開始實現 Agentic AI System 系列第 18 篇

技術【Day 18】- LangGraph 與 LangFuse：打造 Agent 觀測系統全方位指南

摘要這篇文章探討了如何使用 LangGraph 與 LangFuse 打造全方位的 Agent 觀測系統。LangGraph 是一個用於構建複雜 AI 代理應...

hengshiousheu ‧ 2024-09-16

1 Like 2 留言 11509 瀏覽

鐵人賽生成式 AI DAY 10

2024 年用 LangGraph 從零開始實現 Agentic AI System 系列第 10 篇

技術【Day 10】從零到一：用實戰案例掌握 LangGraph Studio 開發 AI 代理

摘要本文介紹了 LangGraph Studio，一個專為 AI 代理應用程式開發設計的整合開發環境 (IDE)。文章首先介紹了 LangGraph Stud...

hengshiousheu ‧ 2024-09-08

5 Like 0 留言 10710 瀏覽

鐵人賽 AI & Data DAY 11

LLM 學習筆記系列第 11 篇

技術 LLM Note Day 11 - 擁抱開源的微笑 Hugging Face Transformers

簡介 Hugging Face 🤗 Transformers 是訓練 Transformer 模型最知名的套件沒有之一，此套件收入了許多知名模型架構、訓練演算法...

Penut Chen ‧ 2023-09-26 ‧團隊消波塊上的海洋貓貓

4 Like 1 留言 10429 瀏覽

鐵人賽 AI & Data DAY 17

LLM 學習筆記系列第 17 篇

技術 LLM Note Day 17 - vLLM & Paged Attention

簡介 vLLM 是來自 UC Berkeley 的 Woosuk Kwon 和 Zhuohan Li 所製作的推論框架，使用 Paged Attention 技...

Penut Chen ‧ 2023-10-02 ‧團隊消波塊上的海洋貓貓

0 Like 0 留言 9566 瀏覽

鐵人賽生成式 AI DAY 25

Local LLM infra & Inference 一部曲系列第 25 篇

技術 Day25 - vLLM實作篇PART4：安裝到推理 (Windows version)

前言前面講完linux的vLLM安裝使用，這次來介紹Windows版本的使用方式，筆者之前剛好借到一台windows電腦+RTX 4060 Ti * 2，就用...

母湯小精靈 ‧ 2024-09-26 ‧團隊為了AI而AI

0 Like 1 留言 9525 瀏覽

鐵人賽生成式 AI DAY 21

2024 年用 LangGraph 從零開始實現 Agentic AI System 系列第 21 篇

技術【Day 21】- 從基礎到進階: 掌握RAG基礎並使用LangGraph實現Agentic RAG

摘要這篇文章探討了檢索增強生成 (Retrieval-Augmented Generation, RAG) 技術，它結合了資訊檢索和文本生成，以克服現有大型語...

hengshiousheu ‧ 2024-09-19

1 Like 1 留言 7995 瀏覽

鐵人賽生成式 AI DAY 27

2024 年用 LangGraph 從零開始實現 Agentic AI System 系列第 27 篇

技術【Day 27】- 告別提示工程：DSPy如何革新大型語言模型的應用開發

摘要DSPy 是一個由 Stanford NLP 研究人員開發的框架，旨在簡化大型語言模型 (LLM) 的開發。它以 "Programming, n...

hengshiousheu ‧ 2024-09-25

0 Like 0 留言 7725 瀏覽

技術在 Windows 上編譯 llama.cpp 專案

最近接觸到要將 LLM 放在 Windows 筆電上運行的案子，需對 llama.cpp 做一些自訂選項的編譯，因此無法直接拿 GitHub 上的 Releas...

Penut Chen ‧ 2024-08-03

3 Like 0 留言 7541 瀏覽

鐵人賽 AI & Data DAY 20

LLM 學習筆記系列第 20 篇

技術 LLM Note Day 20 - 上下文學習 In-Context Learning

簡介上下文學習 (In-Context Learning, ICL) 是一種語言模型的現象，LLM 可以根據提供的範例來產生預測的標記，而不需要任何額外的微調...

Penut Chen ‧ 2023-10-05 ‧團隊消波塊上的海洋貓貓

1 Like 0 留言 7524 瀏覽

鐵人賽生成式 AI DAY 23

Local LLM infra & Inference 一部曲系列第 23 篇

技術 Day23 - vLLM實作篇PART2：模型平行化 / 預測推理 / 其他設定

前言昨天的教學中，已經學會設定基本的OpenAI-Compatible Server方法了。簡單回顧一下，若是什麼也沒設定，預設會是使用一個GPU。 🎮 筆...

母湯小精靈 ‧ 2024-09-24 ‧團隊為了AI而AI

0 Like 0 留言 7449 瀏覽

鐵人賽 AI & Data DAY 3

OpenAI 從提示工程（Prompt Engineering)到語義核心(Semantic Kernel)的實踐系列第 3 篇

技術提示工程（Prompt Engineering）：Prompt 初階技法

前言上一篇提到Prompt是LLM模型的誘發劑，本篇接續介紹Prompt的基本用法和一些初階技法，幫助讀者更有效的與這些語言模型互動。接下來的內容均以Ch...

Ian ‧ 2023-09-18

1 Like 0 留言 7343 瀏覽

鐵人賽 AI & Data DAY 15

LLM 學習筆記系列第 15 篇

技術 LLM Note Day 15 - ONNX & ONNX Runtime

簡介 ONNX Runtime (ORT) 與其他推論框架相比，是個相對古老的框架。但是他的泛用性相當高，可以適用於幾乎任何模型上。而 ORT 不只專注在推論上...

Penut Chen ‧ 2023-09-30 ‧團隊消波塊上的海洋貓貓

0 Like 0 留言 7308 瀏覽

鐵人賽生成式 AI DAY 29

2024 年用 LangGraph 從零開始實現 Agentic AI System 系列第 29 篇

技術【Day 29】- 網站開發遇上 AI：FastAPI、Streamlit 與 LangServe 的實戰指南

摘要這篇文章旨在引導讀者學習如何利用 FastAPI 建構高效的後端服務，使用 Streamlit 打造互動式前端介面，並透過 LangServe 將 Lan...

hengshiousheu ‧ 2024-09-27

2 Like 0 留言 7065 瀏覽

鐵人賽 AI & Data DAY 12

LLM 學習筆記系列第 12 篇

技術 LLM Note Day 12 - So Many LLMs 如繁星般的語言模型們

簡介雖然多數的 Local LLM 不會像 ChatGPT 一樣高達 175B 的參數量，但即便模型只有 7B, 13B，在只有一兩張 3090, 4090...

Penut Chen ‧ 2023-09-27 ‧團隊消波塊上的海洋貓貓

2 Like 0 留言 6975 瀏覽

技術 Groq + Llama 3.1 + SerpApi 免費仔光速打造簡易 RAG 系統

Groq 是一家美國的人工智慧公司，專注於硬體推論加速器的開發，近期以 LPU (Language Process Unit) 聞名。LPU 就跟 CPU 或...

Penut Chen ‧ 2024-07-24

達標好文 技術 【Day 26】- Ollama: 革命性工具讓本地 AI 開發觸手可及 - 從安裝到進階應用的完整指南

技術 提示工程（Prompt Engineering）：Prompt 進階技法 chain-of-thought (CoT)

技術 LLM Note Day 16 - ggml & llama.cpp

達標好文 技術 #1 製作屬於自己的 AI Vtuber