iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

1 Like 0 留言 947 瀏覽

鐵人賽生成式 AI DAY 28

Local LLM infra & Inference 一部曲系列第 28 篇

技術 Day28 - 從服務部署到維運：DevOps & 服務監控

前言在硬體設備、實作部署都告一段落後，最後需要做的就是監控 📊。在部署LLM推理服務後，監控是開發後最重要的其中一部分。這不僅僅是為了服務的穩定性 ⚙️，還能...

母湯小精靈 ‧ 2024-09-29 ‧團隊為了AI而AI

1 Like 0 留言 1326 瀏覽

鐵人賽 AI/ ML & Data DAY 14

一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡系列第 14 篇

技術 [Day14]🧟成為特級LLM咒言師的第三天 - All you need is just "lucrarea" ：淺談文本對抗攻擊(Adversarial Attack)原理篇

對圖像做 adversarial attack 可能你已經很熟悉了，今天帶大家來看看怎麼對文本做對抗攻擊。第一名的 solution 就使用到 adversar...

壓縮甜 ‧ 2024-09-28

1 Like 0 留言 1662 瀏覽

鐵人賽生成式 AI DAY 14

從Azure雲端服務架構入門，在本地端結合RAG&LLM打造專屬的聊天機器人。系列第 14 篇

技術 Part1: Azure聊天機器人原理-架構回顧

▋Azure聊天機器人實例從Day2初次看到這張Azure聊天機器人架構圖，到現在經過了各種層面的認識之後，重新再看一次這張圖大家可能已經有不同的感想了。今...

Harper ‧ 2024-09-28 ‧團隊資料工程師甘苦談

2 Like 1 留言 22011 瀏覽

技術 #3 開發專屬個人化回覆AI(基於tkinter和 Google 生成式 AI 模型的簡單聊天應用)

在上篇已經創建好Gemini api金鑰及創建使用者與AI對話視窗(連結在下面)，今天要來實驗一個屬於自己的AI人物設置!上篇連結 #2 Python SDK...

xiangcheng ‧ 2024-09-28

1 Like 0 留言 985 瀏覽

鐵人賽 AI/ ML & Data DAY 13

一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡系列第 13 篇

技術 [Day 13]🧟成為特級LLM咒言師的第二天 - 找 Mean Prompt 不用那麼麻煩：分佈相似度驅動的Mean Prompt優化

不知道你會不會覺得，昨天介紹的解法中，第一步「不斷迭代 mean prompt 以優化這個 prompt」，需要每做1個或n個對 token 的操作，就上傳到...

壓縮甜 ‧ 2024-09-27

2 Like 0 留言 1131 瀏覽

鐵人賽生成式 AI DAY 28

智能雲端架構圖生成：結合LangChain&LangGrpah與Rag的創新應用系列第 28 篇

技術 day28 用LangGraph打造互動工作流程：圖形化工作流介紹

前言昨天我們進行一個完整的生成架構圖系統，可以讓使用者輸入，並且展示架構圖，但是在實際的系統上，不一定只有生成架構圖這個選項，也可能有專注回答使用者問題的Ag...

jay0810 ‧ 2024-09-27 ‧團隊不時以註解遮羞的實習同學

2 Like 1 留言 495 瀏覽

鐵人賽 AI/ ML & Data DAY 12

一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡系列第 12 篇

技術 [Day 12]🧟成為特級LLM咒言師的第一天 - 你找得到最優 Mean Prompt 嗎？從 text2text 到 vec2text

大家應該都很習慣跟LLM聊天時，輸入文字然後 LLM 就會輸出文字的這個 text2(to)text 的過程。今天要教大家怎麼操作向量空間中的 embeddin...

壓縮甜 ‧ 2024-09-26

2 Like 0 留言 1479 瀏覽

鐵人賽 AI/ ML & Data DAY 11

一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡系列第 11 篇

技術 [Day 11]🧟你是個準一級LLM咒言師嗎？-淺談 prompt 逆向工程

有時候，大型語言模型（LLM）並不總是按照我們的意願工作。馬上12點快到了，你可能希望chatgpt趕快將一篇你正在寫的鐵人賽文章改寫得生動有趣、增加觸及，但...

壓縮甜 ‧ 2024-09-25

0 Like 0 留言 2684 瀏覽

鐵人賽生成式 AI DAY 25

懶人救星：生成式AI 系列第 25 篇

技術 Day25－測試你的 RAG Chatbot 到底行不行？幾個評估指標給你答案！

前言✨ LlamaIndex🦙 是一個強大的工具，可用於評估大型語言模型(LLM)的性能。評估和基準測試是 LLM 開發中的關鍵概念。要提高 LLM 應用程序（...

這支筆有AI ‧ 2024-09-26 ‧團隊為了AI而AI

0 Like 0 留言 1091 瀏覽

鐵人賽生成式 AI DAY 24

懶人救星：生成式AI 系列第 24 篇

技術 Day24－Text to SQL 的改進方法： DAIL-SQL 心得

前言✨ 在當前數位時代中，資料庫查詢已成為許多行業的核心任務，然而對於不具備 SQL 語法知識的人來說，查詢資料庫仍是一大挑戰。隨著生成式 AI 模型的進步，語...

這支筆有AI ‧ 2024-09-25 ‧團隊為了AI而AI

0 Like 0 留言 4988 瀏覽

鐵人賽生成式 AI DAY 25

Local LLM infra & Inference 一部曲系列第 25 篇

技術 Day25 - vLLM實作篇PART4：安裝到推理 (Windows version)

前言前面講完linux的vLLM安裝使用，這次來介紹Windows版本的使用方式，筆者之前剛好借到一台windows電腦+RTX 4060 Ti * 2，就用...

母湯小精靈 ‧ 2024-09-26 ‧團隊為了AI而AI

0 Like 0 留言 1552 瀏覽

鐵人賽生成式 AI DAY 24

Local LLM infra & Inference 一部曲系列第 24 篇

技術 Day24 - vLLM實作篇PART3：FastAPI與vLLM docs尋寶之旅

前言第24天了！最後就在官方文件裡面撈看看還有什麼可以玩的。 ✨ 首先是安裝方式，除了之前試過的linux GPU版本安裝之外，官方文件還提供了linux C...

母湯小精靈 ‧ 2024-09-25 ‧團隊為了AI而AI

1 Like 0 留言 4081 瀏覽

鐵人賽生成式 AI DAY 23

Local LLM infra & Inference 一部曲系列第 23 篇

技術 Day23 - vLLM實作篇PART2：模型平行化 / 預測推理 / 其他設定

前言昨天的教學中，已經學會設定基本的OpenAI-Compatible Server方法了。簡單回顧一下，若是什麼也沒設定，預設會是使用一個GPU。 🎮 筆...

母湯小精靈 ‧ 2024-09-24 ‧團隊為了AI而AI

0 Like 0 留言 4096 瀏覽

鐵人賽生成式 AI DAY 22

Local LLM infra & Inference 一部曲系列第 22 篇

技術 Day22 - vLLM實作篇PART1：安裝到推理 (Linux version)

🚀 vLLM介紹 vLLM是一個速度快、靈活又簡單好用的推理加速框架，主打使用PagedAttention管理kv cache，Model Paralleliz...

母湯小精靈 ‧ 2024-09-23 ‧團隊為了AI而AI

0 Like 0 留言 2763 瀏覽

鐵人賽生成式 AI DAY 21

Local LLM infra & Inference 一部曲系列第 21 篇

技術 Day21- 各式各樣的推理框架介紹

前言最近不同的推理框架不斷地冒出，其實主流也就是那幾個XD，在選擇使用哪一個之前，應該要先定義清楚使用情境，像是給個人電腦做運算 🖥️，還是做成API ser...

母湯小精靈 ‧ 2024-09-22 ‧團隊為了AI而AI

1 Like 0 留言 2692 瀏覽

鐵人賽生成式 AI DAY 23

懶人救星：生成式AI 系列第 23 篇

技術 Day23－Text to SQL 的改進方法： DIN-SQL 心得

前言✨ 隨著大數據時代的來臨，SQL Query 成為了各行各業不可或缺的必備技能。然而對於不熟悉 SQL 語法的使用者而言，將自然語言問題轉換為複雜的 SQL...

這支筆有AI ‧ 2024-09-24 ‧團隊為了AI而AI

1 Like 0 留言 930 瀏覽

鐵人賽生成式 AI DAY 20

Local LLM infra & Inference 一部曲系列第 20 篇

技術 Day20 - 實作之前先來聊一下系統

前言前面的章節中，我們從基礎的LLM推理知識 🧠、簡單的硬體知識 💻，一路學習到一些著名的推理加速技術原理 ⚡️。礙於技術篇即使加上一堆emoji 🎨還是很...

母湯小精靈 ‧ 2024-09-21 ‧團隊為了AI而AI

1 Like 0 留言 1065 瀏覽

鐵人賽生成式 AI DAY 22

懶人救星：生成式AI 系列第 22 篇

技術 Day22－LlamaIndex 黑科技圖解：讓你在無 SQL 技能下秒變查詢達人！

前言✨ 先前我們介紹了文檔檢索、查詢和聊天等功能。現今隨著企業數據量的激增，企業和組織越來越依賴數據來做出決策。然而許多用戶並不具備 SQL 編寫能力，因此 T...

這支筆有AI ‧ 2024-09-23 ‧團隊為了AI而AI

0 Like 0 留言 674 瀏覽

鐵人賽 AI/ ML & Data DAY 18

軟體工程師的脫魯日誌-持續介紹hardcore AI研究直到脫魯🥹 系列第 18 篇

技術 Day18: MINDACT-可以幫你上網訂票和發廢文的終極Chatbot

最近Threads上出現一堆電子乞丐和風向文，讓人看了實在很躁。或許有人會嗆：「不爽就不要看！」但人是犯賤的生物，你們會PO帳單條碼，我們就想臭。我不禁思考...

渴望脫魯的SWE ‧ 2024-10-02

0 Like 0 留言 303 瀏覽

鐵人賽 AI/ ML & Data DAY 19

軟體工程師的脫魯日誌-持續介紹hardcore AI研究直到脫魯🥹 系列第 19 篇

技術 Day19: 任務導向之我們希望Siri可以操控手機和APP

每年的這個時候，都是果粉和卓粉的批鬥大會，在今年的六月，蘋果也宣布推出Apple Intelligence，與Google Gemini打對臺(我覺得沒Gemi...

渴望脫魯的SWE ‧ 2024-10-03

0 Like 0 留言 818 瀏覽

鐵人賽生成式 AI DAY 20

智能雲端架構圖生成：結合LangChain&LangGrpah與Rag的創新應用系列第 20 篇

技術 day20 製作給予GenAI的Diagram as Code教科書(二)：Node補充資料

前言昨天我們利用Guides製作教學手冊，使得GenAI懂得如何操作這個函式庫，但是若沒有完整的工具書，也沒辦法發揮出這個工具的強大之處，因此我們這天主要獲取...

jay0810 ‧ 2024-09-19 ‧團隊不時以註解遮羞的實習同學

1 Like 0 留言 574 瀏覽

鐵人賽生成式 AI DAY 5

從Azure雲端服務架構入門，在本地端結合RAG&LLM打造專屬的聊天機器人。系列第 5 篇

技術 Part1: Azure聊天機器人原理-RAG&LLM

上一篇我們一起看了聊天機器人的文檔餵食秀，今天要來科普兩個聊天機器人相關的專有名詞，RAG和LLM，這兩個縮寫就在我們系列文的主標題中，但到現在還沒好好跟大家解...

Harper ‧ 2024-09-19 ‧團隊資料工程師甘苦談

0 Like 0 留言 506 瀏覽

鐵人賽生成式 AI DAY 4

重塑未來：LLM 如何引領區塊鏈與賽局理論的創新應用系列第 4 篇

技術【Day 4】LLM 如何重塑區塊鏈技術：兩個應用範例

歡迎回來! 今天我們要開始討論 LLM 如何影響區塊鏈技術，話不多說，讓我們開始吧! 什麼是區塊鏈? 區塊鏈（Blockchain）是一種分散式系統（Distr...

josephtw0305 ‧ 2024-09-18

1 Like 0 留言 1543 瀏覽

鐵人賽生成式 AI DAY 4

生成式 AI之亂—從概念到實踐的LLM開發生態探索系列第 4 篇

技術 Day4 模型介紹(GPT-4o, Claude 3.5 Sonnet, Gemini, llama3.1, Phi-3, Qwen2.5, Grok, ...)

上次提到生成式AI的開發的三大支柱「模型、平台、開發套件」，這次先來討論「模型」這個支柱。本文將聚焦於生成式AI的核心「模型」。我們將主要探討語言模型(Lan...

br__ ‧ 2024-09-18

0 Like 0 留言 1624 瀏覽

鐵人賽生成式 AI DAY 19

Local LLM infra & Inference 一部曲系列第 19 篇

技術 Day19 - 教練，我想要更長的context length......

前言這篇是最後一篇硬體加速技術理論篇了！介紹的是資料面最佳化 (Data-level Optimization) 的方法。 🚀 簡單複習一下，在很久以前的...

母湯小精靈 ‧ 2024-09-20 ‧團隊為了AI而AI

0 Like 0 留言 2347 瀏覽

鐵人賽生成式 AI DAY 18

Local LLM infra & Inference 一部曲系列第 18 篇

技術 Day18 - 快......還要更快：Speculative decoding

前言這一章將介紹演算法層面最佳化 (Algorithm-level Optimization) ，這其中最知名的即為Speculative Decoding...

母湯小精靈 ‧ 2024-09-19 ‧團隊為了AI而AI

1 Like 0 留言 2127 瀏覽

鐵人賽生成式 AI DAY 17

Local LLM infra & Inference 一部曲系列第 17 篇

技術 Day17 - 模型壓縮之如何玩弄模型PART2：蒸餾/剪枝/稀疏化

前言上一章中介紹了量化，它將模型從高精度轉換成低精度，來進行模型壓縮的動作，這一章會繼續介紹其他的模型壓縮方法！ 🚀📉 (圖源: DALL·E) 💧 Kno...

母湯小精靈 ‧ 2024-09-18 ‧團隊為了AI而AI

0 Like 0 留言 597 瀏覽

鐵人賽生成式 AI DAY 3

重塑未來：LLM 如何引領區塊鏈與賽局理論的創新應用系列第 3 篇

技術【Day 3】LLM 的演變：從 GPT-3 到最新模型的進展

LLM 和 Transformer 前面我們已經聊到 LLM 的快速發展，以及它不可忽視的能力。講個笑話，曾經有個程式設計師上班時無法工作，老闆問為什麼? 他回...

josephtw0305 ‧ 2024-09-17

0 Like 0 留言 465 瀏覽

鐵人賽 AI/ ML & Data DAY 4

軟體工程師的脫魯日誌-持續介紹hardcore AI研究直到脫魯🥹 系列第 4 篇

技術 Day4: Chit-chat talk之DialoGPT－ChatGPT的阿祖

今天，我們來介紹在Chit-chat talk 一個具代表的chatbot，DialoGPT。DialoGPT(Dialogue Generative Pre-...

渴望脫魯的SWE ‧ 2024-09-18

5 Like 0 留言 25553 瀏覽

達標好文技術 #1 製作屬於自己的 AI Vtuber

現在AI已經流行了好一陣子，有在關注AI Vtuber的各位一定都知道Vedal(計算機程序員和人工智慧開發者，利用大型語言模型生成了Neuro-sama的回應...

xiangcheng ‧ 2024-09-17