iT邦幫忙

llm相關文章
共有 365 則文章
1 Like 0 留言 1095 瀏覽
鐵人賽 AI/ ML & Data DAY 16
一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡 系列 第 16 篇

技術 [Day 16]輕量級模型能否在複雜科學問題上追平ChatGPT呢？- OOM了怎麼辦？淺談 LLM 分層加載技術（layer-wise loading）、Perplexity 與 RAG 策略

在霓虹閃爍的賽博朋克城市深處，隱藏著一個不為人知的秘密競技場。這裡不再有血肉之軀的戰鬥，而是智能模型之間的對決。 在這個地下世界里，參賽者們扮演著勇敢的戰士，...

壓縮甜 ‧ 2024-09-30
1 Like 2 留言 2058 瀏覽
鐵人賽 生成式 AI DAY 30
Local LLM infra & Inference 一部曲 系列 第 30 篇

技術 Day30 - 尾聲 & 未來展望：LLM畫大餅之旅心得

0. 尾聲 & 未來展望 🔮🚀 終於來到最後一天，謝謝願意點進來看的讀者們>< 這30天，我們從LLM和硬體基礎知識開始學習，知道如果想要有...

母湯小精靈 ‧ 2024-10-01 ‧團隊為了AI而AI
0 Like 0 留言 4632 瀏覽
鐵人賽 生成式 AI DAY 29
Local LLM infra & Inference 一部曲 系列 第 29 篇

技術 Day29 - vLLM實作篇PART5：監控vLLM

前言 接續昨天的監控介紹和 Day24 的實作篇，今天就要來介紹如何使用開源工具Prometheus和Grafana來監控vLLM的一些硬體與推理指標，最後實作...

母湯小精靈 ‧ 2024-09-30 ‧團隊為了AI而AI
0 Like 0 留言 2527 瀏覽
鐵人賽 生成式 AI DAY 29
懶人救星：生成式AI 系列 第 29 篇

技術 Day29－人工智慧搜尋引擎革命：Perplexity AI

Perplexity AI Perplexity AI 是一款先進的人工智慧搜尋引擎，結合了即時網路搜尋和自然語言處理技術。 功能 高品質答案🎯Perple...

這支筆有AI ‧ 2024-09-30 ‧團隊為了AI而AI
1 Like 0 留言 1570 瀏覽
鐵人賽 AI/ ML & Data DAY 15
一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡 系列 第 15 篇

技術 [Day 15]🧟成為特級LLM咒言師的第四天 - 為什麼"lucrarea"咒語會這麼強大？一些實驗設計與思考 - 淺談文本對抗攻擊(Adversarial Attack)實作篇

昨天提到第一名利用 T5-base 模型的弱點，在提交的 prompt 後面瘋狂重複"lucrarea"這個神秘咒語，就能有效提高自身和正確...

壓縮甜 ‧ 2024-09-29
0 Like 0 留言 1017 瀏覽
鐵人賽 AI/ ML & Data DAY 21
軟體工程師的脫魯日誌-持續介紹hardcore AI研究直到脫魯🥹 系列 第 21 篇

技術 Day21: 利用Prompt 打終界龍

萬物皆可Prompt，但你有想過可以透過Prompt來玩麥塊(MineCraft)嗎? 多倫多大學開發了一個名為STEVE-1的模型，這是一個能夠在Minecr...

渴望脫魯的SWE ‧ 2024-10-05
1 Like 0 留言 2532 瀏覽
鐵人賽 生成式 AI DAY 28
懶人救星：生成式AI 系列 第 28 篇

技術 Day28－AI 戀愛興起，一週體驗《卿卿我我》

戀愛型 AI 💕 前面筆者提到了現在最新的 AI 議題《人類和機器的情感交流》，筆者記得曾經看到一篇討論Z世代年輕人開始從交友軟體轉向戀愛AI軟體，筆者也因好奇...

這支筆有AI ‧ 2024-09-29 ‧團隊為了AI而AI
1 Like 0 留言 1733 瀏覽
鐵人賽 生成式 AI DAY 28
Local LLM infra & Inference 一部曲 系列 第 28 篇

技術 Day28 - 從服務部署到維運：DevOps & 服務監控

前言 在硬體設備、實作部署都告一段落後，最後需要做的就是監控 📊。在部署LLM推理服務後，監控是開發後最重要的其中一部分。這不僅僅是為了服務的穩定性 ⚙️，還能...

母湯小精靈 ‧ 2024-09-29 ‧團隊為了AI而AI
1 Like 0 留言 2473 瀏覽
鐵人賽 AI/ ML & Data DAY 14
一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡 系列 第 14 篇

技術 [Day14]🧟成為特級LLM咒言師的第三天 - All you need is just "lucrarea" ：淺談文本對抗攻擊(Adversarial Attack)原理篇

對圖像做 adversarial attack 可能你已經很熟悉了，今天帶大家來看看怎麼對文本做對抗攻擊。第一名的 solution 就使用到 adversar...

壓縮甜 ‧ 2024-09-28
1 Like 0 留言 1929 瀏覽
鐵人賽 生成式 AI DAY 14
從Azure雲端服務架構入門，在本地端結合RAG&LLM打造專屬的聊天機器人。 系列 第 14 篇

技術 Part1: Azure聊天機器人原理-架構回顧

▋Azure聊天機器人實例 從Day2初次看到這張Azure聊天機器人架構圖，到現在經過了各種層面的認識之後，重新再看一次這張圖大家可能已經有不同的感想了。今...

Harper ‧ 2024-09-28 ‧團隊資料工程師甘苦談
3 Like 1 留言 22415 瀏覽

技術 #3 開發專屬個人化回覆AI(基於tkinter和 Google 生成式 AI 模型的簡單聊天應用)

在上篇已經創建好Gemini api金鑰及創建使用者與AI對話視窗(連結在下面)，今天要來實驗一個屬於自己的AI人物設置!上篇連結 #2 Python SDK...

xiangcheng ‧ 2024-09-28
1 Like 0 留言 1477 瀏覽
鐵人賽 AI/ ML & Data DAY 13
一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡 系列 第 13 篇

技術 [Day 13]🧟成為特級LLM咒言師的第二天 - 找 Mean Prompt 不用那麼麻煩：分佈相似度驅動的Mean Prompt優化

不知道你會不會覺得，昨天介紹的解法中，第一步「不斷迭代 mean prompt 以優化這個 prompt」，需要每做1個或n個對 token 的操作，就上傳到...

壓縮甜 ‧ 2024-09-27
2 Like 0 留言 2111 瀏覽
鐵人賽 生成式 AI DAY 28
智能雲端架構圖生成：結合LangChain&LangGrpah與Rag的創新應用 系列 第 28 篇

技術 day28 用LangGraph打造互動工作流程：圖形化工作流介紹

前言 昨天我們進行一個完整的生成架構圖系統，可以讓使用者輸入，並且展示架構圖，但是在實際的系統上，不一定只有生成架構圖這個選項，也可能有專注回答使用者問題的Ag...

jay0810 ‧ 2024-09-27 ‧團隊不時以註解遮羞的實習同學
2 Like 1 留言 928 瀏覽
鐵人賽 AI/ ML & Data DAY 12
一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡 系列 第 12 篇

技術 [Day 12]🧟成為特級LLM咒言師的第一天 - 你找得到最優 Mean Prompt 嗎 ？從 text2text 到 vec2text

大家應該都很習慣跟LLM聊天時，輸入文字然後 LLM 就會輸出文字的這個 text2(to)text 的過程。今天要教大家怎麼操作向量空間中的 embeddin...

壓縮甜 ‧ 2024-09-26
2 Like 0 留言 2226 瀏覽
鐵人賽 AI/ ML & Data DAY 11
一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡 系列 第 11 篇

技術 [Day 11]🧟你是個準一級LLM咒言師嗎？-淺談 prompt 逆向工程

有時候，大型語言模型（LLM）並不總是按照我們的意願工作。馬上12點快到了，你可能希望chatgpt趕快將一篇你正在寫的鐵人賽文章改寫得生動有趣、增加觸及，但...

壓縮甜 ‧ 2024-09-25
0 Like 0 留言 5025 瀏覽
鐵人賽 生成式 AI DAY 25
懶人救星：生成式AI 系列 第 25 篇

技術 Day25－測試你的 RAG Chatbot 到底行不行？幾個評估指標給你答案！

前言✨ LlamaIndex🦙 是一個強大的工具，可用於評估大型語言模型(LLM)的性能。評估和基準測試是 LLM 開發中的關鍵概念。要提高 LLM 應用程序（...

這支筆有AI ‧ 2024-09-26 ‧團隊為了AI而AI
0 Like 0 留言 2208 瀏覽
鐵人賽 生成式 AI DAY 24
懶人救星：生成式AI 系列 第 24 篇

技術 Day24－Text to SQL 的改進方法： DAIL-SQL 心得

前言✨ 在當前數位時代中，資料庫查詢已成為許多行業的核心任務，然而對於不具備 SQL 語法知識的人來說，查詢資料庫仍是一大挑戰。隨著生成式 AI 模型的進步，語...

這支筆有AI ‧ 2024-09-25 ‧團隊為了AI而AI
0 Like 0 留言 11236 瀏覽
鐵人賽 生成式 AI DAY 25
Local LLM infra & Inference 一部曲 系列 第 25 篇

技術 Day25 - vLLM實作篇PART4：安裝到推理 (Windows version)

前言 前面講完linux的vLLM安裝使用，這次來介紹Windows版本的使用方式，筆者之前剛好借到一台windows電腦+RTX 4060 Ti * 2，就用...

母湯小精靈 ‧ 2024-09-26 ‧團隊為了AI而AI
0 Like 0 留言 3095 瀏覽
鐵人賽 生成式 AI DAY 24
Local LLM infra & Inference 一部曲 系列 第 24 篇

技術 Day24 - vLLM實作篇PART3：FastAPI與vLLM docs尋寶之旅

前言 第24天了！最後就在官方文件裡面撈看看還有什麼可以玩的。 ✨ 首先是安裝方式，除了之前試過的linux GPU版本安裝之外，官方文件還提供了linux C...

母湯小精靈 ‧ 2024-09-25 ‧團隊為了AI而AI
1 Like 0 留言 9039 瀏覽
鐵人賽 生成式 AI DAY 23
Local LLM infra & Inference 一部曲 系列 第 23 篇

技術 Day23 - vLLM實作篇PART2：模型平行化 / 預測推理 / 其他設定

前言 昨天的教學中，已經學會設定基本的OpenAI-Compatible Server方法了。 簡單回顧一下，若是什麼也沒設定，預設會是使用一個GPU。 🎮 筆...

母湯小精靈 ‧ 2024-09-24 ‧團隊為了AI而AI
0 Like 0 留言 18892 瀏覽
鐵人賽 生成式 AI DAY 22
Local LLM infra & Inference 一部曲 系列 第 22 篇

技術 Day22 - vLLM實作篇PART1：安裝到推理 (Linux version)

🚀 vLLM介紹 vLLM是一個速度快、靈活又簡單好用的推理加速框架，主打使用PagedAttention管理kv cache，Model Paralleliz...

母湯小精靈 ‧ 2024-09-23 ‧團隊為了AI而AI
0 Like 0 留言 5278 瀏覽
鐵人賽 生成式 AI DAY 21
Local LLM infra & Inference 一部曲 系列 第 21 篇

技術 Day21- 各式各樣的推理框架介紹

前言 最近不同的推理框架不斷地冒出，其實主流也就是那幾個XD，在選擇使用哪一個之前，應該要先定義清楚使用情境，像是給個人電腦做運算 🖥️，還是做成API ser...

母湯小精靈 ‧ 2024-09-22 ‧團隊為了AI而AI
1 Like 0 留言 5332 瀏覽
鐵人賽 生成式 AI DAY 23
懶人救星：生成式AI 系列 第 23 篇

技術 Day23－Text to SQL 的改進方法： DIN-SQL 心得

前言✨ 隨著大數據時代的來臨，SQL Query 成為了各行各業不可或缺的必備技能。然而對於不熟悉 SQL 語法的使用者而言，將自然語言問題轉換為複雜的 SQL...

這支筆有AI ‧ 2024-09-24 ‧團隊為了AI而AI
1 Like 0 留言 1578 瀏覽
鐵人賽 生成式 AI DAY 20
Local LLM infra & Inference 一部曲 系列 第 20 篇

技術 Day20 - 實作之前先來聊一下系統

前言 前面的章節中，我們從基礎的LLM推理知識 🧠、簡單的硬體知識 💻，一路學習到一些著名的推理加速技術原理 ⚡️。 礙於技術篇即使加上一堆emoji 🎨還是很...

母湯小精靈 ‧ 2024-09-21 ‧團隊為了AI而AI
1 Like 0 留言 1766 瀏覽
鐵人賽 生成式 AI DAY 22
懶人救星：生成式AI 系列 第 22 篇

技術 Day22－LlamaIndex 黑科技圖解：讓你在無 SQL 技能下秒變查詢達人！

前言✨ 先前我們介紹了文檔檢索、查詢和聊天等功能。現今隨著企業數據量的激增，企業和組織越來越依賴數據來做出決策。然而許多用戶並不具備 SQL 編寫能力，因此 T...

這支筆有AI ‧ 2024-09-23 ‧團隊為了AI而AI
0 Like 0 留言 885 瀏覽
鐵人賽 AI/ ML & Data DAY 18
軟體工程師的脫魯日誌-持續介紹hardcore AI研究直到脫魯🥹 系列 第 18 篇

技術 Day18: MINDACT-可以幫你上網訂票和發廢文的終極Chatbot

最近Threads上出現一堆電子乞丐和風向文，讓人看了實在很躁。 或許有人會嗆：「不爽就不要看！」但人是犯賤的生物，你們會PO帳單條碼，我們就想臭。 我不禁思考...

渴望脫魯的SWE ‧ 2024-10-02
0 Like 0 留言 501 瀏覽
鐵人賽 AI/ ML & Data DAY 19
軟體工程師的脫魯日誌-持續介紹hardcore AI研究直到脫魯🥹 系列 第 19 篇

技術 Day19: 任務導向之我們希望Siri可以操控手機和APP

每年的這個時候，都是果粉和卓粉的批鬥大會，在今年的六月，蘋果也宣布推出Apple Intelligence，與Google Gemini打對臺(我覺得沒Gemi...

渴望脫魯的SWE ‧ 2024-10-03
0 Like 0 留言 1272 瀏覽
鐵人賽 生成式 AI DAY 20
智能雲端架構圖生成：結合LangChain&LangGrpah與Rag的創新應用 系列 第 20 篇

技術 day20 製作給予GenAI的Diagram as Code教科書(二)：Node補充資料

前言 昨天我們利用Guides製作教學手冊，使得GenAI懂得如何操作這個函式庫，但是若沒有完整的工具書，也沒辦法發揮出這個工具的強大之處，因此我們這天主要獲取...

jay0810 ‧ 2024-09-19 ‧團隊不時以註解遮羞的實習同學
1 Like 0 留言 860 瀏覽
鐵人賽 生成式 AI DAY 5
從Azure雲端服務架構入門，在本地端結合RAG&LLM打造專屬的聊天機器人。 系列 第 5 篇

技術 Part1: Azure聊天機器人原理-RAG&LLM

上一篇我們一起看了聊天機器人的文檔餵食秀，今天要來科普兩個聊天機器人相關的專有名詞，RAG和LLM，這兩個縮寫就在我們系列文的主標題中，但到現在還沒好好跟大家解...

Harper ‧ 2024-09-19 ‧團隊資料工程師甘苦談
0 Like 0 留言 771 瀏覽
鐵人賽 生成式 AI DAY 4
重塑未來：LLM 如何引領區塊鏈與賽局理論的創新應用 系列 第 4 篇

技術 【Day 4】LLM 如何重塑區塊鏈技術：兩個應用範例

歡迎回來! 今天我們要開始討論 LLM 如何影響區塊鏈技術，話不多說，讓我們開始吧! 什麼是區塊鏈? 區塊鏈（Blockchain）是一種分散式系統（Distr...

josephtw0305 ‧ 2024-09-18
iThome鐵人賽
參賽組數
246 組
團體組數
8 組
累計文章數
1980 篇
最後報名日
9/15
iT+看影片追技術 看影片追技術 看更多
熱門tag
15th鐵人賽 16th鐵人賽 13th鐵人賽 14th鐵人賽 17th鐵人賽 12th鐵人賽 11th鐵人賽 鐵人賽 2019鐵人賽 javascript 2018鐵人賽 python 2017鐵人賽 windows php c# 18th鐵人賽 linux windows server css
熱門問題
熱門回答
熱門文章
IT邦幫忙