iT邦幫忙

llm相關文章
共有 313 則文章
3 Like 0 留言 942 瀏覽
鐵人賽 AI/ ML & Data DAY 20
一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡 系列 第 20 篇

技術 [Day20]Encoder-only 與 Decoder-only 的路線之爭？淺談 Decoder-only 架構驅動的 RAG Pipeline 建置

[Day16]我們討論了本次賽題的兩種 baseline 的作法，一種是訓練 deberta 做 Multi-Class 或者是 Multi-Label 的任務...

壓縮甜 ‧ 2024-10-04
1 Like 0 留言 5029 瀏覽
鐵人賽 AI/ ML & Data DAY 19
一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡 系列 第 19 篇

技術 [Day 19]Data-Model-Model Training! 淺談如何在有限的資源上高效地訓練LLM

今天會帶大家使用 unsloth 這個好用的 library ，在單張消費級顯卡上微調自己的大語言模型🚀🚀！ 前情提要 Day 17我們結合多種不同資料來源與技...

壓縮甜 ‧ 2024-10-03
0 Like 0 留言 1806 瀏覽
鐵人賽 AI/ ML & Data DAY 25
深度學習的學習之旅：從理論到實作 系列 第 25 篇

技術 [Day 25] 了解大型語言模型(LLM)：變革AI的核心技術

LLM 前言 昨天說到了生成式AI，今天來介紹一個跟他息息相關的重要技術，LLM吧~ LLM是什麼 LLM的全名是Large Language Model，中文...

arbin ‧ 2024-10-03 ‧團隊NUTC imac
0 Like 0 留言 636 瀏覽
鐵人賽 AI/ ML & Data DAY 28
軟體工程師的脫魯日誌-持續介紹hardcore AI研究直到脫魯🥹 系列 第 28 篇

技術 Day28: 使用Flask在本地端架設自己的DialoGPT聊天室

我們在【Day5: 如何利用DialoGPT建立一個小小的聊天機器人】已經介紹要如何使用Huggingface去載入並使用DialoGPT，那今天我們來升級聊天...

渴望脫魯的SWE ‧ 2024-10-12
1 Like 0 留言 2457 瀏覽
鐵人賽 AI/ ML & Data DAY 18
一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡 系列 第 18 篇

技術 [Day18]🧐如何選擇適合特定任務的 LLM？深入分析評測 LLM 常用的 Benchmark 與 Leaderboard

近一兩年，不管是開源或閉源，全世界的大模型競賽已呈現出白熱化的局面，市場上湧現出數量眾多的模型。各大實驗室和企業大廠不僅注重模型參數、效能的提升，還常在宣傳中強...

壓縮甜 ‧ 2024-10-02
1 Like 0 留言 1556 瀏覽
鐵人賽 AI/ ML & Data DAY 17
一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡 系列 第 17 篇

技術 [Day 17]🧐如何利用LLM生成High Quality的增強版訓練數據集？

如何產生一個優質的 dataset 來增強訓練？ 生成優質的資料集需要考慮哪些事情呢？ 昨天我們介紹這個比賽的時候，有提到主辦方只給我們少量的訓練資料(20...

壓縮甜 ‧ 2024-10-01
0 Like 0 留言 321 瀏覽
鐵人賽 AI/ ML & Data DAY 20
軟體工程師的脫魯日誌-持續介紹hardcore AI研究直到脫魯🥹 系列 第 20 篇

技術 Day20: 使用Flask來架設自己的TOD Chatbot互動網站

我們在【Day17:TOD版的DialoGPT-ConvLab實作】介紹如何建構一個TOD對話系統，那今天我們來續講如何利用ConvLab-3來架設一個互動網站...

渴望脫魯的SWE ‧ 2024-10-04
0 Like 0 留言 797 瀏覽
鐵人賽 AI/ ML & Data DAY 25
軟體工程師的脫魯日誌-持續介紹hardcore AI研究直到脫魯🥹 系列 第 25 篇

技術 Day25: LLMs 刷題的真相

距今約兩個月前(2024.8.21)，有位Reddit的網友利用Claude3.5 Sonnet進行LeetCode刷題，並用9美元在24小時內完成633道題目...

渴望脫魯的SWE ‧ 2024-10-09
1 Like 0 留言 752 瀏覽
鐵人賽 AI/ ML & Data DAY 16
一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡 系列 第 16 篇

技術 [Day 16]輕量級模型能否在複雜科學問題上追平ChatGPT呢？- OOM了怎麼辦？淺談 LLM 分層加載技術（layer-wise loading）、Perplexity 與 RAG 策略

在霓虹閃爍的賽博朋克城市深處，隱藏著一個不為人知的秘密競技場。這裡不再有血肉之軀的戰鬥，而是智能模型之間的對決。 在這個地下世界里，參賽者們扮演著勇敢的戰士，...

壓縮甜 ‧ 2024-09-30
1 Like 2 留言 1424 瀏覽
鐵人賽 生成式 AI DAY 30
Local LLM infra & Inference 一部曲 系列 第 30 篇

技術 Day30 - 尾聲 & 未來展望：LLM畫大餅之旅心得

0. 尾聲 & 未來展望 🔮🚀 終於來到最後一天，謝謝願意點進來看的讀者們>< 這30天，我們從LLM和硬體基礎知識開始學習，知道如果想要有...

母湯小精靈 ‧ 2024-10-01 ‧團隊為了AI而AI
0 Like 0 留言 2900 瀏覽
鐵人賽 生成式 AI DAY 29
Local LLM infra & Inference 一部曲 系列 第 29 篇

技術 Day29 - vLLM實作篇PART5：監控vLLM

前言 接續昨天的監控介紹和 Day24 的實作篇，今天就要來介紹如何使用開源工具Prometheus和Grafana來監控vLLM的一些硬體與推理指標，最後實作...

母湯小精靈 ‧ 2024-09-30 ‧團隊為了AI而AI
0 Like 0 留言 2184 瀏覽
鐵人賽 生成式 AI DAY 29
懶人救星：生成式AI 系列 第 29 篇

技術 Day29－人工智慧搜尋引擎革命：Perplexity AI

Perplexity AI Perplexity AI 是一款先進的人工智慧搜尋引擎，結合了即時網路搜尋和自然語言處理技術。 功能 高品質答案🎯Perple...

這支筆有AI ‧ 2024-09-30 ‧團隊為了AI而AI
1 Like 0 留言 1061 瀏覽
鐵人賽 AI/ ML & Data DAY 15
一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡 系列 第 15 篇

技術 [Day 15]🧟成為特級LLM咒言師的第四天 - 為什麼"lucrarea"咒語會這麼強大？一些實驗設計與思考 - 淺談文本對抗攻擊(Adversarial Attack)實作篇

昨天提到第一名利用 T5-base 模型的弱點，在提交的 prompt 後面瘋狂重複"lucrarea"這個神秘咒語，就能有效提高自身和正確...

壓縮甜 ‧ 2024-09-29
0 Like 0 留言 595 瀏覽
鐵人賽 AI/ ML & Data DAY 21
軟體工程師的脫魯日誌-持續介紹hardcore AI研究直到脫魯🥹 系列 第 21 篇

技術 Day21: 利用Prompt 打終界龍

萬物皆可Prompt，但你有想過可以透過Prompt來玩麥塊(MineCraft)嗎? 多倫多大學開發了一個名為STEVE-1的模型，這是一個能夠在Minecr...

渴望脫魯的SWE ‧ 2024-10-05
1 Like 0 留言 1529 瀏覽
鐵人賽 生成式 AI DAY 28
懶人救星：生成式AI 系列 第 28 篇

技術 Day28－AI 戀愛興起，一週體驗《卿卿我我》

戀愛型 AI 💕 前面筆者提到了現在最新的 AI 議題《人類和機器的情感交流》，筆者記得曾經看到一篇討論Z世代年輕人開始從交友軟體轉向戀愛AI軟體，筆者也因好奇...

這支筆有AI ‧ 2024-09-29 ‧團隊為了AI而AI
1 Like 0 留言 1078 瀏覽
鐵人賽 生成式 AI DAY 28
Local LLM infra & Inference 一部曲 系列 第 28 篇

技術 Day28 - 從服務部署到維運：DevOps & 服務監控

前言 在硬體設備、實作部署都告一段落後，最後需要做的就是監控 📊。在部署LLM推理服務後，監控是開發後最重要的其中一部分。這不僅僅是為了服務的穩定性 ⚙️，還能...

母湯小精靈 ‧ 2024-09-29 ‧團隊為了AI而AI
1 Like 0 留言 1487 瀏覽
鐵人賽 AI/ ML & Data DAY 14
一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡 系列 第 14 篇

技術 [Day14]🧟成為特級LLM咒言師的第三天 - All you need is just "lucrarea" ：淺談文本對抗攻擊(Adversarial Attack)原理篇

對圖像做 adversarial attack 可能你已經很熟悉了，今天帶大家來看看怎麼對文本做對抗攻擊。第一名的 solution 就使用到 adversar...

壓縮甜 ‧ 2024-09-28
1 Like 0 留言 1710 瀏覽
鐵人賽 生成式 AI DAY 14
從Azure雲端服務架構入門，在本地端結合RAG&LLM打造專屬的聊天機器人。 系列 第 14 篇

技術 Part1: Azure聊天機器人原理-架構回顧

▋Azure聊天機器人實例 從Day2初次看到這張Azure聊天機器人架構圖，到現在經過了各種層面的認識之後，重新再看一次這張圖大家可能已經有不同的感想了。今...

Harper ‧ 2024-09-28 ‧團隊資料工程師甘苦談
3 Like 1 留言 22063 瀏覽

技術 #3 開發專屬個人化回覆AI(基於tkinter和 Google 生成式 AI 模型的簡單聊天應用)

在上篇已經創建好Gemini api金鑰及創建使用者與AI對話視窗(連結在下面)，今天要來實驗一個屬於自己的AI人物設置!上篇連結 #2 Python SDK...

xiangcheng ‧ 2024-09-28
1 Like 0 留言 1087 瀏覽
鐵人賽 AI/ ML & Data DAY 13
一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡 系列 第 13 篇

技術 [Day 13]🧟成為特級LLM咒言師的第二天 - 找 Mean Prompt 不用那麼麻煩：分佈相似度驅動的Mean Prompt優化

不知道你會不會覺得，昨天介紹的解法中，第一步「不斷迭代 mean prompt 以優化這個 prompt」，需要每做1個或n個對 token 的操作，就上傳到...

壓縮甜 ‧ 2024-09-27
2 Like 0 留言 1334 瀏覽
鐵人賽 生成式 AI DAY 28
智能雲端架構圖生成：結合LangChain&LangGrpah與Rag的創新應用 系列 第 28 篇

技術 day28 用LangGraph打造互動工作流程：圖形化工作流介紹

前言 昨天我們進行一個完整的生成架構圖系統，可以讓使用者輸入，並且展示架構圖，但是在實際的系統上，不一定只有生成架構圖這個選項，也可能有專注回答使用者問題的Ag...

jay0810 ‧ 2024-09-27 ‧團隊不時以註解遮羞的實習同學
2 Like 1 留言 536 瀏覽
鐵人賽 AI/ ML & Data DAY 12
一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡 系列 第 12 篇

技術 [Day 12]🧟成為特級LLM咒言師的第一天 - 你找得到最優 Mean Prompt 嗎 ？從 text2text 到 vec2text

大家應該都很習慣跟LLM聊天時，輸入文字然後 LLM 就會輸出文字的這個 text2(to)text 的過程。今天要教大家怎麼操作向量空間中的 embeddin...

壓縮甜 ‧ 2024-09-26
2 Like 0 留言 1580 瀏覽
鐵人賽 AI/ ML & Data DAY 11
一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡 系列 第 11 篇

技術 [Day 11]🧟你是個準一級LLM咒言師嗎？-淺談 prompt 逆向工程

有時候，大型語言模型（LLM）並不總是按照我們的意願工作。馬上12點快到了，你可能希望chatgpt趕快將一篇你正在寫的鐵人賽文章改寫得生動有趣、增加觸及，但...

壓縮甜 ‧ 2024-09-25
0 Like 0 留言 3366 瀏覽
鐵人賽 生成式 AI DAY 25
懶人救星：生成式AI 系列 第 25 篇

技術 Day25－測試你的 RAG Chatbot 到底行不行？幾個評估指標給你答案！

前言✨ LlamaIndex🦙 是一個強大的工具，可用於評估大型語言模型(LLM)的性能。評估和基準測試是 LLM 開發中的關鍵概念。要提高 LLM 應用程序（...

這支筆有AI ‧ 2024-09-26 ‧團隊為了AI而AI
0 Like 0 留言 1289 瀏覽
鐵人賽 生成式 AI DAY 24
懶人救星：生成式AI 系列 第 24 篇

技術 Day24－Text to SQL 的改進方法： DAIL-SQL 心得

前言✨ 在當前數位時代中，資料庫查詢已成為許多行業的核心任務，然而對於不具備 SQL 語法知識的人來說，查詢資料庫仍是一大挑戰。隨著生成式 AI 模型的進步，語...

這支筆有AI ‧ 2024-09-25 ‧團隊為了AI而AI
0 Like 0 留言 5892 瀏覽
鐵人賽 生成式 AI DAY 25
Local LLM infra & Inference 一部曲 系列 第 25 篇

技術 Day25 - vLLM實作篇PART4：安裝到推理 (Windows version)

前言 前面講完linux的vLLM安裝使用，這次來介紹Windows版本的使用方式，筆者之前剛好借到一台windows電腦+RTX 4060 Ti * 2，就用...

母湯小精靈 ‧ 2024-09-26 ‧團隊為了AI而AI
0 Like 0 留言 1797 瀏覽
鐵人賽 生成式 AI DAY 24
Local LLM infra & Inference 一部曲 系列 第 24 篇

技術 Day24 - vLLM實作篇PART3：FastAPI與vLLM docs尋寶之旅

前言 第24天了！最後就在官方文件裡面撈看看還有什麼可以玩的。 ✨ 首先是安裝方式，除了之前試過的linux GPU版本安裝之外，官方文件還提供了linux C...

母湯小精靈 ‧ 2024-09-25 ‧團隊為了AI而AI
1 Like 0 留言 4808 瀏覽
鐵人賽 生成式 AI DAY 23
Local LLM infra & Inference 一部曲 系列 第 23 篇

技術 Day23 - vLLM實作篇PART2：模型平行化 / 預測推理 / 其他設定

前言 昨天的教學中，已經學會設定基本的OpenAI-Compatible Server方法了。 簡單回顧一下，若是什麼也沒設定，預設會是使用一個GPU。 🎮 筆...

母湯小精靈 ‧ 2024-09-24 ‧團隊為了AI而AI
0 Like 0 留言 5559 瀏覽
鐵人賽 生成式 AI DAY 22
Local LLM infra & Inference 一部曲 系列 第 22 篇

技術 Day22 - vLLM實作篇PART1：安裝到推理 (Linux version)

🚀 vLLM介紹 vLLM是一個速度快、靈活又簡單好用的推理加速框架，主打使用PagedAttention管理kv cache，Model Paralleliz...

母湯小精靈 ‧ 2024-09-23 ‧團隊為了AI而AI
0 Like 0 留言 3271 瀏覽
鐵人賽 生成式 AI DAY 21
Local LLM infra & Inference 一部曲 系列 第 21 篇

技術 Day21- 各式各樣的推理框架介紹

前言 最近不同的推理框架不斷地冒出，其實主流也就是那幾個XD，在選擇使用哪一個之前，應該要先定義清楚使用情境，像是給個人電腦做運算 🖥️，還是做成API ser...

母湯小精靈 ‧ 2024-09-22 ‧團隊為了AI而AI
iThome鐵人賽
參賽組數
902 組
團體組數
37 組
累計文章數
19812 篇
完賽人數
529 人
iT+看影片追技術 看影片追技術 看更多
熱門tag 看更多
15th鐵人賽 16th鐵人賽 13th鐵人賽 14th鐵人賽 17th鐵人賽 12th鐵人賽 11th鐵人賽 鐵人賽 2019鐵人賽 javascript 2018鐵人賽 python 2017鐵人賽 windows php c# linux windows server css react
熱門問題
熱門回答
熱門文章
IT邦幫忙