iT邦幫忙

llm相關文章
共有 208 則文章
3 Like 0 留言 1830 瀏覽

技術 模型當初階客服助理- MCP和LLM搭配實作與外部註冊服務工具

當 LLM 可以快速協助開發API 後，接著又想打它的主意:幫忙AI化系統。早期是逐步將繁雜的系統"API化"，但現在可能要朝系統&quo...

czxdas ‧ 2025-06-17
1 Like 2 留言 2968 瀏覽

技術 請教台語語音模型 (STS, STT)

前陣子透過 chatgpt 語音對話功能，發現可以使用台語對話 (台語語音輸入 -> 台語語音輸出)。 若想在本地端搭建模型實現，想請教有沒有開源的模型可...

Pythonist ‧ 2025-02-13
1 Like 0 留言 3560 瀏覽

技術 2025 版 OWASP 針對 LLM 應用十大風險總結

以下是 OWASP 在 2024 年 11 月提出的 2025 版針對大型語言模型（LLM）應用的十大主要安全風險 1. 提示注入攻擊 (Prompt Inj...

chuehnone ‧ 2025-01-09
1 Like 1 留言 3924 瀏覽
鐵人賽 AI/ ML & Data DAY 30
一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡 系列 第 30 篇

技術 [Day 30]告別複雜巨獸 - 一起看第八名的小清新解法與IT鐵人賽後回望

前面介紹的方法又是擴增一堆訓練數據集，又是 ensemble 一堆不同架構、不同訓練方法的模型，真的心滿累的。 所以，今天要跟大家分享的是本次賽題第八名的作法，...

壓縮甜 ‧ 2024-10-14
1 Like 0 留言 2900 瀏覽
鐵人賽 AI/ ML & Data DAY 29
一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡 系列 第 29 篇

技術 [Day 29]模型與資料的超級 ensemble 體 - 淺談 Curriculum Learning 訓練方法與 Ghostbuster (捉鬼人)如何識別 AI 和人類作文

今天來學習一下第一名和第三名包山包海的 ensemble 大法。 🥇1st Solution 第一名的解法不愧是第一名，他們真的花好多 effort 在解這個賽...

壓縮甜 ‧ 2024-10-13
1 Like 0 留言 2767 瀏覽
鐵人賽 AI/ ML & Data DAY 28
一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡 系列 第 28 篇

技術 [Day 28]不講武德的Host-不能太倚賴錯字率，一起看第二名「復刻米其林三星料理式」的資料擴增法，與「雞蛋放兩籃」的 ensemble 思路

我很喜歡今天介紹的第二名的 solution，在研究的時候有一種 「啊哈moment」的快樂。 昨天我們分享將文章轉成 TF-IDF 向量後送進 Logisti...

壓縮甜 ‧ 2024-10-12
1 Like 0 留言 3089 瀏覽
鐵人賽 AI/ ML & Data DAY 27
一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡 系列 第 27 篇

技術 [Day 27]照妖(AI)鏡下的秘密-利用TF-IDF、BPE編碼、Kmeans Cluster和DetectGPT技術區分人類與AI寫作

標題提到一堆技術名詞...別擔心，今天都會串起來，像一個偵探故事一樣，每種技術都是線索，幫助我們揪出到底誰找 AI 當槍手。👀 前言 昨天我們聊到僅用「錯字率」...

壓縮甜 ‧ 2024-10-11
1 Like 0 留言 2196 瀏覽
鐵人賽 生成式 AI DAY 27
從Azure雲端服務架構入門，在本地端結合RAG&LLM打造專屬的聊天機器人。 系列 第 27 篇

技術 Part2: 地端實作聊天機器人-在Dify設定模型

▋在Dify設定模型 昨天在Dify上已經初步認識了各個頁面的功能，但如果實際嘗試的話，會發現還是沒辦法建立一個RAG聊天機器人，關鍵在於，我們還沒給定Dif...

Harper ‧ 2024-10-11 ‧團隊資料工程師甘苦談
1 Like 0 留言 1867 瀏覽
鐵人賽 AI/ ML & Data DAY 26
一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡 系列 第 26 篇

技術 [Day 26]"是人是AI，一照便知" - 沒想到最終能找出LLM槍手的原因，是因為LLM太完美了?!

自從2023年大型語言模型如ChatGPT火起來後，這些AI不僅能寫出幾乎和人一樣的文章，還開始影響學生的學習方式。雖然這讓寫作業變得簡單了，但也可能讓學生們...

壓縮甜 ‧ 2024-10-10
1 Like 0 留言 807 瀏覽
鐵人賽 AI/ ML & Data DAY 25
一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡 系列 第 25 篇

技術 [Day25]誰說打kaggle比賽一定要訓練模型？從第三名的解法看 Self-Consistency + Code Reasoning 之外的比賽工程技巧

前言 昨天我們介紹了第一名的作法，雖然很精彩，但是他們在前期的兩階段訓練中（可能也是最重要的一部分）耗費了對個人參賽者（非實驗室）來說巨大的算力(八張 H100...

壓縮甜 ‧ 2024-10-09
1 Like 0 留言 897 瀏覽
鐵人賽 AI/ ML & Data DAY 24
一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡 系列 第 24 篇

技術 [Day24]Try and Error! 淺談整合 Tool-Integrated Reasoning 和 Code Debugging 能力的 Decode 策略

第一名由 Numina 和 Hugging Face 的大佬們合作拿下，解決了private test set 中的 29/50 個問題，最終喜提美金 $131...

壓縮甜 ‧ 2024-10-08
1 Like 0 留言 767 瀏覽
鐵人賽 Kubernetes DAY 24
異世界生存戰記：30天煉成GKE大師 系列 第 24 篇

技術 Day24 GKE異世界：LLM 的 GPU 召喚儀式 x DCGM Exporter

前言 今年 AI 的蓬勃發展，特別是大型語言模型 (LLM) 的興起，對運算資源的需求大幅提升。執行像 Mixtral-8x7B 等複雜模型的推論(Infer...

Andrew Chen ‧ 2024-10-08
1 Like 0 留言 2487 瀏覽
鐵人賽 AI/ ML & Data DAY 23
一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡 系列 第 23 篇

技術 [Day 23]為何LLM每次的回答都不一樣？淺談DeepSeek模型與Self-Consistency實戰應用

我們要如何利用「每次 LLM 的回覆都不一樣」這個現象，來增加產生正確答案的機率呢？今天會帶大家實際應用 self-consistency 到賽題中，並透過設計...

壓縮甜 ‧ 2024-10-07
1 Like 0 留言 716 瀏覽
鐵人賽 AI/ ML & Data DAY 22
一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡 系列 第 22 篇

技術 [Day 22] 9.11>9.9?! 當今的大語言模型能否破解困難的奧數問題？Coding能力好數學就會比較好嗎？

以前，來自世界各地的高中生每年都會參加國際數學奧林匹克競賽（IMO），解決代數、幾何和數論等領域的六個極具挑戰性的問題。今年4月，一項全新的競賽——AI數學奧...

壓縮甜 ‧ 2024-10-06
1 Like 0 留言 588 瀏覽
鐵人賽 AI/ ML & Data DAY 21
一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡 系列 第 21 篇

技術 [Day 21]不爭了！小孩才做選擇，大人全都要！淺談 Hybrid 架構驅動的 RAG Pipeline 建置與賽題大補帖！

今天會在分析眾多優秀解法後，從本次賽題的經驗，總結建立一個 RAG 系統最重要的幾個要點。 📢 作者有話要說：(10/5更新)我在 Day 20 補充第五名的多...

壓縮甜 ‧ 2024-10-05
2 Like 0 留言 852 瀏覽
鐵人賽 AI/ ML & Data DAY 20
一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡 系列 第 20 篇

技術 [Day20]Encoder-only 與 Decoder-only 的路線之爭？淺談 Decoder-only 架構驅動的 RAG Pipeline 建置

[Day16]我們討論了本次賽題的兩種 baseline 的作法，一種是訓練 deberta 做 Multi-Class 或者是 Multi-Label 的任務...

壓縮甜 ‧ 2024-10-04
1 Like 0 留言 4535 瀏覽
鐵人賽 AI/ ML & Data DAY 19
一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡 系列 第 19 篇

技術 [Day 19]Data-Model-Model Training! 淺談如何在有限的資源上高效地訓練LLM

今天會帶大家使用 unsloth 這個好用的 library ，在單張消費級顯卡上微調自己的大語言模型🚀🚀！ 前情提要 Day 17我們結合多種不同資料來源與技...

壓縮甜 ‧ 2024-10-03
0 Like 0 留言 1651 瀏覽
鐵人賽 AI/ ML & Data DAY 25
深度學習的學習之旅：從理論到實作 系列 第 25 篇

技術 [Day 25] 了解大型語言模型(LLM)：變革AI的核心技術

LLM 前言 昨天說到了生成式AI，今天來介紹一個跟他息息相關的重要技術，LLM吧~ LLM是什麼 LLM的全名是Large Language Model，中文...

arbin ‧ 2024-10-03 ‧團隊NUTC imac
0 Like 0 留言 587 瀏覽
鐵人賽 AI/ ML & Data DAY 28
軟體工程師的脫魯日誌-持續介紹hardcore AI研究直到脫魯🥹 系列 第 28 篇

技術 Day28: 使用Flask在本地端架設自己的DialoGPT聊天室

我們在【Day5: 如何利用DialoGPT建立一個小小的聊天機器人】已經介紹要如何使用Huggingface去載入並使用DialoGPT，那今天我們來升級聊天...

渴望脫魯的SWE ‧ 2024-10-12
1 Like 0 留言 1592 瀏覽
鐵人賽 AI/ ML & Data DAY 18
一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡 系列 第 18 篇

技術 [Day18]🧐如何選擇適合特定任務的 LLM？深入分析評測 LLM 常用的 Benchmark 與 Leaderboard

近一兩年，不管是開源或閉源，全世界的大模型競賽已呈現出白熱化的局面，市場上湧現出數量眾多的模型。各大實驗室和企業大廠不僅注重模型參數、效能的提升，還常在宣傳中強...

壓縮甜 ‧ 2024-10-02
1 Like 0 留言 1368 瀏覽
鐵人賽 AI/ ML & Data DAY 17
一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡 系列 第 17 篇

技術 [Day 17]🧐如何利用LLM生成High Quality的增強版訓練數據集？

如何產生一個優質的 dataset 來增強訓練？ 生成優質的資料集需要考慮哪些事情呢？ 昨天我們介紹這個比賽的時候，有提到主辦方只給我們少量的訓練資料(20...

壓縮甜 ‧ 2024-10-01
0 Like 0 留言 288 瀏覽
鐵人賽 AI/ ML & Data DAY 20
軟體工程師的脫魯日誌-持續介紹hardcore AI研究直到脫魯🥹 系列 第 20 篇

技術 Day20: 使用Flask來架設自己的TOD Chatbot互動網站

我們在【Day17:TOD版的DialoGPT-ConvLab實作】介紹如何建構一個TOD對話系統，那今天我們來續講如何利用ConvLab-3來架設一個互動網站...

渴望脫魯的SWE ‧ 2024-10-04
0 Like 0 留言 738 瀏覽
鐵人賽 AI/ ML & Data DAY 25
軟體工程師的脫魯日誌-持續介紹hardcore AI研究直到脫魯🥹 系列 第 25 篇

技術 Day25: LLMs 刷題的真相

距今約兩個月前(2024.8.21)，有位Reddit的網友利用Claude3.5 Sonnet進行LeetCode刷題，並用9美元在24小時內完成633道題目...

渴望脫魯的SWE ‧ 2024-10-09
1 Like 0 留言 701 瀏覽
鐵人賽 AI/ ML & Data DAY 16
一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡 系列 第 16 篇

技術 [Day 16]輕量級模型能否在複雜科學問題上追平ChatGPT呢？- OOM了怎麼辦？淺談 LLM 分層加載技術（layer-wise loading）、Perplexity 與 RAG 策略

在霓虹閃爍的賽博朋克城市深處，隱藏著一個不為人知的秘密競技場。這裡不再有血肉之軀的戰鬥，而是智能模型之間的對決。 在這個地下世界里，參賽者們扮演著勇敢的戰士，...

壓縮甜 ‧ 2024-09-30
1 Like 2 留言 1289 瀏覽
鐵人賽 生成式 AI DAY 30
Local LLM infra & Inference 一部曲 系列 第 30 篇

技術 Day30 - 尾聲 & 未來展望：LLM畫大餅之旅心得

0. 尾聲 & 未來展望 🔮🚀 終於來到最後一天，謝謝願意點進來看的讀者們>< 這30天，我們從LLM和硬體基礎知識開始學習，知道如果想要有...

母湯小精靈 ‧ 2024-10-01 ‧團隊為了AI而AI
0 Like 0 留言 2543 瀏覽
鐵人賽 生成式 AI DAY 29
Local LLM infra & Inference 一部曲 系列 第 29 篇

技術 Day29 - vLLM實作篇PART5：監控vLLM

前言 接續昨天的監控介紹和 Day24 的實作篇，今天就要來介紹如何使用開源工具Prometheus和Grafana來監控vLLM的一些硬體與推理指標，最後實作...

母湯小精靈 ‧ 2024-09-30 ‧團隊為了AI而AI
0 Like 0 留言 2123 瀏覽
鐵人賽 生成式 AI DAY 29
懶人救星：生成式AI 系列 第 29 篇

技術 Day29－人工智慧搜尋引擎革命：Perplexity AI

Perplexity AI Perplexity AI 是一款先進的人工智慧搜尋引擎，結合了即時網路搜尋和自然語言處理技術。 功能 高品質答案🎯Perple...

這支筆有AI ‧ 2024-09-30 ‧團隊為了AI而AI
1 Like 0 留言 1013 瀏覽
鐵人賽 AI/ ML & Data DAY 15
一個Kaggle金牌解法是如何誕生的？跟隨Kaggle NLP競賽高手的討論，探索解題脈絡 系列 第 15 篇

技術 [Day 15]🧟成為特級LLM咒言師的第四天 - 為什麼"lucrarea"咒語會這麼強大？一些實驗設計與思考 - 淺談文本對抗攻擊(Adversarial Attack)實作篇

昨天提到第一名利用 T5-base 模型的弱點，在提交的 prompt 後面瘋狂重複"lucrarea"這個神秘咒語，就能有效提高自身和正確...

壓縮甜 ‧ 2024-09-29
0 Like 0 留言 532 瀏覽
鐵人賽 AI/ ML & Data DAY 21
軟體工程師的脫魯日誌-持續介紹hardcore AI研究直到脫魯🥹 系列 第 21 篇

技術 Day21: 利用Prompt 打終界龍

萬物皆可Prompt，但你有想過可以透過Prompt來玩麥塊(MineCraft)嗎? 多倫多大學開發了一個名為STEVE-1的模型，這是一個能夠在Minecr...

渴望脫魯的SWE ‧ 2024-10-05
1 Like 0 留言 1437 瀏覽
鐵人賽 生成式 AI DAY 28
懶人救星：生成式AI 系列 第 28 篇

技術 Day28－AI 戀愛興起，一週體驗《卿卿我我》

戀愛型 AI 💕 前面筆者提到了現在最新的 AI 議題《人類和機器的情感交流》，筆者記得曾經看到一篇討論Z世代年輕人開始從交友軟體轉向戀愛AI軟體，筆者也因好奇...

這支筆有AI ‧ 2024-09-29 ‧團隊為了AI而AI
iThome鐵人賽
iThome鐵人賽
參賽組數
375 組
團體組數
13 組
累計文章數
2642 篇
最後報名日
9/15
iT+看影片追技術 看影片追技術 看更多
熱門tag 看更多
15th鐵人賽 16th鐵人賽 13th鐵人賽 14th鐵人賽 12th鐵人賽 11th鐵人賽 鐵人賽 2019鐵人賽 javascript 2018鐵人賽 python 2017鐵人賽 17th鐵人賽 windows php c# windows server linux css react
熱門問題
熱門回答
熱門文章
IT邦幫忙