iT邦幫忙

llm相關文章
共有 313 則文章
鐵人賽 DevOps DAY 4

技術 【Day 4】可觀測性2.0的明日之星 - ClickHouse

概述 在上一篇文章中,我們探討了從傳統監控邁向『可觀測性 2.0』的關鍵轉變,其核心在於能夠應對海量、高基數的遙測資料,並進行即時的探索式分析。這對後端的資料...

鐵人賽 Mobile Development DAY 19

技術 30 天做一個極簡App:多端同步 - Firebase Firestore與Auth

哈囉鐵人們!現在此App是一個非常出色的單機版應用~它功能豐富、體驗流暢,甚至還能離線使用。但它有一個天生的「地域限制」——那就是所有的使用者資料,如那些特別收...

鐵人賽 AI & Data DAY 3

技術 Day 3|Indexing pipeline:如何為 RAG 建立知識庫

昨天看到 RAG 架構,今天要更深入,看看如何建立知識庫。 我們先看這張圖來逐一拆解他的步驟:來源:Build a Retrieval Augmented Ge...

鐵人賽 Modern Web DAY 3

技術 設計我們的面試系統:提出基本架構設計

前言 歡迎來到第三天!賽程雖然才剛開始,但說實在話我已經累了:P 每次參賽前我都在心裡發誓一定要有一些存稿再來參加,結果每次參賽都是裸賽當天拚生死,怪不得當初研...

鐵人賽 生成式 AI DAY 3

技術 Day 3:不是所有 LLM 應用都需要成為 Agent - 選擇合適的架構設計

在前兩天的內容中,寫了 AI Agent 的概念以及 Semantic Kernel 的 Function Calling 機制。但隨著 AI Agent 概念...

鐵人賽 DevOps DAY 3

技術 【Day 3】傳統可觀測性與可觀測性 2.0:只是另一個 Buzzword?

概述 天下分久必合,合久必分。軟體世界從不缺乏閃亮的新名詞,尤其在微服務與雲原生逐漸成為主流的這些年,可觀測性(Observability) 和 分佈式追蹤(...

鐵人賽 AI & Data DAY 2

技術 Day 2|RAG 的基本架構

昨天我們提到 LLM 有三個限制:資料過時、資料來源有限,以及容易產生幻覺。今天要介紹的 RAG(Retrieval-Augmented Generation)...

鐵人賽 生成式 AI DAY 2

技術 Day 2:Function Calling — Semantic Kernel 如何讓 AI Agent 動起來?

在聊到 AI Agent 的核心能力時,「Function Calling(功能調用)」幾乎是繞不開的一塊。這個機制讓大型語言模型(LLM)不再只是個文字生成器...

鐵人賽 DevOps DAY 2

技術 【Day 2】可觀測性與監控是什麼?

概述 多年來,IT 監控以各種方式被應用和部署。其核心目的是收集有關不只是 IT 基礎設施以及雲原生服務的硬體和軟體運作指標,確保所有關鍵功能都能順利運作,進...

鐵人賽 AI & Data DAY 1

技術 Day 1|什麼是 RAG?

在第一天,我想先從基礎先談起。大家可能都聽過生成式 AI 像是 (ChatGPT),有時候使用完他可能也是在「亂編答案」,不見得能夠一步到位就生成你想要的問題,...

鐵人賽 Modern Web DAY 1

技術 我不是AI專家,但我能打造AI應用:環境設置

2025鐵人賽Day 1 前言 各位好!我是Danny!終於又再次來到鐵人賽了,原本去年就有打算繼續參賽,但眾多因素混在一起導致根本沒有心力參加,絕對不是我當時...

鐵人賽 生成式 AI DAY 1

技術 Day 1: 踏入 AI Agent 的世界 - 認識 Semantic Kernel

這幾年來,生成式 AI 的應用一路從產出文字、圖片,逐步進化到「做事」的 AI Agent。這個發展過程真的很有趣,AI 從「會聊天的模型」變成「會幫你做事的助...

鐵人賽 DevOps DAY 1

技術 【Day 1】探索 LLM 可觀測性之旅

前言 2025 年可以說是 LLM 應用真正大放異彩的一年。原因在於,LLM 的使用場景早已不再侷限於像 ChatGPT 這樣的網頁聊天視窗,如今它已經延伸到...

鐵人賽 AI & Data DAY 1

技術 【Day 1】系列開場 - Notion 遇上 LLM

歡迎來到本系列 歡迎來到 「Notion 遇上 LLM:30 天打造我的 AI 知識管理系統」。在接下來的一個月裡,我會帶你一步步實作,從需求分析、系統架構設計...

鐵人賽 Software Development DAY 10

技術 Day 10【LLM 整合】串接大型語言模型:讓機器人具備生成回覆的能力

HI!大家好,我是 Shammi 😊 在昨天開發的時候,AI 對話機器人已經學會了「查閱」知識庫,能夠從海量資訊中精準地找出最相關的 SDGs 內容。 BUT!...

技術 模型當初階客服助理- MCP和LLM搭配實作與外部註冊服務工具

當 LLM 可以快速協助開發API 後,接著又想打它的主意:幫忙AI化系統。早期是逐步將繁雜的系統"API化",但現在可能要朝系統&quo...

技術 請教台語語音模型 (STS, STT)

前陣子透過 chatgpt 語音對話功能,發現可以使用台語對話 (台語語音輸入 -> 台語語音輸出)。 若想在本地端搭建模型實現,想請教有沒有開源的模型可...

技術 2025 版 OWASP 針對 LLM 應用十大風險總結

以下是 OWASP 在 2024 年 11 月提出的 2025 版針對大型語言模型(LLM)應用的十大主要安全風險 1. 提示注入攻擊 (Prompt Inj...

鐵人賽 AI/ ML & Data DAY 30

技術 [Day 30]告別複雜巨獸 - 一起看第八名的小清新解法與IT鐵人賽後回望

前面介紹的方法又是擴增一堆訓練數據集,又是 ensemble 一堆不同架構、不同訓練方法的模型,真的心滿累的。 所以,今天要跟大家分享的是本次賽題第八名的作法,...

鐵人賽 AI/ ML & Data DAY 29

技術 [Day 29]模型與資料的超級 ensemble 體 - 淺談 Curriculum Learning 訓練方法與 Ghostbuster (捉鬼人)如何識別 AI 和人類作文

今天來學習一下第一名和第三名包山包海的 ensemble 大法。 🥇1st Solution 第一名的解法不愧是第一名,他們真的花好多 effort 在解這個賽...

鐵人賽 AI/ ML & Data DAY 27

技術 [Day 27]照妖(AI)鏡下的秘密-利用TF-IDF、BPE編碼、Kmeans Cluster和DetectGPT技術區分人類與AI寫作

標題提到一堆技術名詞...別擔心,今天都會串起來,像一個偵探故事一樣,每種技術都是線索,幫助我們揪出到底誰找 AI 當槍手。👀 前言 昨天我們聊到僅用「錯字率」...

鐵人賽 生成式 AI DAY 27

技術 Part2: 地端實作聊天機器人-在Dify設定模型

▋在Dify設定模型 昨天在Dify上已經初步認識了各個頁面的功能,但如果實際嘗試的話,會發現還是沒辦法建立一個RAG聊天機器人,關鍵在於,我們還沒給定Dif...

鐵人賽 AI/ ML & Data DAY 26

技術 [Day 26]"是人是AI,一照便知" - 沒想到最終能找出LLM槍手的原因,是因為LLM太完美了?!

自從2023年大型語言模型如ChatGPT火起來後,這些AI不僅能寫出幾乎和人一樣的文章,還開始影響學生的學習方式。雖然這讓寫作業變得簡單了,但也可能讓學生們...

鐵人賽 AI/ ML & Data DAY 25

技術 [Day25]誰說打kaggle比賽一定要訓練模型?從第三名的解法看 Self-Consistency + Code Reasoning 之外的比賽工程技巧

前言 昨天我們介紹了第一名的作法,雖然很精彩,但是他們在前期的兩階段訓練中(可能也是最重要的一部分)耗費了對個人參賽者(非實驗室)來說巨大的算力(八張 H100...

鐵人賽 AI/ ML & Data DAY 24

技術 [Day24]Try and Error! 淺談整合 Tool-Integrated Reasoning 和 Code Debugging 能力的 Decode 策略

第一名由 Numina 和 Hugging Face 的大佬們合作拿下,解決了private test set 中的 29/50 個問題,最終喜提美金 $131...

鐵人賽 Kubernetes DAY 24

技術 Day24 GKE異世界:LLM 的 GPU 召喚儀式 x DCGM Exporter

前言 今年 AI 的蓬勃發展,特別是大型語言模型 (LLM) 的興起,對運算資源的需求大幅提升。執行像 Mixtral-8x7B 等複雜模型的推論(Infer...

鐵人賽 AI/ ML & Data DAY 23

技術 [Day 23]為何LLM每次的回答都不一樣?淺談DeepSeek模型與Self-Consistency實戰應用

我們要如何利用「每次 LLM 的回覆都不一樣」這個現象,來增加產生正確答案的機率呢?今天會帶大家實際應用 self-consistency 到賽題中,並透過設計...

鐵人賽 AI/ ML & Data DAY 22

技術 [Day 22] 9.11>9.9?! 當今的大語言模型能否破解困難的奧數問題?Coding能力好數學就會比較好嗎?

以前,來自世界各地的高中生每年都會參加國際數學奧林匹克競賽(IMO),解決代數、幾何和數論等領域的六個極具挑戰性的問題。今年4月,一項全新的競賽——AI數學奧...

鐵人賽 AI/ ML & Data DAY 21

技術 [Day 21]不爭了!小孩才做選擇,大人全都要!淺談 Hybrid 架構驅動的 RAG Pipeline 建置與賽題大補帖!

今天會在分析眾多優秀解法後,從本次賽題的經驗,總結建立一個 RAG 系統最重要的幾個要點。 📢 作者有話要說:(10/5更新)我在 Day 20 補充第五名的多...