2024 iThome 鐵人賽

2024 iThome 鐵人賽

Share More Gain More

生成式 AI

最新文章熱門文章

選手 80 文章 1624

Day 10

2024-09-11

3223

0

Local LLM infra & Inference 一部曲系列

Day10 - 不用再手動分配計算資源？分散式計算 Ray Serve 介紹

前言從這章開始，將進入推理加速相關技術的理論章節 🚀。這些理論都已經都有被應用在一些知名框架當中，其實3分鐘就可以輕鬆應用了。但是如果客戶或面試官問說這些...

母湯小精靈

團隊為了AI而AI

Day 8

2024-08-08

3210

0

運用生成式 AI 服務所提供的API 實做應用開發（以Gemini及ChatGPT為例）系列

1-7 RAG：檢索增強生成技術介紹

1-7 RAG：檢索增強生成技術介紹 RAG (Retrieval-Augmented Generation) 是一種混合型自然語言處理（NLP）模型，它結合...

Day 26

2024-09-02

3203

0

LLM 應用、開發框架、RAG優化及評估方法系列

Day26 GAI爆炸時代 - RAG 評估方法

終於要到了尾聲，接下來要介紹的是怎麼去評測RAG這邊參考了一些文獻，自己整理出的幾項標準與工具! 除了上述，還有許多種的評估指標 BLEU (Bilingu...

Day 7

2024-09-21

3189

0

Python 新手的 AI 之旅：從零開始打造屬於你的 AI / LLM 應用系列

【Day7】讓模型使用工具 (2)：透過 tool use (function calling) API 提升模型輸出穩定性

本日程式碼同步於 Github 有一些問題… 昨天我們讓模型可以透過 <API> 這樣的特殊符號，來使用外部函式，結果相當不錯，真的都有算對。大家也...

Day 3

2024-08-03

3150

0

使用 Spring AI 打造企業 RAG 知識庫系列

使用 Spring AI 打造企業 RAG 知識庫【3】- Hello AI World

第一隻AI程式寫程式不免俗要來個 Hello World，依據開發 Spring Boot 程式的經驗，我們只需定義變數，並透過自動注入的機制就能開始使用，為...

Day 13

2024-09-14

3113

0

Local LLM infra & Inference 一部曲系列

Day13 - 壓榨完GPU換壓榨VRAM：PagedAttention

前言在 Day6 的時候我們提到當context length越長，KV cache也會越大，分配KV cache也成為一個挑戰的工作 🧠。在 Day12 學...

母湯小精靈

團隊為了AI而AI

熱門文章

熱門系列

鐵人選手

artemiskate20240101

工商時間