iT邦幫忙

llm相關文章
共有 313 則文章
0 Like 0 留言 757 瀏覽
鐵人賽 生成式 AI DAY 8
智能雲端架構圖生成：結合LangChain&LangGrpah與Rag的創新應用 系列 第 8 篇

技術 day8 LangChain RAG：資料庫建置到檢索生成解析

前言 昨天我們進行RAG的介紹、使用RAG的步驟與優劣勢，那麼今天我們將會介紹我們在LangChain使用RAG的詳細步驟，畢竟會需要外部資料源，我們之後會從資...

jay0810 ‧ 2024-09-07 ‧團隊不時以註解遮羞的實習同學
0 Like 0 留言 746 瀏覽
鐵人賽 生成式 AI DAY 7
智能雲端架構圖生成：結合LangChain&LangGrpah與Rag的創新應用 系列 第 7 篇

技術 day7 RAG 的力量：將檢索與生成融合提升LLM的回應準確性

前言 之前我們有提到LangChain的結構 現在我們已經有Prompt、LLM、Chain現在我們要開始介紹Document的部分，我們會介紹提示工程的RAG...

jay0810 ‧ 2024-09-06 ‧團隊不時以註解遮羞的實習同學
0 Like 0 留言 1478 瀏覽
鐵人賽 生成式 AI DAY 12
Local LLM infra & Inference 一部曲 系列 第 12 篇

技術 Day12 - 壓榨你的GPU，讓使用率up up up：Batching

前言 - 什麼是Batching？ 先前在 Day4 提到的吞吐量 (Throughput) 🚀 是伺服器在一定時間內可以處理的請求數量。透過增加吞吐量，可以同...

母湯小精靈 ‧ 2024-09-13 ‧團隊為了AI而AI
1 Like 0 留言 2149 瀏覽
鐵人賽 生成式 AI DAY 11
Local LLM infra & Inference 一部曲 系列 第 11 篇

技術 Day11 - 沒有什麼是一個GPU不能解決的......Model Parallelization

前言 這一章將介紹LLM在GPU上平行化使用的方法，這章內容比較少，但標題很長XD 如果運算上有什麼資源不夠的，沒有什麼是一個GPU不能解決的，如果有的話，那...

母湯小精靈 ‧ 2024-09-12 ‧團隊為了AI而AI
1 Like 0 留言 2339 瀏覽
鐵人賽 生成式 AI DAY 10
Local LLM infra & Inference 一部曲 系列 第 10 篇

技術 Day10 - 不用再手動分配計算資源？分散式計算 Ray Serve 介紹

前言 從這章開始，將進入推理加速相關技術的理論章節 🚀。 這些理論都已經都有被應用在一些知名框架當中，其實3分鐘就可以輕鬆應用了。但是如果客戶或面試官問說這些...

母湯小精靈 ‧ 2024-09-11 ‧團隊為了AI而AI
0 Like 0 留言 8523 瀏覽
鐵人賽 生成式 AI DAY 9
Local LLM infra & Inference 一部曲 系列 第 9 篇

技術 Day9 - 選擇適合你的中文local LLM

前言 這章來整理一下目前看到的繁體中文LLM，以及怎麼選擇適合自己任務的local LLM。 找local Model最重要的是模型的推理能力，模型對於特定任務...

母湯小精靈 ‧ 2024-09-10 ‧團隊為了AI而AI
1 Like 0 留言 843 瀏覽
鐵人賽 生成式 AI DAY 3
懶人救星：生成式AI 系列 第 3 篇

技術 Day3－AI工具榜單大揭密：今年最值得關注的百大 AI 工具！

前言 2024年是AI創意開始爆發的一年，隨著GPT, Claude, Llama…等大型模型成功的發展，越來越多基於此技術的新創AI公司快速崛起。AI不再僅僅...

這支筆有AI ‧ 2024-09-04 ‧團隊為了AI而AI
0 Like 0 留言 1588 瀏覽
鐵人賽 生成式 AI DAY 6
智能雲端架構圖生成：結合LangChain&LangGrpah與Rag的創新應用 系列 第 6 篇

技術 day6 LLM結構化輸出：精確控制與系統串接的利器

前言 前天和昨天，我們進行promptTemplate和langServe快速部屬api的操作範例，但今天介紹及說明另外一個核心功能，結構化輸出structur...

jay0810 ‧ 2024-09-05 ‧團隊不時以註解遮羞的實習同學
0 Like 0 留言 689 瀏覽
鐵人賽 生成式 AI DAY 5
智能雲端架構圖生成：結合LangChain&LangGrpah與Rag的創新應用 系列 第 5 篇

技術 day5 LangServe快速部屬應用程式：兩人對話劇本產生器

前言 昨天我們進行PromptTemplate的解說，以及兩人對話劇本產生器的應用示範，我們今天會進行LnagServe的使用，並且嘗試把兩人對話劇本產生器部屬...

jay0810 ‧ 2024-09-04 ‧團隊不時以註解遮羞的實習同學
1 Like 0 留言 707 瀏覽
鐵人賽 生成式 AI DAY 2
懶人救星：生成式AI 系列 第 2 篇

技術 Day2－科技始終來自於人性，告訴你什麼是 AI？

人工智慧（AI，Artificial Intelligence） 人工智慧是指模擬人類智慧的計算機系統。這些系統可以執行通常需要人類智能的任務，如視覺識別、語音...

這支筆有AI ‧ 2024-09-03 ‧團隊為了AI而AI
0 Like 0 留言 1464 瀏覽
鐵人賽 生成式 AI DAY 8
Local LLM infra & Inference 一部曲 系列 第 8 篇

技術 Day8 - AI、LLM與水電消耗

前言 相信大家在學校時可能看過小型機房，而大型資料中心通常包含多個機房。筆者曾有參觀過較為正式的機房，除了冷氣很強之外，會有嚴謹的溫控設計，像是冷熱通道分離。進...

母湯小精靈 ‧ 2024-09-09 ‧團隊為了AI而AI
0 Like 0 留言 695 瀏覽
鐵人賽 生成式 AI DAY 4
智能雲端架構圖生成：結合LangChain&LangGrpah與Rag的創新應用 系列 第 4 篇

技術 day4 PromptTemplates ： 兩人對話劇本產生器

前言 昨天進行LangChain的核心功能Chain的使用，定義一系列的有順序的任務流程，那麼今天我們也會介紹另一個核心功能PromptTemplates，在任...

jay0810 ‧ 2024-09-03 ‧團隊不時以註解遮羞的實習同學
0 Like 1 留言 3863 瀏覽
鐵人賽 生成式 AI DAY 6
Local LLM infra & Inference 一部曲 系列 第 6 篇

技術 Day6 - 選擇適合你VRAM的模型

前言 傳統NLP模型比較小，只需要考慮compute bound的，但現在LLM模型很大了，基本上就是考驗memory bound的時代，這章將來介紹LLM與V...

母湯小精靈 ‧ 2024-09-07 ‧團隊為了AI而AI
0 Like 0 留言 1760 瀏覽
鐵人賽 生成式 AI DAY 5
Local LLM infra & Inference 一部曲 系列 第 5 篇

技術 Day5 - 一起認識NVIDIA GPU和它們的演化

前言 以前在infra的時代，都是一個人顧幾百台的server，其中當也幾台是GPU server，可惜當時只知道怎麼維運監控報修打雜；在學校時設備前人都弄好了...

母湯小精靈 ‧ 2024-09-06 ‧團隊為了AI而AI
2 Like 0 留言 3471 瀏覽
鐵人賽 生成式 AI DAY 4
Local LLM infra & Inference 一部曲 系列 第 4 篇

技術 Day4 - 你必須了解的推理計算評估指標

這一篇將介紹LLM服務有關推理計算的評估指標 (Computation evaluation metrics)。 這個分類是參考論文Beyond Efficie...

母湯小精靈 ‧ 2024-09-05 ‧團隊為了AI而AI
1 Like 0 留言 2792 瀏覽
鐵人賽 生成式 AI DAY 3
Local LLM infra & Inference 一部曲 系列 第 3 篇

技術 Day3 - LLM 吃什麼資源?

剛學習LLM的時候，只會知道要用GPU，因為他的平行計算能力比較快。不過真的只有這樣嗎？ (圖源: 自製) 在運算的過程中，最主要會消耗的是大量的記憶體（資料...

母湯小精靈 ‧ 2024-09-04 ‧團隊為了AI而AI
2 Like 0 留言 2013 瀏覽
鐵人賽 生成式 AI DAY 2
Local LLM infra & Inference 一部曲 系列 第 2 篇

技術 Day2 - 應用LLM常見的迷思

LLM大坑簡介 大型語言模型(LLM)的出現讓自然語言處理(NLP)有重大革命，以往NLP分成各式各樣的任務，像是翻譯、分類、摘要、資訊擷取等等，原本每一個任務...

母湯小精靈 ‧ 2024-09-03 ‧團隊為了AI而AI
1 Like 0 留言 886 瀏覽
鐵人賽 生成式 AI DAY 1
懶人救星：生成式AI 系列 第 1 篇

技術 Day1－大AI時代來臨了，你準備好了嗎？

AI會取代人類嗎？ 人工智慧（AI）是否會取代人類的工作，這個問題在近年來引起了廣泛的討論和關注。根據《遠見雜誌》的報導，生成式AI的爆發，讓世人驚覺人工智慧...

這支筆有AI ‧ 2024-09-02 ‧團隊為了AI而AI
0 Like 0 留言 2550 瀏覽
鐵人賽 生成式 AI DAY 8
2024 年用 LangGraph 從零開始實現 Agentic AI System 系列 第 8 篇

技術 【Day 8】- 深入理解 LangGraph 狀態的工作機制

摘要這篇文章以大家熟悉的「大地遊戲」為比喻，深入淺出地解說了 LangGraph 的狀態管理機制，並強調其在 AI 對話系統中的重要性。文章首先說明 Lang...

hengshiousheu ‧ 2024-09-06
1 Like 0 留言 5076 瀏覽
鐵人賽 生成式 AI DAY 7
2024 年用 LangGraph 從零開始實現 Agentic AI System 系列 第 7 篇

技術 【Day 7】 - LangGraph 深入探索：Function Calling 機制與進階應用

摘要本文探討 LangGraph 框架中的 Function Calling 技術，它是一種讓大型語言模型 (LLM) 能夠與外部工具互動的機制，進而擴展 A...

hengshiousheu ‧ 2024-09-05
1 Like 2 留言 4402 瀏覽
鐵人賽 生成式 AI DAY 6
2024 年用 LangGraph 從零開始實現 Agentic AI System 系列 第 6 篇

技術 【Day 6】- LangChain 與 LangGraph 工具實戰探討：AI 模型的程式呼叫能力

摘要這篇文章探討了 LangChain 和 LangGraph 這兩個強大的工具，它們能夠賦予 AI 模型呼叫外部程式碼的能力，進而擴展其功能並實現更智能的交...

hengshiousheu ‧ 2024-09-04
4 Like 0 留言 1942 瀏覽
鐵人賽 生成式 AI DAY 1
Local LLM infra & Inference 一部曲 系列 第 1 篇

技術 Day1 - 前言 & 為什麼基礎建設很重要?

前言 - 為什麼基礎建設很重要? 嗨嗨，大家好，我是精靈。 身為畢業兩年左右的菜鳥，因為意外不小心跳入了infra火坑，爬上來之後又意外吃了LLM這塊餅。接觸了...

母湯小精靈 ‧ 2024-09-02 ‧團隊為了AI而AI
1 Like 0 留言 9728 瀏覽
鐵人賽 生成式 AI DAY 4
2024 年用 LangGraph 從零開始實現 Agentic AI System 系列 第 4 篇

技術 【Day 4】- LangGraph 入門教程：節點、邊、狀態

摘要這篇文章深入淺出地介紹了 LangGraph，一種由 LangChain 團隊開發的工具，用於構建更靈活且複雜的 AI 代理工作流程。LangGraph...

hengshiousheu ‧ 2024-09-02
1 Like 0 留言 5270 瀏覽
鐵人賽 生成式 AI DAY 3
2024 年用 LangGraph 從零開始實現 Agentic AI System 系列 第 3 篇

技術 【Day 3】- LangGraph：構建下一代智能應用的革命性框架

摘要LangGraph 是一個用於建立複雜、狀態化的多AI代理系統的革命性框架，特別適用於與大型語言模型 (LLM) 合作。LangGraph 以圖形結構為基...

hengshiousheu ‧ 2024-09-01
0 Like 0 留言 774 瀏覽
鐵人賽 生成式 AI DAY 3
智能雲端架構圖生成：結合LangChain&LangGrpah與Rag的創新應用 系列 第 3 篇

技術 day3 LangChain核心：通過 Chain 提升任務自動化

前言 昨天進行了model的串接功能 今天主要會說明串接model之後，會需要進行一系列的任務串接，包含Prompt的使用、LLM的呼叫、格式化輸出，涉及多個複...

jay0810 ‧ 2024-09-02 ‧團隊不時以註解遮羞的實習同學
2 Like 0 留言 9792 瀏覽
鐵人賽 生成式 AI DAY 2
2024 年用 LangGraph 從零開始實現 Agentic AI System 系列 第 2 篇

技術 【Day 2】- 什麼是 AI 代理？複合式 AI 與 Agentic AI 的創新之路

摘要這篇文章深入探討了人工智慧領域從單一模型到複合式 AI 系統的轉變，並重點介紹了 AI 代理 的概念和應用。文章首先以智慧打卡系統為例，說明單一模型在處理...

hengshiousheu ‧ 2024-08-31
1 Like 0 留言 1995 瀏覽
鐵人賽 生成式 AI DAY 2
智能雲端架構圖生成：結合LangChain&LangGrpah與Rag的創新應用 系列 第 2 篇

技術 day2 LangChain的安裝與連接多種LLM

今天要說明LangChain的安裝和LLM的連接 主要使用python進行安裝 pip install langchain 接著連接LLM langChai...

jay0810 ‧ 2024-09-01 ‧團隊不時以註解遮羞的實習同學
0 Like 0 留言 401 瀏覽
鐵人賽 AI/ ML & Data DAY 29
30 Days of AI Research 系列 第 30 篇

技術 [Day 29] Talk like a Graph: Encoding Graphs for Large Language Models

Paper link | Note link | Code link | ICLR 2024 整體想法 在這項研究中，他們首次全面性地探討了將圖結構資料編碼...

whoami ‧ 2024-08-29
0 Like 0 留言 445 瀏覽
鐵人賽 AI/ ML & Data DAY 27
30 Days of AI Research 系列 第 28 篇

技術 [Day 27] StructGPT: A General Framework for Large Language Model to Reason over Structured Data

Paper link | Note link | Code link | EMNLP 2023 整體想法 本篇提出了一個通用框架，用於提升LLM在結構化數據...

whoami ‧ 2024-08-27
0 Like 0 留言 730 瀏覽
鐵人賽 AI/ ML & Data DAY 26
30 Days of AI Research 系列 第 27 篇

技術 [Day 26] Graph of Thoughts: Solving Elaborate Problems with Large Language Models

Paper link | Note link | Code link | AAAI 2024 整體想法 Graph of Thoughts (GoT) 提升...

whoami ‧ 2024-08-26
iThome鐵人賽
參賽組數
902 組
團體組數
37 組
累計文章數
19835 篇
完賽人數
529 人
iT+看影片追技術 看影片追技術 看更多
熱門tag 看更多
15th鐵人賽 16th鐵人賽 13th鐵人賽 14th鐵人賽 17th鐵人賽 12th鐵人賽 11th鐵人賽 鐵人賽 2019鐵人賽 javascript 2018鐵人賽 python 2017鐵人賽 windows php c# linux windows server css react
熱門問題
熱門回答
熱門文章
IT邦幫忙