iT邦幫忙

llm相關文章
共有 208 則文章

技術 #2 Python SDK for Gemini API 使用 Google 的 Gemini 大型語言模型

本篇我們要接續#1 製作屬於自己的 AI Vtuberhttps://ithelp.ithome.com.tw/articles/10352663 此流程通過整...

鐵人賽 生成式 AI DAY 20
懶人救星:生成式AI 系列 第 20

技術 Day20-RAG大秘密揭露!資料檢索其實可以這麼高效

前言✨ LlamaIndex Querying 功能為用戶提供了一個強大的數據檢索工具。這項功能使用戶能夠以簡單而直觀的方式查詢資料,無論是尋求具體答案還是進行...

鐵人賽 AI/ ML & Data DAY 3

技術 Day3: ChatGPT的前身與今世(續)-讓AI聊個天其實沒這麼簡單...

在ChatGPT出世之前(~2020),以前的語言模型(LM,Language Model)參數量不夠多,相比LLAMA3、GPT4的70B、175B,T5-L...

鐵人賽 生成式 AI DAY 16

技術 Day16 - 模型壓縮之如何玩弄模型PART1:量化

前言 這一章開始進入 模型/參數層面最佳化 (Model-level / Parameter-Level Optimization) 的技術介紹,這邊主要是介紹...

鐵人賽 生成式 AI DAY 2

技術 Day2 什麼是大語言模型LLM?

LLM在AI中的位置 在生成式AI百家爭鳴的今日,大家會很常聽到機器學習、深度學習、生成式AI、大語言模型、RAG、Fine-tuning等很多和AI相關的名...

鐵人賽 生成式 AI DAY 18

技術 day18 Diagram as Code 創建RAG資料庫計畫:製作給予GenAI的教科書

前言 day16、17我們快速的介紹Diagram as Code函式庫的API,並且介紹常見的幾個元件以及可以客製化的屬性,現在我們打算將此函式庫的API以及...

鐵人賽 生成式 AI DAY 15

技術 Day15 - 這次應該是壓榨讀者的腦袋:FlashAttention

前言 壓榨硬體系列的技術,這章要來提到大魔王FlashAttention!👾 雖然它也是Attention演算法上的改進 🔄,不過它的初衷也是為了改善硬體設備的...

鐵人賽 AI/ ML & Data DAY 1

技術 [Day 1] 緣起與文章主題介紹

緣起 如果你剛踏入數據科學的世界,那你一定聽說過 Kaggle 這個神奇的地方。Kaggle 是一個全球最大的數據科學競賽平台,匯聚了來自世界各地的數據愛好者和...

鐵人賽 生成式 AI DAY 18
懶人救星:生成式AI 系列 第 18

技術 Day18-從零開始:如何透過LlamaIndex建立Indexing?

前言✨ 在 LlamaIndex🦙 中,Indexing 模組是一個關鍵的組件,負責組織和存儲來自不同數據來源的資訊,以便更有效地進行檢索。這個模組的核心是節點...

鐵人賽 Odoo DAY 1

技術 前言

故事是這樣開始的 .... 某次會議時會議上的夥伴就決定ERP系統用免錢的odoo 好了,那時的版本是在odoo 17 release前的一兩個月跟GenAI才...

鐵人賽 生成式 AI DAY 15

技術 day15 繪製架構圖工具介紹:Plant UML、Diagram as Code 、Eraser

前言 之前我們介紹RAG,以及RAG各個資料源,甚至我們應用RAG製作一個文件分析器, day15,我們會開始製作我們的RAG資料源,首先我們先進行繪製架構圖函...

鐵人賽 生成式 AI DAY 15
懶人救星:生成式AI 系列 第 15

技術 Day15-從零開始:如何透過LlamaIndex讀取檔案(下)?

LlamaParse📄 LlamaParse 是LlamaIndex所開發的另一項服務,主要用於處理/解析文本數據,並提供OCR、輸出格式轉換(Markdown...

鐵人賽 IT 管理 DAY 10

技術 Day 10 : 啟航,Microsoft 365 Copilot 是怎麼運作的

前情提要 前兩天我們提到了 Microsoft Loop、OneDrive 與 SharePoint Online 的服務,這是因為接下來的介紹將同步分享如何...

鐵人賽 生成式 AI DAY 16
懶人救星:生成式AI 系列 第 16

技術 Day16-從零開始:如何透過LlamaIndex串接LLM Model?

前言 隨著大型語言模型(LLM)的快速發展,如何快速地將模型串接整合,成為了許多開發者面臨的挑戰。LlamaIndex 作為一個資料框架,提供了多種 LLM 接...

鐵人賽 生成式 AI DAY 14

技術 day14 chatDocument 文件分析器(二):混合資料格式解析!完全版chatDocument接受多檔案多來源的文件分析器

前言 昨天我們利用streamlit快速建構出csv檔案的智能文件分析器,今天我們將文件分析器利用自定義的Loader擴充py、text、pdf等資料格式,甚至...

鐵人賽 生成式 AI DAY 13

技術 day13 chatDocument 文件分析器(一):智能CSV分析與StreamLit前端介面

前言 前幾天我們利用外部資料的力量,來提示LLM,並且使得LLM得到更多內容的提示生成精確的回覆,那麼今天我們打算製作一個可以讓使用者自由選擇檔案的UI介面,並...

鐵人賽 生成式 AI DAY 14
懶人救星:生成式AI 系列 第 14

技術 Day14-從零開始:如何透過LlamaIndex讀取檔案(上)?

【LlamaIndex🦙-Loading】 Nodes/Documents📝 Nodes/Document 是 LlamaIndex 中最核心的概念,用來封裝...

鐵人賽 生成式 AI DAY 14

技術 Day14 - CPU還沒壓榨也壓榨一下:Offloading

前言 昨天的文章中,實現作業系統的虛擬記憶體的其中一個步驟是page swapping 🔄,也就是將記憶體裡面的部分內容與硬碟做交換,以便在實體記憶體不足時,將...

鐵人賽 生成式 AI DAY 13

技術 Day13 - 壓榨完GPU換壓榨VRAM:PagedAttention

前言 在 Day6 的時候我們提到當context length越長,KV cache也會越大,分配KV cache也成為一個挑戰的工作 🧠。在 Day12 學...

鐵人賽 生成式 AI DAY 12
懶人救星:生成式AI 系列 第 12

技術 Day12-LlamaIndex或LangChain,該選哪一個?

LlamaIndex🦙 vs LangChain🐦 LlamaIndex🦙 LlamaIndex 是一個專為構建和管理大型語言模型(LLM)應用而設計的工具。...

鐵人賽 生成式 AI DAY 11
懶人救星:生成式AI 系列 第 11

技術 Day11-打破語言模型的極限!RAG 技術如何讓 GPT 更聰明?

What is RAG (Retrieval-Augmented Generation)? RAG(檢索增強生成)是一種將預訓練(Pre-training)的大...

鐵人賽 生成式 AI DAY 12

技術 day12 讓PDF 成為 AI 腦袋的一部分:自製簡易ChatPDF前置作業

前言 我們已經介紹HTML、csv、txt、py檔案作為外部資料源,使得LLM可以得到額外的資訊,並且獲得更為精準的回應,那麼我們要介紹最後一個常見的外部資料源...

鐵人賽 生成式 AI DAY 13
懶人救星:生成式AI 系列 第 13

技術 Day13-LlamaIndex 🦙全解析:從資料讀取到多輪對話,一網打盡!

LlamaIndex🦙 今天的主題是 LlamaIndex 的主要功能介紹, LlamaIndex 集成了 Chatbot 中的大部分應用,從QA、多輪對話到...

鐵人賽 生成式 AI DAY 20

技術 【Day 20】- 結合 LangGraph 與 MongoDB 打造智慧工地安全監控系統:Agentic RAG 技術應用實例

摘要這篇文章探討了如何將 LangGraph 的強大功能與 MongoDB 的資料儲存和檢索能力相結合,打造一個智慧的工地安全監控系統。文章首先介紹了 Lan...

鐵人賽 生成式 AI DAY 30

技術 【Day 30】- 從 LangGraph 到使用者介面:整合 FastAPI 與 Streamlit 的全方位指南

摘要文章首先概述了專案的核心目標,包括 理解自然語言查詢、進行即時網路搜尋、提供準確相關的答案、支援多輪對話、提供流暢的使用體驗。接著,文章深入分析了系統的架...

鐵人賽 生成式 AI DAY 29

技術 【Day 29】- 網站開發遇上 AI:FastAPI、Streamlit 與 LangServe 的實戰指南

摘要這篇文章旨在引導讀者學習如何利用 FastAPI 建構高效的後端服務,使用 Streamlit 打造互動式前端介面,並透過 LangServe 將 Lan...

鐵人賽 生成式 AI DAY 25

技術 【Day 25】- 數位轉型下的工安革命:知識圖譜與LangGraph的完美結合

摘要這篇文章深入探討了如何將知識圖譜與 LangGraph 結合,打造一個智慧化的工安監控管理系統。文章首先介紹了知識圖譜在管理工安資料的優勢,包括儲存結構化...

鐵人賽 生成式 AI DAY 28

技術 【Day 28】- 從零開始的 DSPy:打造高效翻譯錯誤檢測系統

摘要這篇文章介紹了一個名為 DSPy 的 AI 開發框架,它能夠幫助開發者更有效地構建和優化語言模型。文章從一個翻譯錯誤檢測任務為例,一步一步地示範了如何使用...

鐵人賽 生成式 AI DAY 27

技術 【Day 27】- 告別提示工程:DSPy如何革新大型語言模型的應用開發

摘要DSPy 是一個由 Stanford NLP 研究人員開發的框架,旨在簡化大型語言模型 (LLM) 的開發。它以 "Programming, n...

鐵人賽 生成式 AI DAY 26

技術 【Day 26】- Ollama: 革命性工具讓本地 AI 開發觸手可及 - 從安裝到進階應用的完整指南

摘要這篇文章是一篇關於 Ollama 的詳細指南,介紹了 Ollama 這個開源本地大型語言模型運行框架。文章首先介紹了 Ollama 的背景、特性和優點,強...