iT邦幫忙

2025 iThome 鐵人賽

DAY 13
0
佛心分享-IT 人自學之術

學習 LLM系列 第 13

Day13 設計實作專案

  • 分享至 

  • xImage
  •  

目標 : 一個完整可操作的 FAQ 問答系統,並搭配簡單 UI(Gradio)

準備 :

  • 建立 10 條 FAQ 資料集
  • 用 sentence-transformers 做 embedding
  • 用小型向量庫(FAISS 或 Chroma)儲存並檢索
  • 用 LLM(本地小模型或 API)把檢索結果組成回答(簡易 RAG)
  • 用 Gradio 做一個簡單界面

RAG (Retrieval-Augmented Generation) :

  • 檢索增強生成
  • 結合了資訊檢索和大型語言模型(LLM)的技術,用來改善生成式 AI 的回答品質和準確性
  • 當提出問題時,RAG 會先檢索和增強生成
  • 核心優勢 :
    • 減少亂回答 : 因為有外部事實,所以減少亂回答的機會
    • 提供最新資訊 : RAG 可以連接到外部最新的資料
    • 引用來源 : RAG 可以提供資料來源
    • 客製化知識 : 可以讓 RAG 連接到你專屬的內部文件、企業報告或個人筆記,讓它成為一個專屬於你的知識助理
    • 成本效益:相較於需要重新訓練整個大型語言模型來更新知識,使用 RAG 來連接外部資料庫會更有效率且成本更低
  • 運作流程
    • 提問
    • 檢索
    • 準備提示字
    • 生成答案
    • 呈現結果

** Gradio** : 快速建立基於網頁的使用者介面 (UI)

  • 核心概念 :
    • 定義輸入和輸出 : 需要什麼樣的輸入,會產生什麼樣的輸出
    • 建立介面 : 告訴 Gradio 模型是哪個函式,以及它的輸入和輸出類型。Gradio 會自動建立對應的網頁元件,像是上傳圖片的按鈕、輸入文字的欄位或顯示結果的區塊
    • 啟動介面 : 執行 Gradio 的程式碼後,它會在本機的瀏覽器上開啟一個網頁,也可以設定讓它產生一個公開的連結,方便分享給其他人試用

上一篇
學習 Prompt Engineering (提示工程)
下一篇
Day14 畫 RAG 流程圖
系列文
學習 LLM15
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言