iT邦幫忙

2024 iThome 鐵人賽

DAY 2
0
自我挑戰組

LLM 應用、框架、優化及評估方法系列 第 2

Day2 GAI爆炸時代 -開發 LLM 框架

  • 分享至 

  • xImage
  •  

LangChain 框架

專為開發llm的應用程式框架!!

https://ithelp.ithome.com.tw/upload/images/20240807/20168537JhA9aIdmBF.png

主要為幫助開發者建構基於LLM應用的框架,整合了多種工具和技術,並提供了高度可擴展的架構來處理各種語言處理任務。

這邊我們只先介紹LangChain API如何使用,後續的工具都必須透過LangChain來實現
如LangSmith是基於LangChain框架的開發工具,可以用來部署、監控,
因此我們先把這個基本功練好,日後有需要再做補充。

LangChain API

1. LangChain

提供了基本的工具和功能來構建語言模型應用程序。這個模組包括了對大型語言模型(例如 OpenAI GPT 系列)的支持,並提供了與其他模組的整合。

  • Chains:定義一系列步驟或操作,通常是將輸入轉換為輸出的一連串過程。
  • Agents:這是一個更高級的抽象,允許你定義複雜的工作流,這些工作流可以根據不同的條件動態地選擇和執行不同的操作。

https://ithelp.ithome.com.tw/upload/images/20240807/20168537td5ODoDbRv.png

2. Core

為該框架的核心部分,負責提供構建和運行LLM應用程序的基礎功能。這些功能包括代理、回調、聊天歷史和嵌入等:

https://ithelp.ithome.com.tw/upload/images/20240807/20168537myoMfZZSEP.png

https://ithelp.ithome.com.tw/upload/images/20240807/20168537w082n2SJNz.png

3. Community

Community 模組包含了由社區貢獻的工具和擴展,包含許多非常實用的工具。包括:

  • Connectors:與其他服務或 API 的連接器,例如與特定數據庫、第三方服務或其他框架的集成。
  • Custom Tools:由社區成員開發的自定義工具或功能,這些工具可以幫助解決特定的問題或增強某些功能。

4. Experimental

包含一些實驗性功能和特性,這些功能可能還在測試或開發中,並且可能會有較大的變化。這些特性包括:

  • Beta Features:一些新的特性可能尚未完全穩定,但提供了新功能或改進。
  • Advanced Algorithms:實驗性算法或技術,這些算法可能尚未經過廣泛測試,但在某些情況下可能非常有用。

5. Text Splitters

專注於處理文本的分割和預處理。這些功能對於大規模語言模型應用程序尤其重要,因為有效地處理和分割文本可以顯著提高模型的性能和準確性。這個模組包括:

  • Splitting Algorithms:各種文本分割算法,根據不同的需求和場景分割文本。
  • Tokenization:將文本轉換為模型可處理的 token。
  • Text Normalization:標準化文本以提高模型的兼容性和性能。

LangChain 的這些模組相互配合,提供了一個靈活且強大的框架來構建大規模語言模型應用程序。這些模組中的每一個都專注於解決特定的問題或提供特定的功能,讓開發者可以根據自己的需求選擇和組合使用。


上一篇
Day1 GAI爆炸時代 -開啟 LLM 之學習之路
系列文
LLM 應用、框架、優化及評估方法2
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言