iT邦幫忙

2024 iThome 鐵人賽

DAY 3
0

系列總目錄(持續更新中~)

本系列文章將全面覆蓋生成式AI開發的各個方面,從基礎概念到實際應用:

  1. 引言:自我介紹和系列文章背景
  2. 什麼是大語言模型LLM:基本概念和原理介紹
  3. 學習路徑:概述本系列的學習架構
  4. 模型介紹:介紹當今常見的模型與主關評價
  5. 平台介紹:介紹主流AI平台(OpenAI, Amazon, Microsoft, Google, Anthropic, Nvidia, Github, Ollama, LM studio)
  6. 開發套件介紹:介紹主流使用的套件
  7. Prompt的基礎技巧和魅力:Prompt基本介紹和初階應用
  8. 進階Prompt Engineering策略:Prompt常用的進階技巧
  9. LangChain介紹:簡單介紹LangChain在開發上的優勢

生成式AI開發的三大支柱:模型、平台和開發套件

在生成式AI的開發道路上,主要有三大支柱值得我們關注:「模型、平台和開發套件」。這三大支柱之所以是生成式AI開發中的核心,是因為他們共同定義了開發過程中的關鍵環節,模型決定了AI功能的能力邊界,平台影響了架構、部屬和拓展的可能性,而開發套件則是直接影響開發效率和專案的多樣性。這三者相互關聯,逐漸組成了一個完整的開發生態系統。因此,理解和掌握這三大支柱,在開發生成式AI專案的過程中至關重要。

  1. 模型(Model):

    由專門的研究團隊開發,致力於提升性能、擴展應用場景,並優化成本和安全性,如GPT-4o、Claude 3.5 Sonnet、Llama 3.1等等。

  2. 平台(Platform):
    提供了API接口、調試工具和文檔,使開發者能夠更容易地使用模型,如OpenAI API、Amazon Bedrock、Google AI Studio等。

  3. 開發套件(Dev-tools):
    這些工具簡化了與模型的交互過程,提供了更高層次的抽象和功能。如LangChain、OpenAI SDK庫、boto3等。

模型是整個生成式AI開發生態的根本核心,它決定了AI的能力邊界和應用潛力;平台則為模型提供了運行、部屬和使用的環境,使其能夠被廣泛應用;開發套件則是連接模型、平台和開發上的橋樑,普遍目的是在簡化開發過程,使專案能更好的開發下去。因此才會說這三大支柱緊密相連,形成了生成式AI完整的開發生態。

本系列文章將主要聚焦於Python進行生成式AI的開發。選擇Python的主因在於Python簡潔易用性,大大降低了開發者的入門門檻,也因此有了非常龐大的開發社群。其次是Python再AI和數據科學等領域已經建立了鞏固的地位,擁有豐富的函示庫和框架的支持。最後,Python的廣泛使用和龐大的開發者社群不斷貢獻新的工具和資源,使其在資料處理、專案開發的生態日益完善,許多開源社群和科技公司也在使用Python,並開發相關套件(尤其是AI),進一步強化Python再AI開發的核心地位。

下圖詳細展示了這三大支柱之間的關係:

https://ithelp.ithome.com.tw/upload/images/20240917/20151952Qw01fojVPl.png

在這張圖片中,左側列出了主要的模型提供者和他們的模型系列,如OpenAI的GPT系列、Anthropic的Claude系列等。中間展示了各種平台,包括專有平台(如OpenAI、Azure OpenAI)和開源平台(如Ollama、LM Studio)。右側是常用的Python開發套件,如LangChain、OpenAI SDK、boto3等。圖中的連線展示了不同模型可以在哪些平台上使用,以及可以通過哪些開發套件來調用。

舉例來說,當嘗試開發一個AI聊天機器人,可以選擇Claude 3.5 sonnet作為模型,並通過Amazon Bedrock來訪問他,並使用LangChain作為開發套件來建構對話流程。這樣選擇的原因在於:

  1. 模型方面:
    Claude 3.5 Sonnet 是當前比較平衡全面的模型,在知能與成本上擁有良好的效益
  2. 平台方面:
    使用Amazon Bedrock除了能夠簡單的訪問模型,還可以無縫集成AWS相關服務,比如:
    • 可以輕鬆建置RAG(檢索增強生成),讓模型能參考其他特定的領域知識
    • 便於建構前端介面,將服務部屬為類似ChatGPT的網站
    • 支持容器化部屬和CI/CD流程,有利於項目的開發、拓展和維護。
  3. 開發套件方面:
    當我們要切換使用不同模型或API,在LangChain中基本僅需修改語言模型和API端口的部分,在於其他功能方面幾乎不需要太多更動。此外,LangChain也有許多額外功能,例如讓模型能使用計算機、Google Search等功能,讓AI服務更加靈活,也在專案的拓展上有了更寬裕的空間

但由於現在市場上模型、平台和開發套件實在太多,因此我們僅列出少數比較著名和常見的來呈現,而且直到今天都還有更新的技術在被陸陸續續提出。這種複雜的網絡結構反映了生成式AI生態系統的豐富性和靈活性,開發者可以根據具體需求選擇合適的組合。但也因為其豐富的選擇和不同組合所帶來的選擇障礙,生成式AI開發道路上的考量除了模型本身所帶來的性能以外,還包含專案的架構、成本、效能和政策等等,還有額外如平台生態的熟悉程度、現有專案和DevOps的改變考量等等,許多的問題都已經跳脫了專案本身,以長遠的角度來看,反而是在環境與效率上需要更加的深思熟慮。

隨著科技的不斷進步,我們可以預見模型在未來將變得更加強大和專業化,平台則會提供更多訂製和優化選項,而開發套件則是會進一步簡化開發流程,並提供更高級的功能。因此能理解和掌握這三大支柱的發展動向,將有助於開發者在生成式AI領域保持競爭力。

在接下來的章節中,我們將深入探討每個支柱,詳細介紹各種模型、平台和開發工具的特點及使用方法。通過理解這三大支柱之間的其相互作用,更好地理解成式AI開發的全貌,為後續的實践打下堅實基礎。


本文內容基於個人學習、交流與實踐經驗,並非專門研究生成式 AI 或領域專家。若有任何內容上的錯誤或建議,誠摯歡迎友善交流與指正,讓我們共同探討與成長。感謝您的閱讀與支持!


上一篇
Day2 什麼是大語言模型LLM?
下一篇
Day4 模型介紹(GPT-4o, Claude 3.5 Sonnet, Gemini, llama3.1, Phi-3, Qwen2.5, Grok, ...)
系列文
生成式 AI之亂—從概念到實踐的LLM開發生態探索12
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言