本系列文章將全面覆蓋生成式AI開發的各個方面,從基礎概念到實際應用:
在生成式AI的開發道路上,主要有三大支柱值得我們關注:「模型、平台和開發套件」。這三大支柱之所以是生成式AI開發中的核心,是因為他們共同定義了開發過程中的關鍵環節,模型決定了AI功能的能力邊界,平台影響了架構、部屬和拓展的可能性,而開發套件則是直接影響開發效率和專案的多樣性。這三者相互關聯,逐漸組成了一個完整的開發生態系統。因此,理解和掌握這三大支柱,在開發生成式AI專案的過程中至關重要。
模型(Model):
由專門的研究團隊開發,致力於提升性能、擴展應用場景,並優化成本和安全性,如GPT-4o、Claude 3.5 Sonnet、Llama 3.1等等。
平台(Platform):
提供了API接口、調試工具和文檔,使開發者能夠更容易地使用模型,如OpenAI API、Amazon Bedrock、Google AI Studio等。
開發套件(Dev-tools):
這些工具簡化了與模型的交互過程,提供了更高層次的抽象和功能。如LangChain、OpenAI SDK庫、boto3等。
模型是整個生成式AI開發生態的根本核心,它決定了AI的能力邊界和應用潛力;平台則為模型提供了運行、部屬和使用的環境,使其能夠被廣泛應用;開發套件則是連接模型、平台和開發上的橋樑,普遍目的是在簡化開發過程,使專案能更好的開發下去。因此才會說這三大支柱緊密相連,形成了生成式AI完整的開發生態。
本系列文章將主要聚焦於Python進行生成式AI的開發。選擇Python的主因在於Python簡潔易用性,大大降低了開發者的入門門檻,也因此有了非常龐大的開發社群。其次是Python再AI和數據科學等領域已經建立了鞏固的地位,擁有豐富的函示庫和框架的支持。最後,Python的廣泛使用和龐大的開發者社群不斷貢獻新的工具和資源,使其在資料處理、專案開發的生態日益完善,許多開源社群和科技公司也在使用Python,並開發相關套件(尤其是AI),進一步強化Python再AI開發的核心地位。
下圖詳細展示了這三大支柱之間的關係:
在這張圖片中,左側列出了主要的模型提供者和他們的模型系列,如OpenAI的GPT系列、Anthropic的Claude系列等。中間展示了各種平台,包括專有平台(如OpenAI、Azure OpenAI)和開源平台(如Ollama、LM Studio)。右側是常用的Python開發套件,如LangChain、OpenAI SDK、boto3等。圖中的連線展示了不同模型可以在哪些平台上使用,以及可以通過哪些開發套件來調用。
舉例來說,當嘗試開發一個AI聊天機器人,可以選擇Claude 3.5 sonnet作為模型,並通過Amazon Bedrock來訪問他,並使用LangChain作為開發套件來建構對話流程。這樣選擇的原因在於:
但由於現在市場上模型、平台和開發套件實在太多,因此我們僅列出少數比較著名和常見的來呈現,而且直到今天都還有更新的技術在被陸陸續續提出。這種複雜的網絡結構反映了生成式AI生態系統的豐富性和靈活性,開發者可以根據具體需求選擇合適的組合。但也因為其豐富的選擇和不同組合所帶來的選擇障礙,生成式AI開發道路上的考量除了模型本身所帶來的性能以外,還包含專案的架構、成本、效能和政策等等,還有額外如平台生態的熟悉程度、現有專案和DevOps的改變考量等等,許多的問題都已經跳脫了專案本身,以長遠的角度來看,反而是在環境與效率上需要更加的深思熟慮。
隨著科技的不斷進步,我們可以預見模型在未來將變得更加強大和專業化,平台則會提供更多訂製和優化選項,而開發套件則是會進一步簡化開發流程,並提供更高級的功能。因此能理解和掌握這三大支柱的發展動向,將有助於開發者在生成式AI領域保持競爭力。
在接下來的章節中,我們將深入探討每個支柱,詳細介紹各種模型、平台和開發工具的特點及使用方法。通過理解這三大支柱之間的其相互作用,更好地理解成式AI開發的全貌,為後續的實践打下堅實基礎。
本文內容基於個人學習、交流與實踐經驗,並非專門研究生成式 AI 或領域專家。若有任何內容上的錯誤或建議,誠摯歡迎友善交流與指正,讓我們共同探討與成長。感謝您的閱讀與支持!