個人背景

大家好，我是 BR，是熱衷於探索新技術和新知識的開發者、資工所研究生。從 2023 年開始接觸雲端運算和社群活動，陸續參與了 AWS、Google 和 Microsoft 舉辦的培訓活動。到了 2024 年初，我開始接觸生成式 AI，參加了數十場科技展、各種工作坊以及生成式 AI 黑客松。

這段從無到有的生成式 AI 開發之路，受到了很多來自良師益友和社群的幫助，讓我見識了許多有趣的事物，也實際踩過各種大大小小的坑，從而積累了寶貴的知識和經驗。這些都讓我意識到社群和技術傳承的重要性。雖然我從來沒有參加過 iThome 鐵人賽，但因為想實踐自我鍛鍊和經驗的傳承，希望能幫助到想開始開發生成式 AI 的開發者。

生成式AI發展現狀

2024 年可以說是生成式 AI 蓬勃發展的第二年，越來越多令人驚嘆的 AI 技術被提出和超越。對大多數科技發達的國家來說，AI 早已成為重點關注的技術。隨著眾多科技巨頭和新創公司的不斷投入，AI 領域的發展速度逐年提升，使得相關的應用、框架和生態系統迅速成熟。

自 2022 年底 ChatGPT 席捲全球以來，生成式 AI 所創造的價值引起了全球關注，使得 2023 年被譽為生成式 AI 元年。到了 2024 年，我們看到了更多成熟的技術和開發框架出現，大幅降低了開發者驅動 AI 模型的門檻。

如今，當我們想使用生成式 AI 服務時，只要開啟瀏覽器進入網站或下載 APP，就能與生成式 AI 對話。除了著名的 ChatGPT（OpenAI）和 Claude（Anthropic）外，還有許多產品化的服務，如 Monica、Perplexity 等第三方生成式 AI 平台。而這些服務性產品主要針對一般「使用」生成式 AI 的消費者。

事實上，OpenAI、Anthropic 等公司都提供了他們的大語言模型（LLM）、圖像生成等模型的API 服務，而像 ChatGPT 和 Claude 這些網頁服務，本質上就是透過串接自家API 所建立的網頁式AI服務。因此，我們也可以利用這些 API 來建立自己的 AI 網站、聊天機器人等。

目前，透過程式碼使用 LLM 的主流方式是使用 API，著名如 OpenAI API、Amazon Bedrock（AWS）、Nvidia NeMo 等。即使是本地運行 LLM 的 Ollama 和 LM Studio，也都是透過在本地架設一個 API 伺服器，作為本地 LLM 的統一介面。

當前挑戰

雖然 AI 領域的急速增長給我們帶來了許多便利與貢獻，然而生成式 AI 的快速發展也帶來了一些挑戰：

1. 選擇適合的模型和平台：現今市場上充斥著各種不同的 AI 模型和服務平台，了解它們的特性與適用情境，需要花費大量時間和精力。因此，如何選擇適合的模型和平台，成為了開發者面臨的一大難題。

2. 運算資源的需求與平衡：越大型、越智慧、記憶能力越強的語言模型，對運算資源的需求也越高，所以如何在隱私、成本和效能之間找到平衡，以及在雲端服務和本地部署之間做出選擇，需要權衡多種因素。

3. 模型的開源與商業限制：由於涉及許多商業機密，市場上部分模型並未真正開源，大多數人實際上無法建立私有的大語言模型。因此，現階段來說想要使用更先進、更強大的模型，仍需付費使用專業 LLM 供應商提供的 API。

4. 開發過程中的關鍵考量：專案的長期產出和報酬率是剛性需求，因此開發過程中的流暢性、安全性和架構設計，也是開發者需要深思熟慮的因素。如何建立一個穩定、安全、可擴展的系統，以確保專案的成功，是一項重要的挑戰。

文章目的

本篇文章的目的是整理目前生成式 AI 領域的開發生態。我們將整理各大 AI 模型、模型平台和開發套件的現狀、優勢以及未來發展方向。除了釐清基礎概念、建構開發環境外，我們希望能更深入分析這些平台和模型的使用方式，最終利用這些優勢進行實際開發。我希望這些文章能幫助更多人在生成式 AI 的開發道路上少走一些彎路，讓更多人能踏入這個充滿潛力的領域。

本文內容基於個人學習與實踐經驗，並非專門研究生成式 AI 或領域專家。若有任何內容上的錯誤或建議，誠摯歡迎友善交流與指正，讓我們共同探討與成長。感謝您的閱讀與支持！