平台介紹

使用生成式AI模型的一般方式通常涉及直接與模型互動，例如通過命令行界面(CLI)或特定的應用程序。而這種方法往往受限於本地計算資源，且難以整合到更大型的應用中。因此，我們需要使用API來與模型進行溝通。API提供了一個標準化的接口，使開發者能夠輕鬆地將LLM的功能整合到各種應用程序中，無需處理複雜的模型部署和維護問題。

平台在這個過程中扮演著重要的角色，不僅提供了訪問模型的API，通常還會提供如模型管理、版本控制、安全性設定、使用量監控和使用費用等等。且通常大多平台都會提供文檔、代碼和開發工具，進一步降低開發門檻。

平台類型概述

生成式AI平台主要分為三大類：

1. AI應用服務

   這類服務提供了現成的AI產品，如ChatGPT、New Bing、Claude、Amazon Q、Perplexity、Monica等。它們通常具有用戶友好的界面，無需編程知識即可使用。這些服務適合快速體驗AI能力，或用於非技術用戶的日常任務。然而，它們的自定義性較低，難以整合到特定的業務流程中。

2. Self-Hosted

   簡單來說就是將模型下載並部屬至本地環境，如Ollama和LM Studio，通過在本地建設API服務，提供內部或外部應用程式調用。其特點包含：

   • 完全的控制和隱私保護：數據和模型都在本地，確保了安全性和隱私問題
   • 無需網路：適合離線或網路受限的情況
   • 成本可控：基本上就是運算設備的成本、損耗和電費
   • 性能限制：目前還是需要較專業的運算設備，且通常需具備相應的技術能力

3. 雲服務(Cloud)

   1. API Service: 使用第三方提供的語言模型API，如OpenAI API, Amazon Bedrock, Anthropic API, Google Cloud API, Microsoft Azure API等等

   2. 透過雲端基礎設施來Self-Hosted

      雲基礎設施提供良好的便利性和強大的運算資源。API Service提供了簡單的街口來訪問先進的模型，而基礎設施除了能建構和訓練自己的模型，現在大多Cloud API Service也開始提供部署私人模型。

主流AI平台介紹

OpenAI

• ChatGPT(AI應用服務)：可以說是家喻戶曉的AI網頁應用，提供OpenAI最新模型以及GPTs
• OpenAI Platform(API Service)：為開發者設計的開發平台，主要提供OpenAI各種 AI 模型的API和調適。

AWS

• Amazon Q(AI應用服務)：由亞馬遜開發的企業級生成式AI支援助理
  • 可以提供AWS服務支援和串接（如Amazon QuickSight)
• Amazon Bedrock(API Service)：AWS的全託管服務，提供多種基礎模型，如Anthropic/Claude系列, Meta/llama3.1系列, Cohere/Embed系列, SDXL等模型
  • 保證不會將AWS客戶的資料用於訓練模型
  • 可以部署Anthropic系列的非開源模型，做訓練和微調
  • 擁有豐富的AWS生態串接，以及許多生成式AI延伸應用，如Knowledge bases, Agent, imported model等。
• Amazon SageMaker/JunpStart(雲端AI基礎設施)：AWS上的全託管機器學習服務，也提供Jupyter開發環境
  • JumpStart提供全面的現成預訓練模型，可簡單透過操作介面來訓練或微調(fine-tune)模型

Microsoft

• Microsoft Copilot/New Bing(AI應用服務)
• Azure OpenAI(API Service)：在 Azure 雲端上提供 OpenAI 模型的企業級 API 服務。
  • 保證不會將客戶的資料用於訓練模型
  • 可以部署OpenAI GPT系列的非開源模型，做訓練和微調
• Azure AI Studio(API Service & 雲端AI基礎設施)：全面的 AI 開發環境，支援模型訓練、部署和管理。

Google

• Gemini(AI應用服務)：主要提供Google多模態 AI 模型的網頁應用介面，結合google生態如Google Drive等。
• Google AI studio(API Service)：專為開發者設計的 AI 開發平台，支援Google自家模型，並提供API。
• Vertex AI(雲端AI基礎設施)：Google Cloud Platform的AI平台，支援模型開發和部署，提供多樣化服務，如影像生成、翻譯和語音等。

Anthropic

• Claude.ai(AI應用服務)：主要提供Anthropic自家模型，Claude系列的AI網頁應用介面，能直接執行網頁代碼並預覽。
• Anthropic Console(API Service)：提供 Claude AI 模型 API 訪問的開發者平台。

Nvidia

• Nvidia NIM(API Service & Self-Hosted)：提供各種開源AI模型的API，特點在於有超大模型如xAI/Grok, nvidia/Nemotron-4-340B
  • 部分模型支援self-Hosted（使用docker）

Github

• Github Copilot(AI應用服務)：寫代碼助手，整合再如VScode的IDE中。
• Marketplace/Models(API Service)：提供多種AI模型的API，事實上是使用Azure AI Studio

Self-Hosted Platform

• Ollama(Self-Hosted)：開源的本地 AI 模型運行工具，支援多種操作系統。
  • 支援：Windows, Linux, MacOS, docker
  • API支援同時處理多聊天
• LM studio(Self-Hosted)：用於本地運行和微調大型語言模型的桌面應用程序。
  • 支援：Windows, Linux, MacOS

本文內容基於個人學習與實踐經驗，並非專門研究生成式 AI 或領域專家。若有任何內容上的錯誤或建議，誠摯歡迎友善交流與指正，讓我們共同探討與成長。感謝您的閱讀與支持！