1-6 人工智慧開發實踐前的 ( LLMs vs LLMs API )選擇指南

在選擇適合的人工智慧系統時，首先需要考慮預算。本文將根據不同的預算情況，以及對人工智慧需求的專才或通才進行詳細指導。

1. 預算？

無

預算有限，可以考慮使用以下免費或開源的解決方案：

• APP
  • ChatGPT-4o
  • Gemini
  • Claude (有免費使用限制)
• API
  • Gemini API

有

如果有足夠的預算支持，可以選擇一些高效且全面的商業解決方案，以滿足不同的需求。

2. 人工智慧需求

專才

如果需求是針對特定功能或領域，例如停車場車牌辨識，則需要選擇專才型人工智慧系統。這類系統專注於特定的任務，並能提供高精度的結果。

通才

如果需求是涵蓋多種功能或領域，例如ChatGPT，則需要選擇通才型人工智慧系統。這類系統具有廣泛的應用範圍，能夠處理多種不同的任務。

不一定 / 特定領域專家

若需求是某些特定領域的專家系統，例如GitHub Copilot，可以專才和通才型都可以考慮。

通才的需求，通常可以直接串接 API 完成，特定領域專家 用 LLMs API 串接前，可以藉由 RAG 或是 fine tuneing 去處理，機密資料透過 function calling 介接

3. 專才型系統解決方案

專才型人工智慧系統專注於特定功能或任務，具有高精度和定制化的特點。以下是選擇和實施專才型系統的步驟和推薦平台：

選擇步驟

1. 需求分析
   • 明確具體任務，例如車牌辨識或醫學影像診斷，確定目標精度和性能指標。
2. 模型選擇
   • 選擇合適的開源模型或預訓練模型，評估其性能和適用性。
3. 數據準備
   • 收集和處理相關數據，確保數據質量和多樣性。
4. 模型訓練
   • 使用開源平台進行訓練和微調，設置適當的超參數。
5. 模型評估和優化
   • 使用測試數據集進行評估，根據結果進行優化。
6. 部署和監控
   • 部署模型到生產環境，持續監控和更新。

推薦平台

Hugging Face

• 模型選擇：瀏覽 Hugging Face 模型庫，選擇適合的預訓練模型。
• 數據準備：使用 datasets 庫來處理數據。
• 模型訓練：利用 transformers 庫進行訓練和微調。
• 模型部署：通過 Hugging Face API 進行部署和監控。

Google Vertex AI

• 數據準備：使用 Google Cloud Storage 管理數據。
• 模型訓練：利用 Vertex AI 訓練服務進行模型微調。
• 模型評估：使用 Vertex AI 工具進行性能測試。
• 模型部署：通過 Vertex AI 部署服務進行模型部署和監控。

利用這些步驟和工具，能有效開發和部署高效的專才型人工智慧系統。

4. 通才型系統解決方案

通才型系統的需求可以通過以下幾種方式解決：

• 開源模型訓練：可以選擇多種開源模型進行自我訓練，以滿足不同的需求。
• LLMs API 串接：直接使用大型語言模型 (LLMs) 的API進行串接，以實現多功能應用。

特定領域專家

若需要在特定領域使用通才型系統，可以通過以下方法進行調整：

• RAG (Retrieval-Augmented Generation)：使用檢索增強生成技術，從外部資料庫中檢索相關信息進行生成。
• Fine Tuning：對大型語言模型進行微調，以適應特定領域的需求。
• Function Calling：透過功能調用介接機密資料，確保數據安全和隱私保護。

結論

根據以上的分析，可以根據預算和需求選擇適合的人工智慧系統。無論是專才型還是通才型系統，都有多種開源和商業化解決方案可以選擇，從而實現高效且精準的人工智慧應用，本系列將以通才型LLMs API 串接為主。

關於我

我是 Wolke。我是一名專業程式開發者，專長是開發 AI 和程式解決方案。

我投入了不少時間在專業發展上。我是多本書的作者，其中包括《LINE聊天機器人+AI+雲端+開源+程式：輕鬆入門到完整學習》和《ChatGPT來襲，未來人人都需具備的運算思維！應用詠唱工程來釋放程式生產力—程式學習/開發篇》。也有出版線上課程，我熱衷於分享我的經驗和技術，幫助其他開發者更好地利用 AI 工具。

也在許多知名大學、論壇、社團擔任講者，如果貴方有需要也歡迎與我聯繫。
2023年 講座 紀錄

最後這篇文章若有切合你的需求，敬請訂閱按讚分享