▋前言

在系統中，我們不只要做逐字稿與情緒分析，還希望能生成「教學摘要」與「學習建議」。這就需要引入大型語言模型 (LLM)。

▋內容

比賽有一個限制：不得使用雲端 API。這意味著像 GPT-4、Claude 這些雲端模型都不能使用。我們必須尋找地端可運行的開源模型。

我們比較過幾種 LLM：

1. LLaMA (Meta)

   優點：開源，社群活躍，資源多。

   缺點：推理速度比 GPT-4 慢，需要 GPU 支援。

2. Falcon

   優點：開源許可友善，能在中小型硬體環境下跑。

   缺點：英文表現佳，但在中英文混合任務上稍弱。

3. Mistral

   優點：小型化設計，能效比佳。

   缺點：模型成熟度與生態系仍在發展中。

最終我們選擇 Ollama + LLaMA 模型，原因是：

1. 能完全離線運行，符合資料保護規範。

2. 能夠整合逐字稿與情緒數據，生成教學摘要。

3. 推理品質在教育場景中已足夠實用。

請ChatGPT幫我們整理一個易讀的比較表：

▋下回預告

下一篇將總結我們的最終成果，並談談未來的應用展望。

▋參考資料

LLaMA Paper
Falcon LLM
Mistral AI
Ollama