生成式AI的核心技術是大型語言模型（LLM，Large Language Model）。LLM透過大量文本資料進行深度學習訓練出來的人工智慧模型，具備理解語言結構與語境的能力，能夠生成文字，語言翻譯、內容創作等，是推動生成式AI發展的關鍵引擎。

核心技術
• Transformer 架構
使用 「自注意力機制」，讓 Transformer 模型能同時關注輸入句子中的所有詞語，學習語意之間的關聯性，提升語言理解與生成能力
• 大規模預訓練（Pretraining）
採用自監督學習方式，透過海量文本資料進行預訓練，使其學習到語言的基礎知識，例如語法、語義及文法結構等
• 微調（Fine-Tuning）
採用監督學習方式，在預訓練好的模型上，在特定領域上進一步調整模型進行優化
• 增強式學習（Reinforement Learning）
在與環境互動的過程中學習，不斷地嘗試不同的行動，並根據先前得到的回饋來調整自己
• 擴展技術（Scaling Laws）
在實驗中顯示模型參數量、訓練數據量及計算資源成長，能呈現可預測的增長規律模型

優點
• 語言理解與生成能力強
能夠生成流暢、自然的語言，適用於多種語言翻譯、寫作、對話等
• 大規模知識整合
透過大規模語料訓練，能在各領域提供相對全面的知識
• 調整彈性大
我們可以給模型大量不同的文本資料，讓它學習各種風格、主題，甚至執行指定的任務

缺點
• 產生幻覺
可能生成看似合理、邏輯正確但卻與事實不相符的資訊
• 計算推理能力有限
在嚴謹的數學邏輯體系，容易在邏輯推理上發生錯誤
• 資源需求高
訓練需要大量的資料
推理過程時需要大量的計算資源
• 偏見與隱私安全
訓練資料可能包含偏見、錯誤或不當內容，模型輸出也可能重現這些問題
訓練的資料中可能會存在的偏見或錯誤的內容，導致生成內容具爭議性
訓練資料可能包含個人隱私信息，可能在無意中洩露隱私或機密