自然語言處理（Natural Language Processing, NLP）是生成式 AI 崛起的核心基礎之一。過去，電腦在處理語言時，往往難以理解語境與長期依賴（long-term dependency），直到深度學習技術出現，才逐步突破瓶頸。

RNN（Recurrent Neural Network）

在 1990 年代，循環神經網路（RNN） 成為處理序列資料的重要方法。它的設計理念是透過「隱藏狀態」記憶前一步的輸入，從而保留序列上下文資訊。RNN 被廣泛應用於語音辨識、機器翻譯等任務。
限制：RNN 在處理長序列時，會遭遇梯度消失或梯度爆炸的問題，使得模型難以捕捉長期依賴關係。

LSTM（Long Short-Term Memory）

為了解決 RNN 的限制，Hochreiter 與 Schmidhuber 在 1997 年提出 長短期記憶（LSTM）。LSTM 透過「記憶單元」與「門控機制」來選擇性地保留或忘記資訊，極大改善了序列建模的效果。
應用範例：Google 翻譯早期版本便大量依賴 LSTM。
限制：雖然 LSTM 可以處理較長的序列，但計算效率不佳，難以在大規模語料上快速訓練。

Transformer 的出現

2017 年，Vaswani 等人提出的 Transformer架構徹底改變了 NLP。Transformer 捨棄了序列依賴的設計，完全依靠 Self-Attention 機制 來建模序列中各元素之間的關係。

• 優點：可以並行運算，處理大規模語料時效率極高。

• 成果：BERT、GPT 系列、T5 等模型紛紛誕生，掀起 NLP 的革命。

小結

NLP 的發展脈絡清楚展現了演算法的進化：

• RNN 提供了序列建模的基本框架。

• LSTM 解決了長期依賴問題。

• Transformer 則打破了效率與效果的瓶頸，開啟了大型語言模型的時代。

可以說，從 RNN 到 Transformer 的演進，正是生成式 AI 迅速崛起的關鍵推手。