大型語言模型（LLMs, Large Language Models）是透過預訓練（pre-training）與自監督學習（self-supervised learning）在大量文字資料上學習語言結構、語法、語意與上下文關係的模型。它們常用的架構是 Transformer，其核心機制是 attention／自注意力（self-attention），能夠在處理一段文字時，同時關注不同位置的詞彙間相互影響的關係。這些模型在預訓練階段會接收來自網頁、書籍、報告等大規模語料庫，以學習如何預測下一個字詞（或下個 token），這使得它們能生成語句、對話或回應提示。輸入提示（prompt）則決定模型如何應用其已學到的語言模式。 

但是LLMs看似非常便利與高消費，其實也有不少因其運作原理導致的限制，主要有以下幾點：

知識時間切割（Knowledge Cutoff）
LLMs 的訓練資料有時間界限，之後發生的新事件、研究、新聞等內容不在其內部知識裡。如果使用者詢問這些更新資訊，模型可能無法回答或回答錯誤。

幻覺（Hallucination）與不確定性
當 LLMs 在其訓練資料中沒有明確答案時，模型會「自信地」生成聽起來合理但不真實或不可驗證的內容。這種情況在回答專業問題或不常見知識時容易發生。

有限推理能力與邏輯錯誤
多步驟的思考、複雜邏輯問題與數學運算常常讓模型表現不穩定或錯誤。即使在提示中拆分步驟，也可能因為上下文窗口（context window）限制或注意力機制的瓶頸出錯。

偏見與倫理問題
模型的訓練資料來自網路與公開語料庫，其中可能含有性別、種族、文化等偏見。LLMs 有可能學習這些偏見並在回應中重現或放大。不當使用也可能導致誤導性資訊、仇恨言論或其他有害內容。

上下文與一致性限制
當提示很長、輸入內容跨越多個段落或主題時，模型可能難以追蹤上下文連貫性，有時候在同一回應中前後矛盾，或者對細微語境理解不夠好。

LLMs 的運作機制使其在生成自然語言、模仿人類文字行為方面非常強大，但這些模型未真正「理解」世界，而是透過統計模式與語料中的共現關係來預測下一個字／詞。這種方式帶來靈活性與創造力，但同時也孕育了幻覺、偏見、知識斷層等限制。若要應用於專業領域或關鍵任務，就需要結合額外技術（如 RAG、知識庫、檢索）、嚴格驗證與人類監督等。