昨天講的縮放法則證明訓練數據量與模型規模有一個平衡點，今天要來講大家在使用AI時，多少遇到的問題。

模型幻覺

模型幻覺(Hallucination)：通常指的是LLM生成內容與客觀事實、用戶輸入或上下文訊息矛盾，或者生成了不存在的事實、實體或事件。

幻覺的本質是模型在生成過程中，過度自信地"編造"了訊息，而非精確地檢索或推理。根據表面形式，幻覺可以被分為多種類型，例如：

(1)事實性幻覺(Factual Hallucination)：模型生成與現實世界事實不符的訊息。

(2)忠實性幻覺(Faithfulness Hallucination)：在文本摘要、翻譯等任務中，生成的內容未能忠實地反映源文本的涵義。

(3)內在幻覺(Intrinsic Hallucination)：模型生成的內容與輸入訊息直接矛盾。

幻覺的產生是多方面因素共同作用的結果。首先，訓練數據中可能包含錯誤或矛盾的訊息。其次，模型的自回歸生成機制決定了它只是在預測下一個token，而沒有內置的是實核查模組。最後，在面對需要複雜推理的任務實，模型可能會在邏輯鍊條中出錯，從而"編造"出錯誤的結論。(說不定現在就是錯的🤔)
例如：一個旅遊規劃Agent，可能會為你推薦一個現實中不存在的景點(可能是A地方B景點)，或者預定一個班號錯誤的機票。

此外，LLM還面臨著知識時效性不足和訓練數據中存在偏見等挑戰。LLM的能力源於其訓練數據。這意味模型掌握的知識是其訓練數據收集實的最新材料。
對於在此日期之後發生的事件、新出現的概念或最新的事實，模型將無法感知或正確回答。於此同時訓練數據往往包含了人類社會的各種偏見和刻板印象。當模型在這些數據上學習時，它不可避免的會吸收並反映出這些偏見。(面對最新知識，可以先丟資料或是讓模型先檢索，最重要的是保持懷疑，不是AI說甚麼就是甚麼)

為了提高LLM的可靠性，研究人員和開發者正在積極探索多種檢測和緩解幻覺的方法：

(1)數據層面：透過高質量數據清洗、引入事實性知識及強化學習與人類反饋(RLHF)等方式，從源頭減少幻覺。
(2)模型層面：探索新的模型架構，或讓模型能夠表達其對生成內容的不確定性。
(3)推理與生成層面：

• 檢索增強生成(RAG)：這是目前緩解幻覺的有效方法之一。RAG系統通過生成之前從外部知識庫(ex.文檔數據庫、網頁)中檢索相關訊息，然後將檢索到的資料作為上下文，引導模型生成基於事實的回答。
• 多部推理與驗證：引導模型進行多部推理，並在每一步進行自我檢查或外部驗證。
• 引入外部工具：允許模型調用外部工具(ex.搜尋引擎、計算器、程式解釋器)來獲取實時訊息或進行精準計算。

儘管幻覺問題短期難以完全消除(我認為應該是完全不能被消除)，但通過上述的策略，可以顯著降低其發生頻率和影響，提高LLM在實際應用中的可靠性與實用性。

今天同樣分享一個很酷的repo "img2threejs" - 一張圖片就可以轉換3D模型，當然你一張正面的圖片基本上不會有背面的樣式，所以是有明確講說允許輸出近似結果。這是一個給Claude code/codex這種coding agent的skill
GitHub： https://github.com/img2threejs/img2threejs