大語言模型的侷限與進化困境

文章內容主要來源：https://youtu.be/jYuH2tCRJ60?list=TLGGK-cpdQxUWHgyMTEyMjAyNQ

根據提供的來源，當前以**大語言模型（LLM）與擴大規模（Scaling）**為核心的人工智慧主流技術，雖然在語言處理與數據擬合上表現出色，但最終將面臨以下四大核心困境與限制：

1. 「記憶」與「理解」的本質鴻溝

目前的主流技術本質上是記憶型系統，而非理解型系統。

• 缺乏真實世界結構： LLM 透過背誦互聯網上海量的文本數據來進行內容複述，但文本數據的冗餘度低且缺乏真實世界的結構信息，這導致模型無法真正理解世界。
• 數據效率極低： LLM 需要消耗幾乎整個人類文明的文本數據（約 $10^{14}$ 字節）才能達到目前的水平，而一個四歲孩子透過視覺感知的數據量與結構豐富度遠超於此，顯示主流技術在學習效率上的低下。
• 缺乏物理常識： 現有模型不具備「狗的智慧水平」，即無法理解基本的物理規律（如物體不會憑空消失、重力等），也無法處理高維度的連續感知的數據（如視訊）。

2. 缺乏原創性的「創造力紅溝」

李飛飛與施密特指出，當前 AI 在人類定義好的框架內進行推理表現優異，但在創造全新知識框架上存在巨大限制。

• 無法實現思維飛躍： 即便把所有行星觀測數據交給 AI，它或許能精準預測位置，卻無法像牛頓一樣抽提出「力」或「慣性」等抽象概念並推導出萬有引力定律。
• 難以提出問題： AI 擅長解決問題，但人類智慧的核心在於「提出新的有價值的問題」，這是目前 AI 難以跨越的障礙。
• 缺乏連續深度思考： 現有的 AI 缺乏流暢地利用新見解進行下一步推導的能力，這限制了它進行複雜的、需步步建構的創造性思考。

3. 工程成本與能源的不可持續性

主流技術依賴「暴力搜索」和「擴大規模」來尋求突破，這面臨嚴峻的資源限制。

• 能源成本高昂： 若試圖透過強化學習進行大規模路徑搜索來模擬「頓悟」或跨領域洞察，其計算與能源成本將是瘋狂且不可持續的。
• 技術路徑單一化： 矽谷目前陷入了對 LLM 的「集體幻覺」與「洗腦文化」，所有資源都擠在同一條賽道上拚命擴大規模，這種技術單一化可能導致整個行業錯過真正的顛覆性突破。

4. 安全性與規劃能力的缺失

楊立坤認為，主流 AI 的安全防護機制存在結構性缺陷。

• 事後修補的安全性： 目前依賴微調（Fine-tuning）或內容過濾來確保安全，這種做法極易被「越獄」繞過。
• 缺乏規劃與行動閉環： 現有的 AI 缺乏「前額葉皮層」的功能，無法預測自身行動的後果並進行有效規劃，這使得它無法在真實世界中自主且安全地行動。

類比理解： 當前主流的 AI 就像是一個**「閉門造車的博學書呆子」**，他背下了世上所有的百科全書（文本數據），能寫出華麗的文章甚至通過各類考試，但因為他從未走出房門看過一眼現實世界，他不知道杯子摔了會破，也不知道如何去應對書本之外的突發狀況。而科學家們現在擔憂的是，單靠讓他背更多的書（擴大規模），永遠無法讓他變成一個能動手做實驗、能獨立思考並解決現實問題的科學家。