軟體開始「吞噬世界」已經超過十年，如今，輪到 AI 正在吞噬軟體。

AI正在改變軟體的本質：不只是軟體如何被開發，也包括它在人類生活、工作與商業系統中扮演的角色。這樣的改變影響深遠，幾乎觸及人類活動的每一個層面。不過，本文關注的重點是基礎架構，尤其是雲端。

當 AI 開始吞噬軟體，雲端會不會成為它的下一道主菜？

答案是：會。
但這不是因為 AI 會讓雲端消失，而是 AI將大幅、且不可逆地改變雲端。真正帶來最大衝擊的，是生成式
AI，包括大型語言模型、影像與影片生成模型，以及將這些模型編排進自主代理程式的各種應用。

大家都知道，生成式 AI非常「飢餓」：它需要大量電力、龐大運算資源，也需要海量儲存。當 AI逐漸滲透到我們做的每一件事，真正的問題就變成：我們要如何餵飽這頭巨獸？

目前主流做法近乎暴力擴張：投入巨額資本，建造超大型集中式資料中心，用來承載巨大的AI模型。但這條路終將走不通。它在經濟上難以持續，在環境上代價高昂，更重要的是，從架構角度來看，它無法真正擴展到即將到來的需求規模。

Akamai不接受一個被新型「全球大等待」拖慢的未來。產業必須跳脫過度集中式基礎架構的幻覺，更聰明地根據使用情境配置基礎架構、調整技術，並讓AI Agent在它們真正運作的位置獲得支援。雲端必須適應、分散並持續演進，否則它就會被 AI吞噬。

歷史正在重演

1998 年，全球資訊網正在吞噬網際網路。

在 Web 出現之前，網際網路主要是電子郵件、Telnet、FTP 與 Usenet的世界。沒有串流影音，沒有即時視訊會議，也沒有線上購物、旅遊規劃、網路銀行或數位醫療。因此，它幾乎只被學術界、電腦科學家、軍方與政府機構使用。

Web 改變了一切。到了 1998 年，也就是 Web開放使用後短短七年，網站如雨後春筍般出現，全世界都開始注意到這股力量。

但 Web的成功也帶來龐大需求，進而導致許多廣為人知的效能失敗。當時甚至有人開玩笑說，WWW應該代表「World Wide Wait」：全球大等待。

問題在於，早期網站大多採用集中式 hub-and-spoke架構，所有使用者請求都必須一路回到中央原始伺服器。用暴力方式解決，就意味著建造大量集中式基礎設施，但這不只成本驚人，也未必真的有效。

這時，Tom Leighton 教授與他的研究生 Danny Lewin 創立了 AkamaiTechnologies。他們提出的不是暴力擴建，而是一種更智慧的方法：用數學、演算法與分散式系統來解決問題。

這套方法後來被稱為 CDN，也就是內容傳遞網路。CDN將儲存與運算能力分散到網際網路邊緣，讓網站與應用可以從更靠近使用者、裝置與物件的位置提供服務。(Akamai)

約十年後，Akamai又把同樣的智慧架構思維導入資安領域。回頭來看，我們可以很清楚地說：單靠暴力擴建，不可能真正解決Web 效能與網路安全問題。

如今，AI 正在以同樣深刻、甚至更劇烈的方式改變Web。那麼，為什麼我們會以為，建造更多巨大集中式資料中心、塞進更多大型模型，就是答案？

地理不會因為資本投入而改變，物理也不會因為資金而讓步。如果每一次生成式 AI模型呼叫，都必須先在網路中跨越數千英里，再穿過模型內部數兆個權重，結果只會比當年的「WorldWide Wait」更糟。產業可能陷入一種新的結構性阻塞：大型語言模型的泥沼。

但我們不必走向這個未來，前提是我們夠聰明。

生成式 AI 真正的超能力：工具

多數人第一次接觸生成式 AI，是透過 ChatGPT這類聊天機器人。它本質上是在大型語言模型上加了一個簡單的聊天介面，卻成功抓住了大眾想像力。

那只是幾年前的事，而生成式 AI 已經遠遠超越聊天機器人。我們正在快速從「AI是應用程式」的階段，走向「AI 驅動應用程式」的階段。

當 AI 成為應用的一部分，就會出現 Agent。

Agent可以寫程式、做研究、摘要電子郵件並草擬回覆；可以幫你找餐廳、訂位、規劃旅行、預訂飯店與機票；也可以協助購物，挑一件適合你最愛褲子的襯衫，甚至讓你在大學同學會前看起來年輕一點。

今天我們透過瀏覽網頁、填寫表單與點擊連結完成的許多事情，未來都可能被 Agent取代。

拆解 AI Agent 的組成

AI Agent 並不只是更強大的大型語言模型，也不是單純具備進階推理能力的 LLM。Agent是一個由多個元件組成的系統，其中 LLM 只是核心元件之一。

LLM 通常負責自然語言溝通，並做出引導對話與決定下一步流程的判斷。但一個 Agent還可能使用許多其他 AI 模型。例如，時尚顧問 Agent可能使用影像或影片生成模型，讓你看到某件衣服穿在身上的效果。

Agent 也會使用工具。這些工具不一定是 AI，卻能讓 Agent搜尋網頁、讀寫檔案、執行命令列程式、呼叫 API。以時尚顧問 Agent為例，它可能會透過工具讀取你過去的購買紀錄與偏好，然後推薦符合你喜歡顏色、又能搭配最近購買褲子的上衣。

從架構智慧來看，設計 Agent 有一條清楚原則：能放進非 AI工具的功能，就盡量放進工具裡。產業必須克制「什麼都要用 AI」的衝動。今天的 AI雖然強大，但不是什麼都能做；即便它能做，通常也極度沒有效率。

例如算術。LLM能算出正確答案其實很驚人，但它有時會算錯。即便算對了，它消耗的運算與能源也比計算機高出好幾個數量級。

同樣地，當正規表示式就能完美掃描文字時，我們不需要用兆級參數模型；當最短路徑演算法已經高度最佳化時，我們也不需要深度學習來規劃路線。

現代生成式 AI 真正的超能力，是 LLM能夠呼叫工具。也正因為如此，產業才開始頻繁談論 agentic AI。正確做法，是給 LLM足夠的工具，並讓它只做自己真正擅長的事。我們不該用兆瓦等級的電力，去解決毫瓦就能處理的問題。(Akamai)

運算資源被錯置的問題

從兆瓦到毫瓦，基礎架構的關鍵在於：依據使用情境，聰明地配置資源。

近期 AI 熱潮推動大量資金湧入集中式資料中心，部署大型模型與密集 GPU叢集。雲端投資也明顯被 GPU 主導，甚至出現一種幾乎專注於 AI GPU基礎設施的新型雲端，也就是所謂 neo-cloud。

但不是每一種工作負載都需要密集 GPU 叢集。

密集 GPU 叢集在 AI訓練上合理，尤其是基礎大型語言模型的預訓練。這確實是今天生成式 AI 發展的前提。

但真正使用模型，也就是推論，才是 AI創造實際價值的地方。而對許多推論情境而言，密集、集中式 GPU
叢集其實是架構上的錯配。

當我們使用巨大生成式 AI 模型進行推論時，密集 GPU叢集可能是最有效、甚至是唯一能達到可接受效能的方法。但不是所有工作都需要巨大模型。許多工作負載更適合使用規模小得多、針對特定任務最佳化的模型，而不是「什麼都可以問」的通用大型模型。

例如，一個車內 AI應用如果只是負責控制空調與娛樂系統，並不需要理解理論物理。同樣地，一個雲端 AIAgent
如果唯一任務只是協助病患預約牙醫，也不需要會寫十四行詩，或摘要每一集《MAS*H》的劇情。

用兆級參數模型處理這類狹窄任務，是嚴重浪費。更聰明的方式，是部署更小、更專用的模型，讓它們在成本較低的
GPU，甚至標準 CPU上高效運作。(Akamai)

Agentic AI 的基礎架構天生就是混合型

因為 Agent 是 LLM 與工具的結合，它對基礎架構的需求天生就是混合型。

核心 LLM 可能需要特定加速能力，但它呼叫的工具通常不是數值密集型運算，也不需要GPU。

再以時尚顧問 Agent為例。它可能會使用進階影像或影片生成技術，示範一件衣服穿在人身上的樣子；但它也高度仰賴傳統工具來擷取過往購買紀錄、讀取使用者偏好、查詢庫存資料庫。這些工具運行在CPU 上，需要大量儲存，也依賴與遠端服務之間持續通訊。

AI Agent的基礎架構需求，不能被簡化成單一、放諸四海皆準的型態。它本質上就是混合的，是GPU、CPU、儲存與通訊能力之間的動態組合。

雲端之所以成功，正是因為它本來就結合了彈性運算與網路能力。就像我們不該把 AI用在每一項任務上，也不該把 GPU
硬套到每一種工作負載。硬體應該配合使用情境，而不是反過來讓使用情境遷就硬體。(Akamai)

「Agentlandia」的迷思

我們很容易想像一個 AI Agent自成一格的世界：它們在某個封閉領域中彼此對話、完成任務，與人類幾乎沒有直接互動。在這個想像中，Agent都是巨大的 LLM，運行在少數超集中式資料中心中的大型 GPU 叢集上。

但這個想像經不起檢驗。

現實是，今天許多熱門 Agent框架，通常直接安裝並執行在桌面端。它們可能會查詢集中式雲端中的基礎
LLM，但其他元件往往就在桌面上運作。

而且，使用能在桌面端執行的替代 LLM，也越來越普遍。這些 Agent也可以在雲端中運行，而且通常會偏好選擇靠近使用者的雲端位置。

企業端也正在出現類似趨勢。

企業正在為員工與客戶打造並部署 Agent，常會使用 LangChain、PydanticAI、n8n、CrewAI 等 Agent 框架。這些 Agent也可以部署在企業選擇的任何雲端環境中，並設定使用由基礎模型供應商集中託管的大型LLM。

但同樣地，企業也越來越常使用替代LLM，依照特定使用情境進行最佳化，並部署在自己選擇的雲端環境中。

換句話說，並不存在一個孤立的「Agentlandia」。AI Agent會在任何地方運行：邊緣裝置、車輛、桌面，以及根據使用者距離與需求所選擇的高度分散式雲端環境。(Akamai)

新的分散式通訊網路正在成形

Agent 要完成任務，就必須持續與一張分散式服務網路互動。

它們會搜尋遠端網站、查詢本地資料庫、呼叫遠端 API。一個使用者請求，可能就會觸發LLM、本地工具與遠端服務之間一連串往返通訊。

此外，Agent 還必須跨不同雲端生態系與其他 Agent互動，同時維持與人類之間豐富、多模態、對話式的循環。

完整圖像會是一張高度互連、使用頻繁、全球分散的通訊網路。

產業挑戰：基礎架構必須走到 Agent 所在之處

基礎架構必須在 Agent 所在的位置支援它們，而這代表幾乎無所不在。

我們不能把整個 agentic AI生態系強行塞進集中式叢集。產業必須用分散式基礎架構支援它，在模型運行的位置、工具執行的位置，以及使用者互動的位置提供能力。這些位置也必須具備低延遲、高頻寬連線，才能讓整個生態系順暢運作。

這並不代表集中式資料中心會消失。密集 GPU叢集仍然是大型訓練工作負載與特定大型推論任務的正確選擇。但集中式核心必須搭配高度分散的邊緣基礎架構。雲端的未來，是從core 到 edge的彈性連續體。(Akamai)

單靠暴力建造超集中式巨型設施，並不符合現代生成式 AI的營運現實。這種做法浪費資源、無法擴展，最終會讓 AI發展陷入「大型語言模型泥沼」。

Akamai 對產業提出的挑戰是：為 AI時代打造一種更聰明、更具適應性、也更高度彈性的雲端。

我們需要的是CPU、GPU、儲存與連線能力之間高度彈性的混合組合，並部署在從核心到邊緣的流動位置連續體中。

雲端必須演進，以支撐 AI 的分散式現實；否則，就有被 AI 徹底吞噬的風險。

了解更多

https://www.akamai.com/lp/the-state-of-ai-inference