自主 AI 算力新突破：Apple 讓萬億級模型擺脫雲端束縛

自 macOS Tahoe 26.2 發佈，行銷焦點多半放在 Edge Light 視訊特效和酷炫的 Liquid Glass 介面上。但這項新系統最令人驚豔的功能，是它可以讓多台 Mac Studio 透過網狀連接，變身成擁有 2TB 記憶體的運算叢集。對於那些厭倦了依賴雲端、擔心資料主權問題的企業家、研究人員和新創公司來說，這種「本地部署」的方案徹底改變了他們的思維。這代表著本地運算能力已經強大到足以執行萬億級參數（Trillion-parameter）的模型，而且資料完全不需要經過外部伺服器。

擺脫對雲端的依賴

如今要運行大型語言模型，通常只有兩種方式：一是向 AWS、Azure 或 GCP 等大廠租用 GPU 算力，二是砸重金蓋資料中心。無論哪一種方式，都會導致控制權集中，不是被每個月高昂的雲端帳單和供應商綁架，就是門檻高到只有資金極其雄厚的企業才能承擔。

Apple 的 RDMA 方案帶來了第三種選擇：完全自行擁有的叢集，使用一般辦公室的標準電力，資料始終保留在本地端。企業可串接四台 Mac Studio，獲得高達 2TB 的統一記憶體，直接在本地端運行萬億參數的模型。

為什麼 RDMA 如此重要？

傳統網路運算通訊量龐大。資料要從應用程式記憶體跳到作業系統核心，經 CPU 處理，再經過協定層封裝傳輸，最後在目的地進行反向解開封裝。每一步都會增加延遲。對於人工智慧推理而言，這種需要在節點間大量傳輸數據的任務，這種效能損耗是致命傷。RDMA 則直接跳過這些流程。 它讓網卡直接在機器記憶體之間搬運資料，毋需作業系統介入，也不會耗費 CPU 資源。這原本是超級電腦等級的成熟技術，通常需要專用的 InfiniBand 或 RoCE 硬體，一般只有資料中心才負擔得起。

Apple 的實際做法則透過標準的 Thunderbolt 5 線材達成。開發人員 Jeff Geerling 實測顯示，開啟 RDMA 後，記憶體存取延遲從原本的 300 微秒驟降至 50 微秒；優化後的配置甚至能壓低到 5-9 微秒。更重要的是，這樣的做法在一般的共享辦公空間裡，就能擁有資料中心等級的記憶體池。

實際花費為何？

這就是本地部署方案最具吸引力的地方。

一套配備頂級的四節點 Mac Studio 叢集，成本大約在 38,000 至 46,000 美元之間。實測顯示，這套配置能夠以每秒 15 至 30 個代幣的速度處理擁有 1 兆個參數的 Kimi-K2-Thinking 模型。這是一次性資本支出，沒有後續的雲端月租費，也不用按照 tocken 數付 API 費用。

相較之下，一套配備 8 個 H200 GPU 的叢集，初始投資 40 萬至 55 萬美元，且每個月電費可能高達 650 至 900 美元。雖然它的效能遠超 Mac，但它需要專業冷卻系統、三相電源和複雜的設施，這是一般新創公司根本無法達成的。

如果選雲端替代方案，租用 H200 的成本是每小時 3.72 到 10.60 美元。對於持續性的推論工作量，這些帳單會累積得非常驚人。

註：貨幣單位為美元，數據僅供參考。

誰應該關心這項技術？

這個方案並非適合所有人，它的目標對象是那些雲端成本（無論是金錢、法規或戰略獨立性）超過了效能需求的組織。

• 醫療 AI： 處理不能離開司法管轄區的患者資料。
• 金融科技： 為了符合資料在地化要求，建立詐欺檢測或信用評分模型。
• 法律科技： 處理極其敏感的機密文件。
• 學術研究： 需要強大推論能力，但不想被雲端預算或合規流程卡住的研究機構（如 IIT、IISc）。
• 國防與政府： 必須在「物理隔離（Air-gapped）」環境下運作的設施。

若要從頭開始訓練大型模型，那麼這並非最佳方案；H200 叢集在訓練工作負載方面仍然能快 10-20 倍。但若是要對現有模型進行微調、運行推論或在現有模型上開發應用，考量的情況便不一樣，這裡用的是「峰值資料吞吐量」來換取「所有權、可預測性與掌控權」。

綜觀大局

Apple 證明了「不需要資料中心或雲端合約的自主主權 AI 運算」。它雖然無法取代超大規模資料中心處理繁重訓練工作負載，但對於重視獨立性、不想被數據掌控權綁架的組織來說，這提供了一條新途徑。

未來的 Apple 晶片可能會進一步解決目前的瓶頸（例如 M5 Ultra 預計會提升記憶體頻寬）。對於萬億級參數的 AI 模型，企業現在握有選擇權：可以選擇要在租來的設備上執行，還是在自行擁有的設備上執行？