Apple 意外打造出最棒的人工智慧電腦
Apple 在這場如火如荼的人工智慧競賽中可說是後起之秀。然而在無心插柳的情況下,Apple 打造出最適合運行 AI 的電腦。全新配備 M3 Ultra 晶片的 Mac Studio 支援最高 512GB 統一記憶體,是目前在本機執行先進大型語言模型(LLM)最簡單、最經濟的方式之一。
Apple 的 AI 研究團隊透露,只要一台 Mac,就足以順暢運行媲美 ChatGPT 效能的最新 DeepSeek V3 模型,這震撼了整個 AI 領域。毋需龐大的伺服器機房,只要一張辦公桌的空間即可安放 Mac,且價格平易近人。說實話,Mac 硬體架構並非專門為 AI 設計,但不可否認的是,Apple 矽晶片架構是 AI 硬體的最佳選擇。
在 Mac Studio 上執行大型人工智慧模型
AI 模型運作需高度依賴 GPU,這是電腦中專門負責圖形運算的零組件。一如 3D 建模或影片算圖,LLM 同樣需要高速矩陣運算,這正是 GPU 擅長的領域。
不過,與遊戲或影片算圖不同的是,LLM 等 AI 模型需要的是巨量記憶體。即使是如 Nvidia 4090 這類高階消費級 GPU,也只有提供 24GB 記憶體,而許多先進模型(如以高效率著稱的 DeepSeek R1)卻需要超過 64 倍的記憶體。
在本機端執行模型有獨特優勢 — 除了毋需支付雲端費用,還可避免網路延遲、使用限制與潛在的資安風險。只需投資一次硬體成本,並支付日常耗電費用,即可取得穩定且自主的運算環境。
Apple 的統一記憶體架構優勢
傳統電腦上的 CPU、GPU 和其他處理器通常各自擁有獨立的記憶體池。然而,Apple 的晶片(如 M3 Ultra)採用了統一記憶體架構,這意味著 CPU、GPU 和神經處理單元 (NPU) 都位於同一晶片上,並共享相同的記憶體。這樣的設計對 AI 研究人員來說,大幅提升了效能與效率的整合性。
Apple 機器學習研究員 Awni Hannun 近日在社群媒體上分享,他已成功在配備 512GB 記憶體的 M3 Ultra Mac Studio 上運行 DeepSeek 推出的最新大型語言模型。他寫道:「新推出的 4-bit DeepSeek V3-0324 模型,透過 MLX-LM 在 M3 Ultra 上的推理速度超過 20 tokens/秒!」MLX-LM 是專為 Apple 矽開發的 LLM 執行軟體。
DeepSeek-V3-0324 這款模型是以開源形式上架於 Hugging Face,擁有 6,700 億參數、大小達 641 GB,據稱能與 OpenAI 和 Anthropic 等巨頭的旗艦模型一較高下。儘管這類模型通常只能在資料中心執行,但社群用戶已在 Mac Studio 上成功運行。甚至已有新創公司(如 Exo Labs)嘗試透過 Thunderbolt 5 將多台 Mac Studio 串接起來,以支援更完整的 DeepSeek R1 模型。
意外驚喜
Apple 的統一記憶體架構最初並非針對 AI 而設計。早在 2008 年,Apple 便開始針對 iPhone 和 iPad 設計內部處理器。當時,大型語言模型尚未呈現爆炸性增長。Apple 最初強調統一記憶體的好處在於其能夠「允許 SoC 中的所有技存取相同資料,毋需在多個記憶體池之間來回複製」,主要目的是為了提高 MacBook Air 的性能和電池續航力。
這項原本為行動裝置最佳化的設計,如今竟意外讓 Mac 成為最具潛力的本機 AI 平台之一。其獨特的晶片設計創造出最適合本地運行大型 AI 模型的平台。這項突破,對那些投注數十億美元在資料中心上的創投公司,投下了強烈的震撼彈!