Tech & Gear

AMD Instinct MI350P 把強大 AI GPU 算力帶到一般 PCIe 伺服器

作者 Aimirul|
分享

AMD 推出了 Instinct MI350P,一張面向企業伺服器的新 PCIe AI accelerator —— 重點很簡單:這是 AMD 大約四年來第一張 PCIe Instinct 卡。

MI350P 不是逼公司直接上昂貴的新 rack-scale systems,而是設計成一張雙槽、可直接安裝到標準風冷伺服器的卡。對 Malaysia 和 SEA 想把更多 AI workloads 放在本地端跑的企業來說 —— 像 chatbots、internal copilots、recommendation systems、analytics,或 private inference —— 這點很重要。不是每間公司都有預算或基礎設施,可以直接跳進大型 AI clusters。

MI350P 基於 AMD 的 CDNA 4 GPU architecture,compute dies 採用 TSMC 3nm 製程。它使用 4 XCD configuration,基本上就是 AMD 高階 MI350X 所用配置的一半。另外也有一顆採用 TSMC 6nm 製程的 single I/O die。

紙面規格來看,這張卡有 128 compute units、8,192 stream processors、512 matrix cores,以及 2,200MHz peak clock。AMD 表示這顆 chip 內含 730 億個 transistors。記憶體方面,它搭載 144GB HBM3E,使用 4096-bit bus,最高可提供 4TB/s bandwidth。另有 128MB Infinity Cache。

效能方面,AMD 明顯是把它推向 enterprise AI formats。MI350P 支援 lower-precision MXFP6 和 MXFP4,加上針對常見 8-bit 與 16-bit formats 的 sparsity acceleration。AMD 宣稱約 2,299 TFLOPS,在 MXFP4 下 peak TFLOPS 可達 4,600。這種數字是給 serious inference workloads 用的,不是 gaming PCs 或一般 creator rigs。

耗電依然是 server-class 等級。MI350P 的 total board power rating 是 600W,使用 16-pin connector,據說也可設定降到 450W。卡長 10.5 吋,也就是 267mm,並採用 passive cooling,所以這是給真正有 server airflow 的環境用的 —— 不是你普通玻璃側透 desktop build,bro。

對 SEA 企業來說,最有趣的部分是 PCIe form factor。很多區域公司都想要 AI capability,但要建新的 high-density infrastructure 又痛又貴。一張可以插進現有相容伺服器的 PCIe accelerator,能給 IT teams 一條更實際的升級路線。對已經在跑 on-prem data rooms 的 Malaysia 公司來說,這可能比第一天就買進大型 proprietary AI systems 更現實。

AMD 把 MI350P 定位為 NVIDIA H200 NVL 的競爭對手,後者同樣是 PCIe accelerator,並搭載 141GB HBM3E。Wccftech 指出 H200 NVL cards 價格約 US$30,000 到 US$40,000,換算大概是 RM140,000 到 RM190,000,還未包含稅、運費、support 和本地 enterprise markup。所以 yeah,這完全不是 remotely consumer-level 的價錢。

AMD 表示 MI350P 現已透過多個 partners 供貨。它也支援 AMD ROCm platform,以及 enterprise-ready AI software stack,這點很重要,因為 AI deployments 不是只有 hardware 就夠。Ecosystem、developer tools 和長期 software support,才會決定企業最後會不會真正採用它。

對 gamers 來說,這不會直接提升你的 FPS。但對更大的 tech scene 來說,它很重要,因為 AI infrastructure 正變成每件事的一部分 —— cloud gaming services、content tools、customer support、esports analytics、game testing,甚至 moderation systems。如果 AMD 能讓 AI acceleration 更容易部署在一般伺服器裡,更多區域公司也許就能在不需要 hyperscaler-level 預算的情況下,取得 serious AI compute。

來源:Wccftech Gaming

标签

AMDAI GPUInstinct MI350PROCm