NVIDIA 仍然是 AI GPU 的大佬，但 Evercore ISI 的一份新報告顯示，data centre 裡面的討論正在快速改變。
根據分析師說法，AI 工程師已經不只是照單全收 NVIDIA 一貫的效能效率論點。公司 CEO Jensen Huang 多次以相較競爭對手更好的 performance 和 efficiency，來捍衛 NVIDIA 的高端定價。但 Evercore 表示，工程師現在更關注那些沒那麼華麗、但非常現實的成本：耗電量、散熱、utilisation、總持有成本，以及 cost-per-token。
最後這一點很重要。隨著 AI 工作負載從繁重的 model training 轉向 inference——也就是模型真正生成答案、圖片、code 或摘要的部分——買家開始用不同方式評估晶片。他們不再只問哪個硬體 raw throughput 最大，而是會問：生成一百萬個 tokens 到底要花多少錢？
對 Malaysia 和 SEA 來說，這不只是什麼 Wall Street GPU drama。如果 cloud providers、AI startups 和 enterprise platforms 能降低 inference 成本，最終可能會影響本地企業、creators、developers 和 game studios 使用的 AI 工具價格。更便宜的 backend compute，可能代表 app 裡的 AI features 更負擔得起、本地服務更快，或區域內打造 AI 產品的公司成本更低。
這場辯論出現之前，Morgan Stanley 據稱曾指出，用 NVIDIA Blackwell GPUs 建造的 data centre，成本可能是使用客製化 AI 晶片的兩倍，但 Blackwell 可能提供高達八倍的每瓦效能。紙面上來看，這對 NVIDIA 是很強的防守論點。
Evercore 的看法更複雜。它的調查顯示，許多 AI 工程師並不完全相信那些 headline performance claims，尤其是在 NVIDIA 的高利潤被視為過高的情況下。報告指出，市場轉向 inference，正在把購買標準從最大 bandwidth 和 throughput，改成 cost-per-token、電力、散熱、utilisation 和 total cost of ownership。
簡單講：如果客製化 ASIC、AMD accelerator、Google TPU、Amazon Trainium、Microsoft Maia 或其他 “good enough” 晶片，可以用更低成本跑 inference，一些買家可能會選擇經濟效益，而不是 NVIDIA 的 peak performance。Memang practical lah——data centre operators 才不在乎 benchmark charts flex 得多漂亮，如果電費和散熱帳單 sakit。
Evercore 也引用了 AI infrastructure provider Nebius 一位專家的說法，指 inference 需求最高可佔 enterprise workload use cases 的 95%。該專家也提到，在某些情況下 Groq chips 因為 throughput 更高而更受青睞。
Evercore 更大的警告是，隨著替代方案進步，NVIDIA 在 inference 工作負載中的佔比可能到 2028 年降至約 50%。這不代表 NVIDIA 突然完蛋——差很遠。公司仍然擁有讓它成為 AI infrastructure 預設選擇的 ecosystem、software stack 和 hardware lead。
但市場正在成熟。訓練巨大模型是一個 game。以低成本、大規模服務數百萬用戶，又是另一個 game。當 hyperscalers 開始為每一瓦電力、每一組 cooling rack、每一個生成 token 做優化時，custom silicon 就會變得更有吸引力。
這裡沒有涉及消費者 RM pricing，因為這些是 enterprise data centre 晶片，不是 retail GPUs。但 Malaysian tech readers 還是應該密切關注：全球 AI inference 越便宜，AI-powered services 就越快能在我們自己的市場變得普及、負擔得起，而且更有競爭力。
Source: Wccftech Gaming