NVIDIA masih boss besar dalam dunia AI GPUs, tapi nota baharu daripada Evercore ISI menunjukkan perbualan dalam data centres sedang berubah dengan cepat.
Menurut analysts itu, AI engineers bukan sekadar menerima hujah performance-efficiency biasa daripada NVIDIA. CEO syarikat itu, Jensen Huang, berulang kali mempertahankan harga premium NVIDIA dengan menunjuk kepada performance dan efficiency yang lebih baik berbanding pesaing. Tapi Evercore kata engineers kini lebih memberi perhatian kepada kos yang kurang glamour tapi sangat real: penggunaan kuasa, cooling, utilisation, total ownership cost dan cost-per-token.
Yang terakhir itu memang penting. Apabila AI workloads beralih daripada training model berat kepada inference — bahagian di mana model sebenarnya menjana jawapan, imej, code atau summary — pembeli mula menilai chip dengan cara berbeza. Mereka bukan hanya tanya hardware mana ada raw throughput paling besar, tapi mula tanya: berapa kos untuk menjana sejuta tokens?
Untuk Malaysia dan SEA, ini bukan sekadar drama GPU Wall Street. Jika cloud providers, AI startups dan enterprise platforms boleh menurunkan kos inference, ia mungkin akhirnya mempengaruhi harga AI tools yang digunakan oleh bisnes tempatan, creators, developers dan game studios. Backend compute yang lebih murah boleh bermaksud AI features dalam apps jadi lebih mampu milik, local services lebih laju, atau kos lebih rendah untuk syarikat yang membina produk AI di rantau ini.
Perdebatan ini muncul selepas Morgan Stanley dilaporkan berhujah bahawa data centre yang dibina dengan NVIDIA Blackwell GPUs boleh menelan kos dua kali ganda berbanding yang menggunakan custom AI chips, tetapi Blackwell mungkin memberikan performance per watt sehingga lapan kali lebih baik. Atas kertas, itu nampak macam pertahanan kuat untuk NVIDIA.
Pandangan Evercore pula lebih rumit. Semakannya mencadangkan ramai AI engineers masih belum sepenuhnya yakin dengan dakwaan performance headline, terutamanya apabila margin tinggi NVIDIA dilihat terlalu melampau. Nota itu berkata peralihan market ke arah inference sedang mengubah kriteria pembelian daripada maximum bandwidth dan throughput kepada cost-per-token, power, cooling, utilisation dan total cost of ownership.
Dalam bahasa mudah: jika custom ASIC, AMD accelerator, Google TPU, Amazon Trainium, Microsoft Maia atau chip lain yang “good enough” boleh menjalankan inference pada kos lebih rendah, sesetengah pembeli mungkin memilih economics berbanding peak NVIDIA performance. Memang practical lah — data centre operators tak kisah nak flex benchmark charts kalau bil elektrik dan cooling sakit.
Evercore juga memetik komen daripada seorang expert di AI infrastructure provider Nebius, yang berkata demand inference boleh merangkumi sebanyak 95% daripada enterprise workload use cases. Expert itu juga menunjuk kepada Groq chips yang menjadi pilihan dalam sesetengah kes kerana throughput lebih tinggi.
Amaran lebih besar daripada Evercore ialah share NVIDIA dalam inference workloads boleh jatuh kepada sekitar 50% menjelang 2028 apabila alternatives semakin baik. Itu tidak bermaksud NVIDIA tiba-tiba habis cerita — jauh sekali. Syarikat itu masih ada ecosystem, software stack dan hardware lead yang menjadikannya pilihan default untuk AI infrastructure.
Tapi market sedang matang. Training model gergasi ialah satu game. Menjalankannya dengan murah pada skala besar untuk berjuta-juta pengguna ialah game lain. Dan apabila hyperscalers mula optimize setiap watt, setiap cooling rack dan setiap generated token, custom silicon menjadi jauh lebih menggoda.
Tiada pricing RM consumer terlibat di sini, kerana ini ialah enterprise data centre chips dan bukannya retail GPUs. Tapi pembaca tech Malaysia tetap patut pantau benda ini rapat-rapat: semakin murah AI inference di peringkat global, semakin cepat AI-powered services boleh menjadi normal, mampu milik dan kompetitif dalam market kita sendiri.
Source: Wccftech Gaming