Skymizer HTX301 Nak Letak Model AI 700B Dalam Satu Kad PCIe
Skymizer, syarikat hardware dan software AI yang berpangkalan di Taiwan, telah mendedahkan HTX301, kad accelerator AI PCIe yang dibina untuk menjalankan large language model secara on-premises, bukan bergantung pada cluster GPU cloud yang besar.
Claim besar kali ini memang agak liar: Skymizer kata HTX301 boleh handle inference untuk model sehingga 700 bilion parameter pada satu kad PCIe sahaja. Untuk syarikat, lab, dan juga builder AI serantau yang serius, ini boleh jadi benda besar kalau nombor itu betul-betul tahan dalam testing dunia sebenar.
Kad AI lokal dengan memori 384GB
HTX301 direka sebagai kad add-in PCIe, jadi dari segi fizikal ia lebih dekat dengan jenis accelerator yang korang akan slot masuk ke dalam server, bukan rack AI luaran yang gergasi. Menurut Skymizer, setiap board membawa enam cip HTX301 dan memori sehingga 384GB.
Menariknya, kad ini tidak bergantung pada jenis memori mahal seperti HBM, GDDR6, GDDR7, atau LPDDR5X. Sebaliknya, Skymizer menggunakan DRAM LPDDR4 dan LPDDR5 standard. Bunyi mungkin kurang flashy, tapi pitch syarikat ini ialah architecture mereka ditune untuk keperluan bandwidth lebih rendah dan compression yang lebih bijak, bukan brute-force semua benda dengan memory stack paling mahal.
Cip ini dibina atas process 28nm yang lebih lama, menjadikan claim performance ini lebih menarik. Skymizer kata HTX301 boleh capai 30 token sesaat dengan 0.5 TOPS pada bandwidth 100GB/s. Octa-Core LPU mereka juga dikatakan mampu mencapai 240 token sesaat dalam prefill Llama2 7B, sementara konfigurasi multi-chip boleh scale sehingga 1,200 token sesaat untuk model yang sama.
Kenapa ini penting untuk Malaysia dan SEA
Untuk Malaysia dan Asia Tenggara, hardware macam ini memang patut diperhatikan sebab infrastruktur AI semakin menjadi masalah kos yang serius. Bukan semua startup, lab universiti, studio game, atau enterprise lokal mampu menyewa kapasiti GPU cloud premium selama-lamanya. Dan kalau korang berurusan dengan data bisnes private, rekod pelanggan, workload kerajaan, atau tool dalaman, hantar semua benda ke cloud bukan semestinya pilihan terbaik.
Di sinilah on-prem AI jadi menarik. Skymizer memposisikan HTX301 sekitar data sovereignty, latency yang boleh dijangka, dan kos infrastruktur tetap. Dalam bahasa mudah: simpan model AI dalam bilik server sendiri, tahu kos bulanan korang, dan elak bergantung sepenuhnya pada cloud provider.
Untuk studio game SEA, pasukan esports analytics, syarikat localisation, dan platform content, local AI inference akhirnya boleh bermaksud chatbot dalaman yang lebih murah, tool translation, sistem moderation, data analysis, dan automasi player-support. Kita bukan kata semua syarikat Malaysia tiba-tiba akan beli satu kad dan run model 700B esok, tapi arah ini memang penting.
Claim kuasa 240W ini bahagian paling spicy
Spec utama di sini ialah kuasa. Skymizer kata kad HTX301 berjalan pada 240W, iaitu kurang daripada separuh kelas 600W untuk accelerator AI PCIe utama yang disebut dalam sumber, termasuk NVIDIA RTX PRO 6000 Blackwell dan AMD Instinct MI350P.
Untuk Malaysia, power draw bukan sekadar flex atas spec sheet. Wattage lebih rendah bermaksud cooling lebih mudah, kos elektrik lebih rendah, dan kurang pening kepala untuk setup server kecil. Sesiapa yang pernah build atau maintain hardware PC serius dekat sini tahu heat memang musuh, bro. Iklim kita memang tak maafkan sistem cooling yang cincai.
Skymizer juga kata kaedah compression mereka membantu mengurangkan tekanan memori. Weight compression mereka dilaporkan 9% hingga 17.8% lebih baik daripada llama.cpp open-source, sementara KV cache compression dikatakan mengekalkan perplexity loss yang rendah, antara bawah 0.06% hingga 3.52%.
Masih tunggu bukti sebenar
Buat masa ini, ini masih announcement atas kertas. Skymizer merancang untuk preview HTX301 di Computex, di mana soalan sebenar ialah sama ada claim syarikat ini mampu bertahan apabila diperiksa dengan lebih teliti.
Kalau ia berfungsi seperti yang diiklankan, HTX301 boleh menjadikan deployment AI lokal yang serius lebih realistik untuk syarikat kecil yang tidak boleh justify cluster GPU besar. Kalau tidak, ia masih satu tanda ke mana perlumbaan hardware AI sedang menuju: kurang kepada “siapa ada data centre paling besar” dan lebih kepada “siapa boleh run model kuat dengan efisien dalam server biasa.”
Apa pun, ini memang satu benda yang patut diperhatikan, terutama untuk bisnes SEA yang mahu build AI tanpa bakar duit cloud setiap bulan.
Sumber: Wccftech Gaming
