Dua platform perkakasan baharu menyasarkan permintaan pengkomputeran yang melampau bagi model AI berparameter trilion. Platform Vera Rubin daripada NVIDIA dan seni bina 3 LPX daripada Groq bersama-sama menjanjikan peningkatan kecekapan sebanyak 35 kali ganda, menurut syarikat-syarikat tersebut. Pengumuman ini dibuat ketika pemaju menolak saiz model jauh melebihi apa yang boleh dikendalikan oleh infrastruktur semasa dengan kos yang murah.
Masalah penskalaan
Melatih model dengan parameter trilion memerlukan lebar jalur memori dan kelajuan sambungan antara nod yang besar. Sistem hari ini sering menghadapi kesesakan yang menjadikan sesi latihan sebagai projek berbulan-bulan lamanya. Platform Vera Rubin dan Groq 3 LPX masing-masing direka untuk menyelesaikan bahagian yang berbeza dalam persamaan tersebut. Pendekatan NVIDIA memberi tumpuan kepada kelompok pengkomputeran padat, manakala barisan LPX Groq menyasarkan pelaksanaan deterministik dengan kependaman rendah. Secara gabungan, kedua-duanya mendakwa dapat mengurangkan penggunaan tenaga dan masa latihan sebanyak faktor 35.
Maksud angka 35x
Angka kecekapan itu bukan satu penanda aras tunggal, tetapi unjuran penambahbaikan di peringkat sistem—daripada seni bina cip kepada pergerakan data. Untuk model berparameter trilion, peningkatan 35x boleh mengubah kitaran latihan setahun menjadi beberapa minggu sahaja. Tiada syarikat yang telah mengeluarkan keputusan ujian bebas lagi, tetapi kedua-duanya merujuk kepada pilihan seni bina yang mengurangkan kitaran terbuang dan trafik memori. Platform Vera Rubin menggunakan fabrik sambungan baharu, manakala Groq 3 LPX bergantung pada model pelaksanaan deterministik yang mengelakkan overhed cache tradisional.
Mengapa masa penting
Desakan ini datang ketika model bahasa besar dan sistem AI multimodal secara rutin melepasi tanda seratus bilion parameter. Model berparameter trilion dilihat secara meluas sebagai sempadan seterusnya, tetapi penggunaan praktikalnya terhalang oleh kos. Pengeluar perkakasan berlumba-lumba untuk menyampaikan penyelesaian yang menjadikan model tersebut berdaya maju dari segi ekonomi. NVIDIA dan Groq menangani masalah yang sama dari sudut yang berbeza, dan tuntutan 35x adalah satu penanda aras untuk kedua-duanya.
Tiada syarikat yang telah mengumumkan tarikh ketersediaan umum untuk platform Vera Rubin atau Groq 3 LPX. Sistem beta dijangka sampai kepada rakan kongsi terpilih pada tahun ini. Ujian sebenar akan berlaku apabila makmal bebas dan penyedia awan menguji perkakasan tersebut dengan beban kerja parameter trilion sebenar. Sehingga itu, angka 35x kekal sebagai janji yang menunggu bukti.
