Masalah penskalaan
Melatih model dengan triliunan parameter membutuhkan bandwidth memori dan kecepatan interkoneksi yang sangat besar. Sistem saat ini sering mengalami hambatan yang mengubah sesi pelatihan menjadi proyek berbulan-bulan. Platform Vera Rubin dan Groq 3 LPX masing-masing dirancang untuk menyelesaikan bagian yang berbeda dari persamaan tersebut. Pendekatan NVIDIA berfokus pada klaster komputasi padat, sementara lini LPX Groq menargetkan eksekusi deterministik dengan latensi rendah. Secara gabungan, keduanya mengklaim dapat memotong penggunaan energi dan waktu pelatihan hingga faktor 35.
Apa arti angka 35x tersebut
Angka efisiensi tersebut bukanlah satu tolok ukur, melainkan proyeksi perbaikan di tingkat sistem—dari arsitektur chip hingga pergerakan data. Untuk model dengan
