0G dan China Mobile telah berjaya melatih model kecerdasan buatan dengan 107 bilion parameter menggunakan infrastruktur terdesentralisasi, menandakan kali pertama model yang melebihi 100 bilion parameter dibina tanpa bergantung pada satu pusat data berpusat.
Memecahkan siling 100 bilion parameter
107 bilion parameter model itu meletakkannya antara sistem AI terbesar yang pernah dicipta, tetapi perbezaan utama adalah bagaimana ia dilatih. Daripada mengumpulkan ribuan GPU di satu lokasi, 0G dan China Mobile mengagihkan kerja pengiraan merentasi rangkaian nod bebas. Pendekatan itu lama dilihat sebagai cara yang berpotensi untuk mengurangkan kos perkakasan dan mengelakkan permintaan tenaga dan penyejukan ladang pelayan yang besar, tetapi penskalaan melepasi tanda 100 bilion parameter masih sukar dicapai sehingga kini.
Bagaimana latihan terdesentralisasi berfungsi
Latihan AI terdesentralisasi membahagikan lapisan dan data model merentasi banyak mesin yang berkomunikasi melalui internet. Cabarannya adalah memastikan mesin-mesin tersebut disegerakkan — walaupun sedikit kelewatan atau sambungan terputus boleh menggagalkan keseluruhan proses. Syarikat-syarikat itu tidak mendedahkan konfigurasi tepat nod atau tempoh latihan, tetapi pencapaian itu menunjukkan mereka menyelesaikan kesesakan komunikasi yang sebelum ini mengehadkan model terdesentralisasi kepada saiz yang lebih kecil.
Apa maksudnya untuk industri
Kebanyakan model besar — termasuk GPT-4 OpenAI dan Gemini Google — dilatih dalam kelompok berpusat yang menelan kos ratusan juta dolar untuk dibina dan dijalankan. Alternatif terdesentralisasi boleh menurunkan halangan untuk syarikat kecil dan makmal penyelidikan yang tidak mampu membeli superkomputer sendiri. China Mobile, salah satu pengendali telekom terbesar di dunia, menyediakan infrastruktur rangkaian yang mungkin membantu menyelaraskan latihan teragih. 0G, penyedia infrastruktur yang fokus pada blockchain, menyumbang kepakarannya dalam rangkaian pengkomputeran terdesentralisasi.
Persoalan segera adalah sama ada model ini boleh ditiru atau diperbaiki. 0G mahupun China Mobile tidak mengumumkan rancangan untuk menjadikan model itu sumber terbuka atau mengeluarkan penanda aras prestasi. Tanpa ujian tersebut, tidak jelas bagaimana model 107 bilion parameter itu dibandingkan dengan model berpusat yang bersaiz sama dalam tugas seperti pemikiran atau penjanaan bahasa. Langkah seterusnya untuk kedua-dua syarikat — dan untuk komuniti AI terdesentralisasi yang lebih luas — adalah membuktikan bahawa pendekatan itu berfungsi bukan sahaja dalam satu eksperimen, tetapi secara boleh dipercayai dan pada skala yang lebih besar.
