0G och China Mobile har framgångsrikt tränat en AI-modell med 107 miljarder parametrar med hjälp av decentraliserad infrastruktur, vilket markerar första gången en modell med över 100 miljarder parametrar har byggts utan att vara beroende av ett enda centraliserat datacenter.
Bryter barriären på 100 miljarder parametrar
Modellens 107 miljarder parametrar placerar den bland de största AI-system som någonsin skapats, men den avgörande skillnaden är hur den tränades. Istället för att samla tusentals GPU:er på en plats fördelade 0G och China Mobile det beräkningsmässiga arbetet över ett nätverk av oberoende noder. Detta tillvägagångssätt har länge setts som en potentiell väg för att minska hårdvarukostnader och undvika de energi- och kylbehov som massiva serverhallar kräver, men att skalera det förbi 100-miljardersparametermärket har varit svårt fram tills nu.
Så fungerar decentraliserad träning
Decentraliserad AI-träning delar upp modellens lager och data över många maskiner som kommunicerar via internet. Utmaningen är att hålla dessa maskiner synkroniserade – även en liten fördröjning eller bruten anslutning kan störa hela processen. Företagen avslöjade inte den exakta konfigurationen av noder eller träningstiden, men milstolpen tyder på att de löste den kommunikationsflaskhals som tidigare begränsat decentraliserade modeller till mindre storlekar.
Vad detta innebär för branschen
De flesta stora modeller – inklusive OpenAI:s GPT-4 och Google:s Gemini – tränas i centraliserade kluster som kostar hundratals miljoner dollar att bygga och driva. Ett decentraliserat alternativ skulle kunna sänka tröskeln för mindre företag och forskningslaboratorier som inte har råd med egna superdatorer. China Mobile, en av världens största telekomoperatörer, bidrar med nätverksinfrastruktur som kan ha hjälpt till att koordinera den distribuerade träningen. 0G, en blockchain-fokuserad infrastrukturleverantör, bidrog med sin expertis inom decentraliserade beräkningsnätverk.
Den omedelbara frågan är om denna modell kan replikeras eller förbättras. Varken 0G eller China Mobile har annonserat planer på att göra modellen tillgänglig som öppen källkod eller släppa prestandajämförelser. Utan dessa tester är det oklart hur 107-miljardersparametermodellen står sig mot centraliserade modeller av liknande storlek när det gäller uppgifter som resonemang eller språkgenerering. Nästa steg för båda företagen – och för det bredare decentraliserade AI-samhället – blir att bevisa att tillvägagångssättet fungerar inte bara i ett enskilt experiment, utan tillförlitligt och i ännu större skalor.
