0G en China Mobile hebben met succes een AI-model met 107 miljard parameters getraind op een gedecentraliseerde infrastructuur. Dit is de eerste keer dat een model met meer dan 100 miljard parameters is gebouwd zonder afhankelijk te zijn van één enkel gecentraliseerd datacenter.
De 100-miljard-parametergrens doorbroken
Met 107 miljard parameters behoort het model tot de grootste AI-systemen ooit gemaakt, maar het belangrijkste verschil is hoe het is getraind. In plaats van duizenden GPU's op één locatie te bundelen, hebben 0G en China Mobile het rekenwerk verdeeld over een netwerk van onafhankelijke nodes. Deze aanpak werd al langer gezien als een mogelijke manier om hardwarekosten te verlagen en de energie- en koelingsbehoeften van enorme serverparken te vermijden, maar het opschalen voorbij de grens van 100 miljard parameters was tot nu toe niet gelukt.
Hoe gedecentraliseerde training werkt
Bij gedecentraliseerde AI-training worden de lagen en gegevens van het model verdeeld over meerdere machines die via internet communiceren. De uitdaging is om die machines gesynchroniseerd te houden – zelfs een kleine vertraging of verbroken verbinding kan het hele proces verstoren. De bedrijven hebben de exacte configuratie van de nodes of de trainingsduur niet bekendgemaakt, maar deze mijlpaal suggereert dat ze het communicatieknelpunt hebben opgelost dat gedecentraliseerde modellen voorheen beperkte tot kleinere omvang.
Wat dit betekent voor de industrie
De meeste grote modellen – waaronder OpenAI's GPT-4 en Google's Gemini – worden getraind in gecentraliseerde clusters die honderden miljoenen dollars kosten om te bouwen en te laten draaien. Een gedecentraliseerd alternatief kan de drempel verlagen voor kleinere bedrijven en onderzoekslaboratoria die zich geen eigen supercomputers kunnen veroorloven. China Mobile, een van de grootste telecomoperatoren ter wereld, heeft de netwerkinfrastructuur die mogelijk heeft geholpen bij het coördineren van de gedistribueerde training. 0G, een aanbieder van blockchain-gerichte infrastructuur, droeg bij met zijn expertise in gedecentraliseerde computernetwerken.
De directe vraag is of dit model kan worden gerepliceerd of verbeterd. Noch 0G, noch China Mobile heeft plannen aangekondigd om het model open-source te maken of prestatiebenchmarks vrij te geven. Zonder die tests is het onduidelijk hoe het model met 107 miljard parameters presteert in vergelijking met gecentraliseerde modellen van vergelijkbare omvang bij taken zoals redeneren of taalgeneratie. De volgende stap voor beide bedrijven – en voor de bredere gedecentraliseerde AI-gemeenschap – is bewijzen dat de aanpak niet alleen in één enkel experiment werkt, maar betrouwbaar en op nog grotere schaal.
