Twee nieuwe hardwareplatforms richten zich op de extreme rekenbehoeften van AI-modellen met een biljoen parameters. Het Vera Rubin-platform van NVIDIA en de 3 LPX-architectuur van Groq beloven samen een gecombineerde efficiëntiewinst van 35x, aldus de bedrijven. De aankondiging komt op een moment dat ontwikkelaars modelgroottes ver voorbij duwen wat de huidige infrastructuur goedkoop aankan.
Het opschalingsprobleem
Het trainen van een model met een biljoen parameters vereist enorme geheugenbandbreedte en interconnectiesnelheid. Huidige systemen hebben vaak te maken met knelpunten die trainingsruns transformeren tot projecten van meerdere maanden. Het Vera Rubin-platform en Groq 3 LPX zijn elk ontworpen om verschillende delen van die vergelijking op te lossen. De aanpak van NVIDIA richt zich op dichte rekenclusters, terwijl de LPX-lijn van Groq zich richt op deterministische uitvoering met lage latentie. Gecombineerd beweren de twee het energieverbruik en de trainingstijd met een factor 35 te verminderen.
Wat het getal 35x betekent
Het efficiëntiecijfer is geen enkele benchmark, maar een projectie van verbeteringen op systeemniveau – van chiparchitectuur tot datatransport. Voor een model met een biljoen parameters kan een winst van 35x een trainingscyclus van een jaar terugbrengen tot enkele weken. Geen van beide bedrijven heeft nog onafhankelijke testresultaten gepubliceerd, maar beide wijzen op architectuurkeuzes die verspilde cycli en geheugenverkeer verminderen. Het Vera Rubin-platform gebruikt een nieuwe interconnectiestructuur, en de Groq 3 LPX vertrouwt op een deterministisch uitvoeringsmodel dat de traditionele overhead van caches vermijdt.
Waarom timing belangrijk is
Deze push komt terwijl grote taalmodellen en multimodale AI-systemen routinematig de grens van honderd miljard parameters overschrijden. Modellen met een biljoen parameters worden algemeen beschouwd als de volgende grens, maar hun praktische inzet wordt belemmerd door kosten. Hardwarefabrikanten racen om oplossingen te leveren die die modellen economisch haalbaar maken. NVIDIA en Groq pakken hetzelfde probleem aan vanuit verschillende invalshoeken, en de 35x-claim is een markeringspunt voor beide.
Geen van beide bedrijven heeft algemene beschikbaarheidsdata aangekondigd voor het Vera Rubin-platform of de Groq 3 LPX. Bètasystemen worden later dit jaar verwacht bij geselecteerde partners. De echte test komt wanneer onafhankelijke laboratoria en cloudproviders de hardware aan de tand voelen met echte workloads van een biljoen parameters. Tot die tijd blijft het getal 35x een belofte die nog bewezen moet worden.
