To nye hardwareplatforme tager sigte på de brutale beregningskrav fra AI-modeller med trillioner af parametre. NVIDIAs Vera Rubin-platform og Groqs 3 LPX-arkitektur lover tilsammen en 35x effektivitetsforøgelse, ifølge virksomhederne. Meddelelsen kommer, mens udviklere presser modelstørrelser langt ud over, hvad nuværende infrastruktur kan håndtere billigt.
Opskaleringsproblemet
At træne en model med trillioner af parametre kræver enorm hukommelsesbåndbredde og forbindelseshastighed. Dagens systemer støder ofte på flaskehalse, der gør træningsforløb til projekter, der varer flere måneder. Vera Rubin-platformen og Groq 3 LPX er hver især designet til at løse forskellige dele af den ligning. NVIDIAs tilgang fokuserer på tætte computerklynger, mens Groqs LPX-serie retter sig mod deterministisk lav-latens eksekvering. Tilsammen hævder de at reducere energiforbrug og træningstid med en faktor 35.
Hvad 35x-tallet betyder
Effektivitetstallet er ikke en enkelt benchmark, men en fremskrivning af forbedringer på systemniveau – fra chiparkitektur til databevægelse. For en model med trillioner af parametre kan en 35x forbedring omdanne en træningscyklus på et år til et spørgsmål om uger. Ingen af virksomhederne har offentliggjort uafhængige testresultater endnu, men begge peger på arkitektoniske valg, der reducerer spildte cyklusser og hukommelsestrafik. Vera Rubin-platformen bruger et nyt forbindelsesnetværk, og Groq 3 LPX er afhængig af en deterministisk eksekveringsmodel, der undgår traditionel cache-overhead.
Hvorfor timing er vigtig
Presset kommer, mens store sprogmodeller og multimodale AI-systemer rutinemæssigt krydser grænsen på hundrede milliarder parametre. Modeller med trillioner af parametre anses bredt for at være den næste grænse, men deres praktiske udrulning er bremset af omkostninger. Hardwareproducenter kappes om at levere løsninger, der gør disse modeller økonomisk levedygtige. NVIDIA og Groq går efter det samme problem fra forskellige vinkler, og 35x-påstanden er et pejlemærke for begge.
Ingen af virksomhederne har annonceret generelle tilgængelighedsdatoer for Vera Rubin-platformen eller Groq 3 LPX. Betasystemer forventes at nå udvalgte partnere senere i år. Den virkelige test kommer, når uafhængige laboratorier og cloud-udbydere sætter hardwaren igennem med faktiske arbejdsmængder på trillioner af parametre. Indtil da forbliver 35x-tallet et løfte, der venter på bevis.
