Perplexity har startet med å betjene Qwen3 235B-modeller på Nvidia GB200-rakker, en handling som gir betydelige forbedringer i inferensytelse. Denne utrullingen, først rapportert av Crypto Briefing, understreker Nvidias fortsatte ledelse innen AI-hardware og kan endre konkurransedynamikken for servering av store modeller.
Inferensgevinster på GB200
Overskiftingen til GB200-rakker gir Perplexity en merkbar økning i hastigheten for å kjøre den 235-milliarder-parametret Qwen3-modellen. Inferens gjennomstrømning og latens har begge blitt forbedret, selv om selskapet ikke har offentliggjort spesifikke målinger. Gevinstene kommer fra den tette integreringen av Nvidias Grace CPU og Blackwell GPU, som reduserer flaskehalser i dataoverføring.
Nvidias hardware-forspring
Denne utrullingen er et nytt eksempel på at Nvidia tar ledelsen i AI-chip-konkurransen. GB200-rakker er designet for akkurat slike arbeidsbelastninger med høye parametere, og Perplexitys valg tyder på at hardwaren leverer der det teller. Konkurrenter som AMD og Intel står overfor en kamp for å matche den ytelsen i større skala.
Akselererer modellutrullering
Med bedre inferens kan Perplexity utrullere oppdateringer og nye modeller raskere. Qwen3 235B er en tett, kraftig modell, og å kjøre den effektivt betyr kortere tid mellom trening og produksjon. Denne hastigheten er viktig når løpet om å utrullere stadig større språkmodeller blir mer intensivt.
Denne handlingen kan presse andre inferensleverandører til å oppgradere sin hardware eller risikere å falle bak. Hvis Perplexity beholder dette forspranget, kan det tiltrekke seg flere AI-utviklere som trenger høy gjennomstrømning og lav latens. De neste månedene vil vise om konkurrenter kan lukke avstanden eller om Nvidias GB200 blir den de facto standarden for tunge modeller.
