Perplexity har begyndt at betjene Qwen3 235B-modeller på Nvidia GB200-racks, en handling der giver store forbedringer i inferensydelser. Denne implementering, først rapporteret af Crypto Briefing, understreger Nvidias fortsatte ledelse inden for AI-hardware og kan ændre konkurrenceforholdene for betjening af store modeller.
Inferensforbedringer på GB200
Skiftet til GB200-racks giver Perplexity en markant forbedring af, hvor hurtigt de kan køre den 235-milliarder-parameter Qwen3-model. Både inferens gennemstrømning og forsinkelse er forbedret, selvom selskabet ikke har offentliggjort specifikke benchmarks. Forbedringerne skyldes den tætte integration af Nvidias Grace CPU og Blackwell GPU, der reducerer dataoverførselsflaskehalse.
Nvidias hardware-fordele
Denne implementering er endnu et eksempel på, at Nvidia trækker foran i AI-chip-racen. GB200-racks er designet til præcis denne type højparameter-belastninger, og Perplexitys valg tyder på, at hardwaren leverer der, hvor det betyder noget. Konkurrenter som AMD og Intel står over for en vanskelig opgave med at matche denne ydelse i større skala.
Accelereret modelimplementering
Med bedre inferens kan Perplexity lancere opdateringer og nye modeller hurtigere. Qwen3 235B er en tæt, kraftfuld model, og at køre den effektivt betyder kortere tid mellem træning og produktion. Denne hastighed er afgørende, da racen om at implementere stadig større sprogmodeller intensiverer.
Denne beslutning kan presse andre inferensudbydere til at opgradere deres hardware eller risikere at blive tilbage. Hvis Perplexity bibeholder dette fordele, kan det tiltrække flere AI-udviklere, der har brug for høj gennemstrømning og lav forsinkelse. De kommende måneder vil vise, om konkurrenter kan indhente eller om Nvidias GB200 bliver de facto standard for tunge modeller.
