Zlepšení inference na GB200
Přechod na racky GB200 poskytuje Perplexity znatelné zrychlení při spouštění modelu Qwen3 s 235 miliardami parametrů. Propustnost inference i latence se zlepšily, ačkoli společnost nezveřejnila konkrétní benchmarky. Zisky plynou z těsné integrace procesoru Grace a GPU Blackwell od Nvidie, která snižuje úzká místa přenosu dat.
Hardwarová výhoda Nvidie
Toto nasazení je dalším příkladem toho, jak Nvidia získává náskok v závodě AI čipů. Racky GB200 jsou navrženy přesně pro tento typ úloh s vysokým počtem parametrů a volba Per
