Zyski w wydajności wnioskowania na GB200
Przejście na racki GB200 zapewnia Perplexity zauważalny wzrost szybkości działania modelu Qwen3 o 235 miliardach parametrów. Zarówno przepustowość wnioskowania, jak i opóźnienia uległy poprawie, choć firma nie opublikowała konkretnych benchmarków. Korzyści wynikają ze ścisłej integracji procesora Grace i GPU Blackwell firmy Nvidia, co zmniejsza wąskie gardła w transferze danych.
Przewaga sprzętowa Nvidii
To wdrożenie to kolejny przykład wyprzedzania przez Nvidię w wyścigu chipów AI. Racki GB200 są zaprojektowane właśnie do tego rodzaju obciążeń o dużej liczbie parametrów, a wybór Perplexity sugeruje, że sprzęt spełnia oczekiwania tam, gdzie to ma znaczenie. Konkurenci, tacy jak AMD i Intel, stoją przed trudnym zadaniem, aby dorównać tej wydajności na dużą
