Perplexity ha comenzado a desplegar modelos Qwen3 235B en racks Nvidia GB200, una medida que proporciona importantes mejoras en el rendimiento de inferencia. El despliegue, reportado inicialmente por Crypto Briefing, subraya el liderazgo continuo de Nvidia en hardware de IA y podría cambiar la dinámica competitiva en el servicio de modelos de gran tamaño.
Mejoras en inferencia con GB200
El cambio a racks GB200 proporciona a Perplexity una mejora notable en la velocidad con la que puede ejecutar el modelo Qwen3 de 235 mil millones de parámetros. Tanto el rendimiento de inferencia como la latencia han mejorado, aunque la empresa no ha publicado métricas específicas. Los avances provienen de la estrecha integración de la CPU Grace y la GPU Blackwell de Nvidia, que reduce los cuellos de botella en la transferencia de datos.
Ventaja de hardware de Nvidia
Este despliegue es otro ejemplo de cómo Nvidia se adelanta en la carrera de chips de IA. Los racks GB200 están diseñados específicamente para este tipo de cargas de trabajo de alto número de parámetros, y la elección de Perplexity sugiere que el hardware cumple donde más importa. Competidores como AMD e Intel enfrentan un desafío para igualar ese rendimiento a escala.
Aceleración del despliegue de modelos
Con una mejor inferencia, Perplexity puede implementar actualizaciones y nuevos modelos más rápidamente. El Qwen3 235B es un modelo denso y potente, y ejecutarlo de manera eficiente significa menos tiempo entre el entrenamiento y la producción. Esta velocidad es crucial a medida que se intensifica la competencia por desplegar modelos de lenguaje cada vez más grandes.
La medida podría presionar a otros proveedores de inferencia a actualizar su hardware o arriesgarse a quedarse atrás. Si Perplexity mantiene esta ventaja, podría atraer a más desarrolladores de IA que necesiten un servicio de alto rendimiento y baja latencia. Los próximos meses mostrarán si los competidores pueden reducir la brecha o si el GB200 de Nvidia se convierte en el estándar de facto para modelos pesados.
