El sistema NVIDIA GB200 NVL72 ahora integra la programación consciente de la topología de Slurm para manejar cargas de trabajo de IA con rendimiento a escala exa. Esta medida responde a la creciente necesidad de una asignación eficiente de recursos en enormes clústeres de entrenamiento de IA.
Por qué la topología es importante para la IA
El planificador de Slurm tiene en cuenta la disposición física de los nodos de cómputo y los enlaces de red. Para un sistema denso de GPU como el GB200 NVL72, esto significa que los trabajos se colocan para minimizar la latencia de comunicación entre las GPU. La programación consciente de la topología reduce los cuellos de botella al entrenar modelos distribuidos en cientos o miles de aceleradores. Este enfoque ayuda a evitar situaciones en las que las GPU de un trabajo están dispersas en diferentes conmutadores o nodos distantes, lo que puede detener las transferencias de datos.
Desbloqueando el rendimiento a escala exa
Al combinar la programación de Slurm con la arquitectura del GB200 NVL72, NVIDIA afirma que el sistema puede alcanzar un rendimiento a escala exa (operando a 10^18 operaciones de punto flotante por segundo). Esa escala suele estar reservada para los superordenadores más grandes. Para la IA, esto significa ciclos de entrenamiento más rápidos para modelos que exigen una enorme capacidad de cómputo. La combinación también mejora la eficiencia energética al concentrar más trabajo en menos nodos y reducir el tiempo de inactividad.
NVIDIA no ha anunciado plazos específicos de implementación para el GB200 NVL72 con integración de Slurm. Se espera que la compañía demuestre la configuración en próximas conferencias de HPC, aunque no se han confirmado fechas. Los investigadores y proveedores de nube que ejecutan trabajos de IA a gran escala estarán atentos a los puntos de referencia que muestren ganancias reales sobre los métodos de programación existentes.
