¿Qué es la arquitectura Decoupled DiLoCo?
Google anunció hoy el lanzamiento de su arquitectura Decoupled DiLoCo, un nuevo marco diseñado para acelerar el entrenamiento distribuido de modelos de IA en múltiples centros de datos. Al separar la gestión de datos de la orquestación de cómputo, el sistema puede procesar cargas de trabajo a gran escala más rápidamente, al tiempo que mantiene la canalización de entrenamiento resiliente a fallos de hardware o interrupciones de red.
Ganancias de velocidad que importan
Los primeros benchmarks indican que el diseño Decoupled DiLoCo puede reducir los ciclos de entrenamiento hasta en un 30 % en comparación con las configuraciones monolíticas anteriores de Google. Para un modelo que normalmente requiere 100 horas de GPU, el nuevo enfoque podría recortar aproximadamente 30 horas, lo que se traduce en millones de dólares ahorrados para las empresas que ejecutan miles de experimentos al año.
