Что такое архитектура Decoupled DiLoCo?
Google сегодня объявил о запуске своей архитектуры Decoupled DiLoCo — новой платформы, предназначенной для ускорения распределённого обучения моделей ИИ в нескольких дата‑центрах. Отделяя обработку данных от оркестрации вычислений, система может быстрее выполнять крупномасштабные задачи, одновременно сохраняя устойчивость конвейера обучения к сбоям оборудования или проблемам сети.
Значительные ускорения
Первые бенчмарки показывают, что дизайн Decoupled DiLoCo может сократить цикл обучения до 30 % по сравнению с предыдущими монолитными решениями Google. Для модели, требующей обычно 100 часов работы GPU, новый подход экономит примерно 30 часов, что превращается в миллионы долларов экономии для компаний, проводящих тысячи экспериментов ежегодно.
Устойчивость, встроенная в ядро
Один из самых убедительных преимуществ — способность архитектуры выдерживать сбои. Если целый стойка серверов выходит из строя, DiLoCo автоматически перенаправляет задачи на здоровые узлы, ограничивая преры
