O que é a Arquitetura DiLoCo Desacoplada?
A Google anunciou hoje o lançamento de sua arquitetura DiLoCo Desacoplada, um novo framework projetado para acelerar o treinamento distribuído de modelos de IA em múltiplos data centers. Ao separar o gerenciamento de dados da orquestração de computação, o sistema pode processar cargas de trabalho em grande escala mais rapidamente, mantendo a pipeline de treinamento resiliente a falhas de hardware ou interrupções de rede.
Ganhos de Velocidade que Importam
Os primeiros benchmarks indicam que o design DiLoCo Desacoplado pode reduzir os ciclos de treinamento em até 30 % em comparação com as configurações monolíticas anteriores da Google. Para um modelo que normalmente requer 100 horas de tempo de GPU, a nova abordagem poderia economizar cerca de 30 horas, o que se traduz em milhões de dólares economizados para empresas que executam milhares de experimentos anualmente.
Resiliência Incorporada ao Núcleo
Um dos benefícios mais atraentes é a capacidade da arquitetura de tolerar falhas. Se um rack de servidores ficar
