Decoupled DiLoCo Mimarisi Nedir?
Google bugün, birden fazla veri merkezinde dağıtık AI model eğitimini hızlandırmak için tasarlanmış yeni bir çerçeve olan Decoupled DiLoCo mimarisinin lansmanını duyurdu. Veri işleme ile hesaplama orkestrasyonunu ayırarak, sistem büyük ölçekli iş yüklerini daha hızlı bir şekilde itebiliyor ve eğitim hattını donanım arızalarına ya da ağ aksaklıklarına karşı dayanıklı tutuyor.
Önemli Hız Kazançları
Erken benchmark sonuçları, Decoupled DiLoCo tasarımının, Google'ın önceki monolitik yapılarına kıyasla eğitim döngülerini %30'a kadar kısaltabildiğini gösteriyor. Tipik olarak 100 saat GPU süresi gerektiren bir model
