0G a China Mobile úspěšně trénovaly model umělé inteligence se 107 miliardami parametrů pomocí decentralizované infrastruktury, což je poprvé, kdy byl model překračující 100 miliard parametrů vytvořen bez spoléhání se na jediné centralizované datové centrum.
Proražení hranice 100 miliard parametrů
Model se 107 miliardami parametrů jej řadí mezi největší systémy AI, které kdy byly vytvořeny, ale klíčový rozdíl spočívá v tom, jak byl trénován. Místo sdružování tisíců GPU na jednom místě 0G a China Mobile rozdělily výpočetní práci do sítě nezávislých uzlů. Tento přístup byl dlouho považován za potenciální způsob, jak snížit náklady na hardware a vyhnout se energetickým a chladicím nárokům masivních serverových farem, ale škálování přes hranici 100 miliard parametrů zůstávalo až dosud nedosažitelné.
Jak funguje decentralizované trénování
Decentralizované trénování AI rozděluje vrstvy a data modelu mezi mnoho strojů, které spolu komunikují přes internet. Výzvou je udržet tyto stroje synchronizované – i nepatrné zpoždění nebo ztráta spojení může celý proces narušit. Společnosti nezveřejnily přesnou konfiguraci uzlů ani dobu trénování, ale tento milník naznačuje, že vyřešily komunikační úzké místo, které dříve omezovalo decentralizované modely na menší velikosti.
Co to znamená pro průmysl
Většina velkých modelů – včetně OpenAI GPT-4 a Google Gemini – se trénuje v centralizovaných clusterech, jejichž vybudování a provoz stojí stovky milionů dolarů. Decentralizovaná alternativa by mohla snížit bariéru pro menší společnosti a výzkumné laboratoře, které si nemohou dovolit vlastní superpočítače. China Mobile, jeden z největších světových telekomunikačních operátorů, poskytuje síťovou infrastrukturu, která mohla pomoci koordinovat distribuované trénování. 0G, poskytovatel infrastruktury zaměřené na blockchain, přispěl svými odbornými znalostmi v oblasti decentralizovaných výpočetních sítí.
Okamžitou otázkou je, zda lze tento model replikovat nebo vylepšit. Ani 0G, ani China Mobile neoznámily plány na open-source model nebo zveřejnění benchmarků výkonu. Bez těchto testů není jasné, jak si model se 107 miliardami parametrů stojí v porovnání s centralizovanými modely podobné velikosti v úlohách, jako je uvažování nebo generování jazyka. Dalším krokem pro obě společnosti – a pro širší komunitu decentralizované AI – bude prokázat, že tento přístup funguje nejen v jediném experimentu, ale spolehlivě a v ještě větším měřítku.
