Společnost Anyscale vydala nové dashboardy Cluster a Actor pro svůj distribuovaný výpočetní framework Ray. Tyto nástroje slibují plnou perzistenci dat a vylepšené možnosti ladění pro vývojáře, kteří vytvářejí AI úlohy běžící napříč clustery.
Proč je perzistence důležitá pro distribuovanou AI
V distribuovaných systémech může být sledování toho, co se děje napříč tisíci uzly, noční můrou. Logy se ztrácejí, metriky mizí. Anyscale tvrdí, že nové dashboardy to řeší tím, že data uchovávají – nejen v paměti, ale trvale na disku. To znamená, že vývojáři se mohou vrátit a prozkoumat stav clusteru nebo actoru o hodiny či dny později, místo aby se snažili zachytit prchavou chybu v reálném čase.
Podrobnější pohled na dashboardy Cluster a Actor
Dashboard Cluster poskytuje přehled o celém clusteru Ray: kolik uzlů je aktivních, jaké zdroje využívají a kde čekají úlohy na zpracování. Dashboard Actor se zaměřuje na jednotlivé actory – lehké procesy, které vykonávají práci v distribuovaných AI úlohách. Oba dashboardy nyní nabízejí plnou perzistenci dat, takže informace zůstanou zachovány i po dokončení úlohy.
Anyscale také zdůraznil aspekt ladění. Když se něco pokazí v distribuovaném tréninku nebo smyčce posilovaného učení, je často obtížné určit příčinu. Perzistentní dashboardy umožňují vývojářům přehrát časovou osu událostí – jako DVR pro distribuované systémy.
Co to znamená pro uživatele Ray
Ray je již oblíbený pro pipeline strojového učení, nasazování modelů a rozsáhlé simulace. Nové dashboardy mají zkrátit čas, který inženýři tráví hledáním chyb. Místo skládání logů z desítek strojů mohou otevřít jediný dashboard, který zobrazuje změny stavu actorů v celém životním cyklu úlohy.
To je velký krok pro týmy pracující se složitými AI úlohami. S trvalými daty mohou identifikovat úzká místa, najít neúspěšné úlohy a pochopit vzorce využití zdrojů, aniž by museli pro každý nový experiment přestavovat infrastrukturu.
Aktualizace od Anyscale přichází v době, kdy stále více organizací přijímá Ray pro produkční AI. Nové dashboardy jsou nyní k dispozici a společnost uvádí, že jsou součástí širší snahy usnadnit distribuované výpočty vývojářům, kteří nejsou odborníky na systémy.
