Компанія Anyscale випустила нові панелі Cluster та Actor для своєї розподіленої обчислювальної платформи Ray. Ці інструменти обіцяють повне збереження даних і розширені можливості налагодження для розробників, які створюють робочі навантаження ШІ, що виконуються на кластерах.
Чому збереження даних важливе для розподіленого ШІ
У розподілених системах відстежувати події на тисячах вузлів може бути справжнім жахом. Журнали губляться, метрики зникають. Anyscale стверджує, що нові панелі вирішують цю проблему, зберігаючи дані — не лише в пам'яті, але й постійно на диску. Це означає, що розробники можуть повернутися та перевірити стан кластера або актора через години чи дні, не намагаючись вловити швидкоплинну помилку в реальному часі.
Детальніше про панелі Cluster та Actor
Панель Cluster надає загальний огляд усього кластера Ray: скільки вузлів працює, які ресурси вони використовують і де стоять завдання в черзі. Панель Actor фокусується на окремих акторах — легких процесах, які виконують роботу в розподілених завданнях ШІ. Обидві панелі тепер пропонують повне збереження даних, тому інформація залишається навіть після завершення завдання.
Anyscale також наголосила на аспекті налагодження. Коли щось йде не так у розподіленому тренуванні або циклі навчання з підкріпленням, часто важко визначити причину. Постійні панелі дозволяють розробникам відтворити хронологію подій — як DVR для розподілених систем.
Що це означає для користувачів Ray
Ray вже популярний для конвеєрів машинного навчання, обслуговування моделей і великомасштабних симуляцій. Нові панелі мають на меті скоротити час, який інженери витрачають на пошук помилок. Замість того, щоб зшивати журнали з десятків машин, вони можуть відкрити єдину панель, яка показує зміни стану акторів протягом усього життєвого циклу завдання.
Це велика перевага для команд, які виконують складні робочі навантаження ШІ. З постійними даними вони можуть виявляти вузькі місця, знаходити невдалі завдання та розуміти шаблони використання ресурсів без необхідності перебудовувати інфраструктуру для кожного нового експерименту.
Оновлення Anyscale відбувається в той час, коли все більше організацій використовують Ray для виробничого ШІ. Нові панелі доступні вже зараз, і компанія каже, що вони є частиною ширшого руху, спрямованого на спрощення розподілених обчислень для розробників, які не є експертами з систем.
