Anyscale выпустила новые панели кластера и актора для своей распределенной вычислительной платформы Ray. Эти инструменты обеспечивают полное постоянное хранение данных и расширенные возможности отладки для разработчиков, создающих AI-нагрузки, работающие на кластерах.
Почему постоянное хранение данных важно для распределенного ИИ
В распределенных системах отслеживание событий на тысячах узлов может превратиться в кошмар. Логи теряются, метрики исчезают. Anyscale утверждает, что новые панели решают эту проблему, сохраняя данные — не только в памяти, но и на диске. Это означает, что разработчики могут вернуться и изучить состояние кластера или актора спустя часы или дни, вместо того чтобы пытаться поймать мимолетную ошибку в реальном времени.
Подробнее о панелях кластера и актора
Панель кластера предоставляет общий обзор всего кластера Ray: сколько узлов активно, какие ресурсы они используют и где находятся в очереди задачи. Панель актора фокусируется на отдельных акторах — легковесных процессах, выполняющих задачи в распределенных AI-процессах. Обе панели теперь обеспечивают полное постоянное хранение данных, поэтому информация сохраняется даже после завершения задачи.
Anyscale также акцентирует внимание на отладке. Когда что-то идет не так в распределенном обучении или цикле обучения с подкреплением, часто бывает сложно определить причину. Постоянные панели позволяют разработчикам воспроизводить хронологию событий — как видеорегистратор для распределенных систем.
Что это значит для пользователей Ray
Ray уже широко используется для конвейеров машинного обучения, предоставления моделей и крупномасштабных симуляций. Новые панели направлены на сокращение времени, которое инженеры тратят на поиск ошибок. Вместо того чтобы собирать логи с десятков машин, они могут открыть единую панель, отображающую изменения состояния акторов на протяжении всего жизненного цикла задачи.
Это важно для команд, запускающих сложные AI-нагрузки. С постоянным хранением данных они могут выявлять узкие места, обнаруживать неудачные задачи и анализировать использование ресурсов без необходимости перестраивать инфраструктуру для каждого нового эксперимента.
Обновление Anyscale появляется, когда все больше организаций внедряют Ray для production AI. Новые панели доступны уже сейчас, и компания заявляет, что они являются частью более широкой инициативы по упрощению распределенных вычислений для разработчиков, не являющихся экспертами в системах.
