Together AI выпустила Dedicated Container Inference (DCI) — сервис, который позволяет разработчикам развернуть любую модель из Hugging Face за считанные минуты. Предложение использует инструмент под названием Goose для управления процессом развертывания, а модель Void-Model от Netflix приводится в качестве примера того, что можно развернуть.
Как работает процесс развертывания
DCI построен на контейнеризированном выводе — разработчики упаковывают модель Hugging Face и отправляют её в сервис, где за дело берётся Goose. Goose автоматизирует шаги, необходимые для запуска модели в выделенном контейнере. Together утверждает, что весь процесс занимает минуты, а не часы или дни.
Компания не раскрыла цены или конкретную дату запуска для общего доступа, но первые тестировщики уже используют сервис для запуска таких моделей, как Void-Model от Netflix. Эта модель, которую Netflix опубликовал в открытом доступе на Hugging Face, предназначена для определённой задачи, связанной с видео — точные детали её функционала не раскрываются в анонсе.
Почему Goose важен
Goose — это инструмент, который устраняет разрыв между моделью на Hugging Face и работающим контейнером на инфраструктуре Together. Вместо ручной настройки серверов разработчики указывают Goose на нужную модель, и он берёт на себя всё остальное. Это включает загрузку модели, настройку окружения и предоставление конечной точки.
Для разработчиков, уже работающих с Hugging Face, такая интеграция означает, что они могут пропустить большую часть DevOps-работы. Им не нужно беспокоиться об образах контейнеров, масштабировании или балансировке нагрузки — по крайней мере, теоретически. Together делает ставку на то, что простота привлечёт разработчиков, уставших от борьбы с инфраструктурой развёртывания.
Модель Void-Model от Netflix как демонстрация
Void-Model от Netflix — это не типичный демонстрационный пример: это реальная производственная модель, которую Netflix уже развернул. Сделав её доступной на Hugging Face и показав, что она может работать на DCI, Together пытается доказать, что сервис работает с серьёзными моделями, а не только с игрушечными примерами.
Ни одна из компаний не сообщила, использует ли сама Netflix DCI от Together в производстве. В анонсе Void-Model упоминается лишь как пример того, что может обрабатывать сервис. Это оставляет открытым вопрос, является ли Netflix клиентом или просто поставщиком эталонной модели.
Together не назначила дату выхода сервиса из текущего этапа ограниченного доступа. Разработчики, желающие попробовать DCI, могут запросить доступ через веб-сайт Together. Компания, вероятно, наблюдает за тем, как первые пользователи справляются с конвейером развёртывания, прежде чем открыть шлюзы.
Один из нерешённых вопросов — как DCI сравнивается с другими контейнерными сервисами вывода от конкурентов, таких как Replicate или AWS SageMaker. Together не предоставила в анонсе ни эталонных показателей, ни цен. Пока эти цифры не появятся, разработчикам остаётся судить только по заявлению о скорости — минуты.
