Together AI випустила Dedicated Container Inference (DCI) — сервіс, який дозволяє розробникам розгортати будь-яку модель з Hugging Face за лічені хвилини. Пропозиція використовує інструмент під назвою Goose для керування процесом розгортання, а модель Void-Model від Netflix наводиться як приклад того, що можна розгорнути.
Як працює процес розгортання
DCI побудовано навколо контейнеризованого інференсу — розробники упаковують модель Hugging Face і надсилають її до сервісу, де Goose бере на себе керування. Goose автоматизує кроки, необхідні для запуску моделі в виділеному контейнері. Together стверджує, що весь процес займає хвилини, а не години чи дні.
Компанія не оприлюднила ціни або конкретну дату запуску загальної доступності, але перші тестувальники вже використовують сервіс для запуску таких моделей, як Void-Model від Netflix. Ця модель, яку Netflix відкрив на Hugging Face, призначена для виконання специфічного завдання, пов'язаного з відео — точні деталі її функціонування не розкриваються в анонсі.
Чому Goose важливий
Goose — це інструмент, який долає розрив між моделлю на Hugging Face і працюючим контейнером в інфраструктурі Together. Замість ручного налаштування серверів розробники вказують Goose на потрібну модель, і він робить все інше. Це включає завантаження моделі, налаштування середовища та створення кінцевої точки.
Для розробників, які вже працюють з Hugging Face, інтеграція означає, що вони можуть пропустити більшість DevOps-роботи. Принаймні теоретично, їм не потрібно турбуватися про образи контейнерів, масштабування або балансування навантаження. Together робить ставку на те, що простота переконає розробників, які втомилися боротися з інфраструктурою розгортання.
Void-Model від Netflix як демонстрація
Void-Model від Netflix — це не типова демонстрація; це реальна продуктивна модель, яку Netflix уже розгорнув. Зробивши її доступною на Hugging Face і показавши, що вона може працювати на DCI, Together намагається довести, що сервіс працює з серйозними моделями, а не лише з простими прикладами.
Жодна з компаній не повідомила, чи використовує сам Netflix DCI від Together у виробництві. В анонсі Void-Model згадується лише як приклад того, що сервіс може обробляти. Це залишає відкритим питання, чи є Netflix клієнтом, чи просто постачальником еталонної моделі.
Together не встановила дату виходу сервісу з поточного етапу обмеженого доступу. Розробники, які хочуть спробувати DCI, можуть подати запит на доступ через веб-сайт Together. Компанія, ймовірно, спостерігає, як ранні користувачі працюють з конвеєром розгортання, перш ніж відкрити шлюзи.
Одне невирішене питання — як DCI порівнюється з іншими контейнерними сервісами інференсу від конкурентів, таких як Replicate або AWS SageMaker. Together не надала бенчмарків або цін в анонсі. Поки ці цифри не з'являться, розробники можуть судити лише за заявленою швидкістю — хвилини.
