Společnost Together AI uvedla službu Dedicated Container Inference (DCI), která umožňuje vývojářům nasadit jakýkoli model z Hugging Face během několika minut. Služba využívá nástroj zvaný Goose k automatizaci procesu nasazení a jako příklad nasaditelného modelu je uváděn Void-Model od Netflixu.
Jak proces nasazení funguje
DCI je postaveno na kontejnerové inferenci – vývojáři zabalí model z Hugging Face a odešlou ho do služby, kde se ujímá řízení Goose. Goose automatizuje kroky potřebné ke spuštění modelu ve vyhrazeném kontejneru. Together tvrdí, že celý proces trvá minuty, nikoli hodiny nebo dny.
Společnost zatím nezveřejnila ceny ani konkrétní datum uvedení do všeobecné dostupnosti, ale první testeři již službu používají ke spouštění modelů, jako je Void-Model od Netflixu. Tento model, který Netflix zveřejnil jako open-source na Hugging Face, je navržen pro specifickou úlohu související s videem – přesné podrobnosti o jeho funkci nejsou součástí oznámení.
Proč je Goose důležitý
Goose je nástroj, který překlenuje propast mezi modelem na Hugging Face a běžícím kontejnerem v infrastruktuře Together. Místo ruční konfigurace serverů vývojáři nasměrují Goose na požadovaný model a ten se postará o zbytek. To zahrnuje stažení modelu, nastavení prostředí a zpřístupnění endpointu.
Pro vývojáře, kteří již pracují s Hugging Face, integrace znamená, že mohou přeskočit většinu práce DevOps. Teoreticky se nemusí starat o kontejnerové obrazy, škálování ani vyvažování zátěže. Together sází na to, že tato jednoduchost přesvědčí vývojáře, kteří jsou unaveni zápasením s infrastrukturou pro nasazení.
Void-Model od Netflixu jako ukázka
Void-Model od Netflixu není typické demo – je to skutečný produkční model, který Netflix již nasadil. Tím, že ho Netflix zpřístupnil na Hugging Face a ukázal, že může běžet na DCI, se Together snaží dokázat, že služba funguje s opravdovými modely, nejen s jednoduchými příklady.
Ani jedna společnost neuvedla, zda Netflix sám používá DCI od Together v produkci. Oznámení rámuje Void-Model pouze jako příklad toho, co služba zvládne. To ponechává otevřenou otázku, zda je Netflix zákazníkem, nebo pouze poskytovatelem referenčního modelu.
Together zatím nestanovil datum, kdy služba opustí současnou fázi omezeného přístupu. Vývojáři, kteří chtějí DCI vyzkoušet, mohou požádat o přístup prostřednictvím webu Together. Společnost pravděpodobně sleduje, jak první uživatelé zvládají pipeline nasazení, než otevře stavidla.
Jednou z nezodpovězených otázek je, jak si DCI stojí v porovnání s jinými kontejnerovými inferenčními službami od konkurentů, jako jsou Replicate nebo AWS SageMaker. Together v oznámení neuvedl benchmarky ani ceny. Dokud tato čísla nevyjdou, mají vývojáři k posouzení pouze tvrzení o rychlosti – minuty.
