Together AI udostępniło Dedicated Container Inference (DCI) – usługę, która pozwala programistom wdrażać dowolny model z Hugging Face w ciągu kilku minut. Oferta wykorzystuje narzędzie o nazwie Goose do obsługi procesu wdrażania, a Void-Model od Netflix jest podawany jako przykład możliwego do wdrożenia modelu.
Jak działa proces wdrażania
DCI opiera się na wnioskowaniu kontenerowym – programiści pakują model z Hugging Face i przesyłają go do usługi, gdzie przejmuje go Goose. Goose automatyzuje kroki potrzebne do uruchomienia modelu w dedykowanym kontenerze. Together twierdzi, że cały proces zajmuje minuty, a nie godziny czy dni.
Firma nie podała cennika ani konkretnej daty premiery ogólnej dostępności, ale pierwsi testerzy używali usługi do uruchamiania modeli takich jak Void-Model od Netflix. Ten model, który Netflix udostępnił jako open source na Hugging Face, jest zaprojektowany do konkretnego zadania związanego z wideo – dokładne szczegóły jego funkcji nie są częścią ogłoszenia.
Dlaczego Goose ma znaczenie
Goose to narzędzie, które wypełnia lukę między modelem na Hugging Face a działającym kontenerem w infrastrukturze Together. Zamiast ręcznej konfiguracji serwerów, programiści wskazują Goose model, który chcą uruchomić, a resztą zajmuje się ono automatycznie. Obejmuje to pobranie modelu, skonfigurowanie środowiska i udostępnienie endpointu.
Dla programistów, którzy już pracują z Hugging Face, integracja oznacza, że mogą pominąć większość pracy związanej z DevOps. Przynajmniej teoretycznie nie muszą martwić się o obrazy kontenerów, skalowanie czy równoważenie obciążenia. Together stawia na prostotę, która ma przekonać programistów zmęczonych walką z infrastrukturą wdrożeniową.
Void-Model od Netflix jako przykład
Void-Model od Netflix to nie typowe demo – to prawdziwy model produkcyjny, który Netflix już wdrożył. Udostępniając go na Hugging Face i pokazując, że może działać na DCI, Together stara się udowodnić, że usługa działa z poważnymi modelami, a nie tylko prostymi przykładami.
Żadna z firm nie potwierdziła, czy sam Netflix używa DCI od Together w produkcji. Ogłoszenie przedstawia Void-Model jedynie jako przykład tego, co usługa może obsłużyć. Pozostaje to otwarte pytanie, czy Netflix jest klientem, czy tylko dostawcą referencyjnego modelu.
Together nie ustaliło daty, kiedy usługa opuści obecny etap ograniczonego dostępu. Programiści, którzy chcą wypróbować DCI, mogą poprosić o dostęp przez stronę internetową Together. Firma prawdopodobnie obserwuje, jak pierwsi użytkownicy radzą sobie z procesem wdrażania, zanim otworzy się na szerszą publiczność.
Nierozstrzygnięte pozostaje pytanie, jak DCI wypada na tle innych usług wnioskowania kontenerowego konkurentów, takich jak Replicate czy AWS SageMaker. Together nie podało w ogłoszeniu benchmarków ani cennika. Dopóki te dane się nie pojawią, programiści mogą oceniać usługę jedynie na podstawie deklarowanej szybkości – minut.
