Together AI har lansert Dedicated Container Inference (DCI), en tjeneste som lar utviklere distribuere enhver modell fra Hugging Face i løpet av minutter. Tilbudet bruker et verktøy kalt Goose til å håndtere distribusjonsprosessen, og Netflix' Void-Model fremheves som et eksempel på hva som kan distribueres.
Slik fungerer distribusjonsprosessen
DCI er bygget rundt containerisert inferens — utviklere pakker en Hugging Face-modell og sender den til tjenesten, hvor Goose tar over. Goose automatiserer trinnene som trengs for å få modellen i gang i en dedikert container. Together sier at hele prosessen tar minutter, ikke timer eller dager.
Selskapet har ikke offentliggjort priser eller en spesifikk lanseringsdato for generell tilgjengelighet, men tidlige testere har brukt tjenesten til å kjøre modeller som Netflix' Void-Model. Den modellen, som Netflix har gjort åpen kildekode på Hugging Face, er designet for en spesifikk videorelatert oppgave — de nøyaktige detaljene om dens funksjon er ikke en del av kunngjøringen.
Hvorfor Goose er viktig
Goose er verktøyet som bygger bro mellom en modell på Hugging Face og en kjørende container på Together sin infrastruktur. I stedet for å manuelt konfigurere servere, peker utviklere Goose mot modellen de ønsker, og den tar seg av resten. Det inkluderer å hente modellen, sette opp miljøet og eksponere et endepunkt.
For utviklere som allerede jobber med Hugging Face, betyr integrasjonen at de kan hoppe over det meste av DevOps-arbeidet. De trenger ikke å bekymre seg for containerbilder, skalering eller lastbalansering — i teorien i det minste. Together satser på at enkelhet vil vinne over utviklere som er lei av å kjempe med distribusjonsinfrastruktur.
Netflix' Void-Model som et eksempel
Netflix' Void-Model er ikke en typisk demo — det er en ekte produksjonsmodell som Netflix allerede har distribuert. Ved å gjøre den tilgjengelig på Hugging Face og vise at den kan kjøre på DCI, prøver Together å bevise at tjenesten fungerer med seriøse modeller, ikke bare leke-eksempler.
Ingen av selskapene har sagt om Netflix selv bruker Together sin DCI i produksjon. Kunngjøringen rammer inn Void-Model kun som et eksempel på hva tjenesten kan håndtere. Det etterlater spørsmålet om Netflix er en kunde eller bare en leverandør av referansemodeller.
Together har ikke satt en dato for når tjenesten skal forlate sin nåværende fase med begrenset tilgang. Utviklere som ønsker å prøve DCI kan be om tilgang gjennom Together sin nettside. Selskapet følger sannsynligvis med på hvordan tidlige brukere håndterer distribusjonspipelinen før de åpner slusene.
Et ubesvart spørsmål er hvordan DCI sammenlignes med andre containerbaserte inferenstjenester fra konkurrenter som Replicate eller AWS SageMaker. Together ga ingen benchmarks eller priser i kunngjøringen. Inntil disse tallene kommer, har utviklere kun hastighetspåstanden — minutter — å dømme etter.
