Together AI har släppt Dedicated Container Inference (DCI), en tjänst som låter utvecklare distribuera valfri modell från Hugging Face på några minuter. Erbjudandet använder ett verktyg som heter Goose för att hantera distributionsprocessen, och Netflix Void-Model lyfts fram som ett exempel på vad som kan distribueras.
Så fungerar distributionsprocessen
DCI är byggt kring containeriserad inferens – utvecklare paketerar en Hugging Face-modell och skickar den till tjänsten, där Goose tar över. Goose automatiserar stegen som krävs för att få modellen att köra i en dedikerad container. Together uppger att hela processen tar minuter, inte timmar eller dagar.
Företaget har inte offentliggjort prissättning eller ett specifikt lanseringsdatum för allmän tillgänglighet, men tidiga testare har använt tjänsten för att köra modeller som Netflix Void-Model. Den modellen, som Netflix gjorde tillgänglig som öppen källkod på Hugging Face, är utformad för en specifik videorelaterad uppgift – exakta detaljer om dess funktion ingår inte i tillkännagivandet.
Varför Goose är viktigt
Goose är verktyget som överbryggar gapet mellan en modell på Hugging Face och en körande container på Together infrastruktur. Istället för att manuellt konfigurera servrar pekar utvecklare Goose mot den modell de vill ha, och den sköter resten. Det inkluderar att hämta modellen, konfigurera miljön och exponera en slutpunkt.
För utvecklare som redan arbetar med Hugging Face innebär integrationen att de kan hoppa över det mesta av DevOps-arbetet. De behöver inte oroa sig för containerbilder, skalning eller lastbalansering – åtminstone i teorin. Together satsar på att enkelheten ska locka utvecklare som är trötta på att brottas med distributionsinfrastruktur.
Netflix Void-Model som exempel
Netflix Void-Model är inte en typisk demo – det är en verklig produktionsmodell som Netflix redan har distribuerat. Genom att göra den tillgänglig på Hugging Face och visa att den kan köras på DCI försöker Together bevisa att tjänsten fungerar med seriösa modeller, inte bara leksaksexempel.
Inget av företagen har sagt om Netflix själva använder Together DCI i produktion. Tillkännagivandet beskriver Void-Model endast som ett exempel på vad tjänsten kan hantera. Det lämnar frågan öppen om Netflix är en kund eller bara en referensmodellsleverantör.
Together har inte satt ett datum för när tjänsten ska lämna sitt nuvarande stadium med begränsad åtkomst. Utvecklare som vill prova DCI kan begära åtkomst via Together webbplats. Företaget följer sannolikt hur tidiga användare hanterar distributionspipen innan de öppnar slussarna.
En obesvarad fråga är hur DCI står sig mot andra containerbaserade inferenstjänster från konkurrenter som Replicate eller AWS SageMaker. Together lämnade inga riktmärken eller prissättning i tillkännagivandet. Tills dess att dessa siffror kommer har utvecklare bara hastighetspåståendet – minuter – att bedöma efter.
