Together AI heeft Dedicated Container Inference (DCI) uitgebracht, een service waarmee ontwikkelaars elk model van Hugging Face binnen enkele minuten kunnen implementeren. De aanbieding maakt gebruik van een tool genaamd Goose om het implementatieproces te verzorgen, en Netflix's Void-Model wordt aangehaald als voorbeeld van wat er kan worden geïmplementeerd.
Hoe het implementatieproces werkt
DCI is gebouwd rond container-gebaseerde inferentie — ontwikkelaars verpakken een Hugging Face-model en sturen het naar de service, waarna Goose het overneemt. Goose automatiseert de stappen die nodig zijn om het model in een dedicated container te laten draaien. Together zegt dat het hele proces minuten duurt, niet uren of dagen.
Het bedrijf heeft nog geen prijzen of een specifieke lanceerdatum voor algemene beschikbaarheid bekendgemaakt, maar vroege testers hebben de service gebruikt om modellen zoals Netflix's Void-Model te draaien. Dat model, dat Netflix open-source heeft gemaakt op Hugging Face, is ontworpen voor een specifieke videogerelateerde taak — de exacte details van de functie maken geen deel uit van de aankondiging.
Waarom Goose belangrijk is
Goose is de tool die de kloof overbrugt tussen een model op Hugging Face en een draaiende container op de infrastructuur van Together. In plaats van handmatig servers te configureren, wijzen ontwikkelaars Goose naar het model dat ze willen, en Goose regelt de rest. Dat omvat het ophalen van het model, het opzetten van de omgeving en het blootstellen van een endpoint.
Voor ontwikkelaars die al met Hugging Face werken, betekent de integratie dat ze het grootste deel van het DevOps-werk kunnen overslaan. Ze hoeven zich geen zorgen te maken over containerimages, schaling of load balancing — in theorie tenminste. Together gokt erop dat eenvoud de ontwikkelaars zal overtuigen die genoeg hebben van het worstelen met implementatie-infrastructuur.
Netflix's Void-Model als showcase
Netflix's Void-Model is geen typische demo — het is een echt productiemodel dat Netflix al heeft geïmplementeerd. Door het beschikbaar te maken op Hugging Face en te laten zien dat het op DCI kan draaien, probeert Together te bewijzen dat de service werkt met serieuze modellen, niet alleen met speelgoedvoorbeelden.
Geen van beide bedrijven heeft gezegd of Netflix zelf DCI van Together in productie gebruikt. De aankondiging presenteert Void-Model alleen als een voorbeeld van wat de service aankan. Dat laat de vraag open of Netflix een klant is of slechts een referentiemodelprovider.
Together heeft nog geen datum vastgesteld waarop de service de huidige fase van beperkte toegang verlaat. Ontwikkelaars die DCI willen uitproberen, kunnen toegang aanvragen via de website van Together. Het bedrijf kijkt waarschijnlijk hoe vroege gebruikers de implementatiepipeline aanpakken voordat het de sluizen opent.
Een onbeantwoorde vraag is hoe DCI zich verhoudt tot andere container-gebaseerde inferentieservices van concurrenten zoals Replicate of AWS SageMaker. Together heeft geen benchmarks of prijzen in de aankondiging verstrekt. Tot die cijfers bekend worden, hebben ontwikkelaars alleen de snelheidsclaim — minuten — om op te beoordelen.
