Together AI on julkaissut Dedicated Container Inference (DCI) -palvelun, jonka avulla kehittäjät voivat ottaa käyttöön minkä tahansa Hugging Face -mallin minuuteissa. Palvelu käyttää Goose-nimistä työkalua käyttöönottoprosessin hallintaan, ja Netflixin Void-Model on esimerkkinä siitä, mitä voidaan ottaa käyttöön.
Käyttöönottoprosessin toiminta
DCI perustuu konttipohjaiseen päättelyyn – kehittäjät paketoivat Hugging Face -mallin ja lähettävät sen palveluun, jossa Goose ottaa ohjat. Goose automatisoi vaiheet, jotka tarvitaan mallin saamiseksi toimimaan erillisessä kontissa. Togetherin mukaan koko prosessi kestää minuutteja, ei tunteja tai päiviä.
Yritys ei ole julkaissut hinnoittelua tai tarkkaa julkaisupäivämäärää yleiseen saatavuuteen, mutta varhaiset testaajat ovat käyttäneet palvelua mallien, kuten Netflixin Void-Modelin, ajamiseen. Tämä malli, jonka Netflix avasi lähdekoodina Hugging Facessa, on suunniteltu tiettyyn videotehtävään – sen toiminnan tarkat yksityiskohdat eivät kuulu ilmoitukseen.
Miksi Goose on tärkeä
Goose on työkalu, joka yhdistää Hugging Facen mallin ja Togetherin infrastruktuurissa toimivan kontin. Sen sijaan, että kehittäjät konfiguroisivat palvelimia manuaalisesti, he osoittavat Gooselle haluamansa mallin, ja se hoitaa loput. Tämä sisältää mallin hakemisen, ympäristön asettamisen ja päätepisteen paljastamisen.
Kehittäjille, jotka jo työskentelevät Hugging Facen kanssa, integraatio tarkoittaa, että he voivat ohittaa suurimman osan DevOps-työstä. Heidän ei tarvitse huolehtia konttikuvista, skaalaamisesta tai kuormantasauksesta – ainakin teoriassa. Together lyö vetoa, että yksinkertaisuus voittaa kehittäjät, jotka ovat kyllästyneitä taistelemaan käyttöönottoinfrastruktuurin kanssa.
Netflixin Void-Model esittelyssä
Netflixin Void-Model ei ole tyypillinen demo – se on todellinen tuotantomalli, jonka Netflix on jo ottanut käyttöön. Tekemällä sen saataville Hugging Facessa ja osoittamalla, että se voi toimia DCI:ssä, Together yrittää todistaa, että palvelu toimii vakavien mallien kanssa, ei vain leikkiesimerkkien.
Kumpikaan yritys ei ole kertonut, käyttääkö Netflix itse Togetherin DCI:tä tuotannossa. Ilmoitus esittää Void-Modelin vain esimerkkinä siitä, mitä palvelu pystyy käsittelemään. Tämä jättää avoimeksi kysymyksen, onko Netflix asiakas vai vain referenssimallin tarjoaja.
Together ei ole asettanut päivämäärää sille, milloin palvelu poistuu nykyisestä rajoitetun pääsyn vaiheesta. Kehittäjät, jotka haluavat kokeilla DCI:tä, voivat pyytää pääsyä Togetherin verkkosivuston kautta. Yritys todennäköisesti seuraa, miten varhaiset käyttäjät käsittelevät käyttöönottoputkea ennen kuin se avaa tulvaportit.
Yksi ratkaisematon kysymys on, miten DCI vertautuu muihin konttipohjaisiin päättelypalveluihin kilpailijoilta, kuten Replicate tai AWS SageMaker. Together ei toimittanut vertailuarvoja tai hinnoittelua ilmoituksessa. Kunnes nämä luvut tulevat julki, kehittäjillä on vain nopeusväite – minuutit – jolla arvioida.
