Together AI a lansat Dedicated Container Inference (DCI), un serviciu care permite dezvoltatorilor să implementeze orice model de pe Hugging Face în câteva minute. Oferta utilizează un instrument numit Goose pentru a gestiona procesul de implementare, iar Void-Model de la Netflix este prezentat ca exemplu a ceea ce poate fi implementat.
Cum funcționează procesul de implementare
DCI este construit în jurul inferenței containerizate — dezvoltatorii împachetează un model Hugging Face și îl trimit în serviciu, unde Goose preia controlul. Goose automatizează pașii necesari pentru a rula modelul într-un container dedicat. Together afirmă că întregul proces durează minute, nu ore sau zile.
Compania nu a publicat prețurile sau o dată specifică de lansare pentru disponibilitatea generală, dar testerii timpurii au folosit serviciul pentru a rula modele precum Void-Model de la Netflix. Acest model, pe care Netflix l-a publicat ca open-source pe Hugging Face, este conceput pentru o sarcină specifică legată de video — detaliile exacte ale funcției sale nu fac parte din anunț.
De ce este important Goose
Goose este instrumentul care face puntea între un model de pe Hugging Face și un container care rulează pe infrastructura Together. În loc să configureze manual serverele, dezvoltatorii îndreaptă Goose către modelul dorit, iar acesta se ocupă de restul. Aceasta include extragerea modelului, configurarea mediului și expunerea unui endpoint.
Pentru dezvoltatorii care lucrează deja cu Hugging Face, integrarea înseamnă că pot sări peste cea mai mare parte a muncii DevOps. Teoretic, nu trebuie să se îngrijoreze de imaginile containerelor, scalare sau echilibrarea încărcării. Together pariază că simplitatea va câștiga dezvoltatorii care s-au săturat să se lupte cu infrastructura de implementare.
Void-Model de la Netflix ca demonstrație
Void-Model de la Netflix nu este o demonstrație tipică — este un model real de producție pe care Netflix l-a implementat deja. Făcându-l disponibil pe Hugging Face și arătând că poate rula pe DCI, Together încearcă să demonstreze că serviciul funcționează cu modele serioase, nu doar cu exemple simple.
Nicio companie nu a spus dacă Netflix însuși folosește DCI de la Together în producție. Anunțul prezintă Void-Model doar ca un exemplu a ceea ce poate gestiona serviciul. Asta lasă deschisă întrebarea dacă Netflix este un client sau doar un furnizor de model de referință.
Together nu a stabilit o dată pentru ca serviciul să iasă din stadiul actual de acces limitat. Dezvoltatorii care doresc să încerce DCI pot solicita acces prin site-ul Together. Compania urmărește probabil cum gestionează utilizatorii timpurii pipeline-ul de implementare înainte de a deschide porțile.
O întrebare nerezolvată este cum se compară DCI cu alte servicii de inferență containerizată ale concurenților precum Replicate sau AWS SageMaker. Together nu a oferit benchmark-uri sau prețuri în anunț. Până când aceste numere vor fi publicate, dezvoltatorii au doar afirmația privind viteza — minute — după care să judece.
