Together AI ka lëshuar Dedicated Container Inference (DCI), një shërbim që u lejon zhvilluesve të vendosin çdo model nga Hugging Face brenda minutash. Ofrimi përdor një mjet të quajtur Goose për të trajtuar procesin e vendosjes, dhe Void-Model i Netflix po paraqitet si një shembull i asaj që mund të vendoset.
Si funksionon procesi i vendosjes
DCI është ndërtuar rreth inferencës së kontejnerizuar — zhvilluesit paketojnë një model të Hugging Face dhe e dërgojnë në shërbim, ku Goose merr përsipër. Goose automatizon hapat e nevojshëm për të vënë modelin në punë brenda një kontejneri të dedikuar. Together thotë se e gjithë kjo zgjat minuta, jo orë ose ditë.
Kompania nuk ka publikuar çmime ose një datë specifike lëshimi për disponueshmërinë e përgjithshme, por testuesit e hershëm kanë përdorur shërbimin për të ekzekutuar modele si Void-Model i Netflix. Ai model, të cilin Netflix e bëri me burim të hapur në Hugging Face, është projektuar për një detyrë specifike të lidhur me videon — detajet e sakta të funksionit të tij nuk janë pjesë e njoftimit.
Pse Goose ka rëndësi
Goose është mjeti që lidh hendekun midis një modeli në Hugging Face dhe një kontejneri në punë në infrastrukturën e Together. Në vend që të konfigurojnë manualisht serverët, zhvilluesit e drejtojnë Goose te modeli që duan, dhe ai kujdeset për pjesën tjetër. Kjo përfshin tërheqjen e modelit, konfigurimin e mjedisit dhe ekspozimin e një pike fundore.
Për zhvilluesit që tashmë punojnë me Hugging Face, integrimi do të thotë se ata mund të anashkalojnë pjesën më të madhe të punës DevOps. Ata nuk kanë nevojë të shqetësohen për imazhet e kontejnerëve, shkallëzimin ose balancimin e ngarkesës — të paktën në teori. Together po bast se thjeshtësia do të fitojë zhvilluesit që janë lodhur duke luftuar me infrastrukturën e vendosjes.
Void-Model i Netflix si një shembull i spikatur
Void-Model i Netflix nuk është një demonstrim tipik — është një model real prodhimi që Netflix e ka vendosur tashmë. Duke e bërë të disponueshëm në Hugging Face dhe duke treguar se mund të ekzekutohet në DCI, Together po përpiqet të provojë se shërbimi funksionon me modele serioze, jo vetëm me shembuj të thjeshtë.
Asnjëra kompani nuk ka thënë nëse Netflix përdor vetë DCI të Together në prodhim. Njoftimi e paraqet Void-Model vetëm si një shembull të asaj që shërbimi mund të trajtojë. Kjo lë të hapur pyetjen nëse Netflix është klient apo thjesht një ofrues modeli referues.
Together nuk ka caktuar një datë për shërbimin që të dalë nga faza e tij aktuale e aksesit të kufizuar. Zhvilluesit që duan të provojnë DCI mund të kërkojnë akses përmes faqes së internetit të Together. Kompania ka të ngjarë të vëzhgojë se si përdoruesit e hershëm trajtojnë linjën e vendosjes përpara se të hapë dyert.
Një pyetje e pazgjidhur është se si krahasohet DCI me shërbimet e tjera të inferencës me bazë kontejnerësh nga konkurrentët si Replicate ose AWS SageMaker. Together nuk ofroi pikë referimi ose çmime në njoftim. Derisa të dalin ato shifra, zhvilluesit kanë vetëm pretendimin për shpejtësi — minuta — për të gjykuar.
