Hogyan működik a telepítési folyamat
A DCI a konténeres inferenciára épül – a fejlesztők becsomagolnak egy Hugging Face modellt, és feltöltik a szolgáltatásba, ahol a Goose veszi át az irányítást. A Goose automatizálja a modell dedikált konténerben való futtatásához szükséges lépéseket. A Together szerint az egész folyamat perceket vesz igénybe, nem órákat vagy napokat.
A cég nem hozta nyilvánosságra az árazást vagy a szolgáltatás általános elérhetőségének konkrét dátumát, de a korai tesztelők már használják a szolgáltatást olyan modellek futtatására, mint a Netflix Void-Modellje. Ezt a modellt a Netflix nyílt forráskódúként tette elérhetővé a Hugging Face-en, és egy specifikus videóval kapcsolatos feladatra tervezték – a pontos működési részletek nem képezik a bejelentés részét.
Miért fontos a Goose
A Goose az az eszköz, amely áthidalja a szakadékot a Hugging Face-en lévő modell és a Together infrastruktúráján futó konténer között. Ahelyett, hogy a fejlesztők manuálisan konfigurálnák a szervereket, a Goose-t a kívánt modellre irányítják, és az elvégzi a többit. Ez magában foglalja a modell letöltését, a környezet beállítását és egy végpont elérhetővé tételét.
A Hugging Face-t már használó fejlesztők számára az integráció azt jelenti, hogy kihagyhatják a DevOps-munka nagy részét. Elméletileg nem kell foglalkozniuk konténerképekkel, skálázással vagy terheléselosztással. A Together arra fogad, hogy az egyszerűség
