Together AI השיקה את Dedicated Container Inference (DCI), שירות המאפשר למפתחים לפרוס כל מודל מ-Hugging Face תוך דקות ספורות. השירות משתמש בכלי בשם Goose לטיפול בתהליך הפריסה, ו-Void-Model של Netflix מוצג כדוגמה למודל שניתן לפרוס.
כיצד פועל תהליך הפריסה
DCI מבוסס על הסקה בקונטיינרים — מפתחים אורזים מודל מ-Hugging Face ודוחפים אותו לשירות, שם Goose משתלט. Goose מבצע אוטומציה של השלבים הנדרשים להפעלת המודל בקונטיינר ייעודי. Together מצהירה שהתהליך כולו אורך דקות, לא שעות או ימים.
החברה לא פרסמה תמחור או תאריך השקה ספציפי לזמינות כללית, אך בודקים מוקדמים כבר משתמשים בשירות להרצת מודלים כמו Void-Model של Netflix. המודל הזה, ש-Netflix הפכה לקוד פתוח ב-Hugging Face, מיועד למשימה ספציפית הקשורה לווידאו — הפרטים המדויקים של תפקודו אינם חלק מההכרזה.
מדוע Goose חשוב
Goose הוא הכלי שמגשר על הפער בין מודל ב-Hugging Face לבין קונטיינר רץ בתשתית של Together. במקום להגדיר שרתים ידנית, מפתחים מפנים את Goose למודל הרצוי, והוא מטפל בשאר. זה כולל משיכת המודל, הגדרת הסביבה וחשיפת נקודת קצה.
עבור מפתחים שכבר עובדים עם Hugging Face, האינטגרציה הזו מאפשרת להם לדלג על רוב עבודת ה-DevOps. הם לא צריכים לדאוג לתמונות קונטיינר, קנה מידה או איזון עומסים — לפחות בתיאוריה. Together מהמרת שהפשטות תמשוך מפתחים שעייפים מהתמודדות עם תשתית פריסה.
Void-Model של Netflix כהדגמה
Void-Model של Netflix אינו הדגמה טיפוסית — זהו מודל ייצור אמיתי ש-Netflix כבר פרסה. בכך שהיא הופכת אותו לזמין ב-Hugging Face ומראה שהוא יכול לרוץ על DCI, Together מנסה להוכיח שהשירות עובד עם מודלים רציניים, לא רק דוגמאות פשוטות.
אף אחת מהחברות לא אמרה אם Netflix עצמה משתמשת ב-DCI של Together בסביבת ייצור. ההכרזה מציגה את Void-Model רק כדוגמה למה שהשירות יכול להתמודד איתו. זה משאיר פתוחה את השאלה האם Netflix היא לקוחה או רק ספקית מודל להפניה.
Together לא קבעה תאריך ליציאת השירות משלב הגישה המוגבלת הנוכחי שלו. מפתחים שרוצים לנסות את DCI יכולים לבקש גישה דרך אתר Together. החברה ככל הנראה עוקבת אחרי האופן שבו משתמשים מוקדמים מתמודדים עם צינור הפריסה לפני פתיחת השערים.
שאלה אחת שנותרה פתוחה היא כיצד DCI משתווה לשירותי הסקה מבוססי קונטיינרים אחרים של מתחרים כמו Replicate או AWS SageMaker. Together לא סיפקה אמות מידה או תמחור בהכרזה. עד שהנתונים האלה יפורסמו, למפתחים יש רק את טענת המהירות — דקות — לשפוט לפיה.
