Together AI سرویس جدیدی به نام Dedicated Container Inference (DCI) منتشر کرده است که به توسعهدهندگان امکان میدهد هر مدل از Hugging Face را در عرض چند دقیقه مستقر کنند. این سرویس از ابزاری به نام Goose برای مدیریت فرایند استقرار استفاده میکند و Void-Model نتفلیکس به عنوان نمونهای از آنچه میتوان مستقر کرد، معرفی شده است.
فرایند استقرار چگونه کار میکند
DCI بر پایه استنتاج کانتینری ساخته شده است — توسعهدهندگان یک مدل Hugging Face را بستهبندی کرده و به سرویس ارسال میکنند، سپس Goose کار را به دست میگیرد. Goose مراحل لازم برای اجرای مدل در یک کانتینر اختصاصی را خودکار میکند. Together میگوید کل این فرایند چند دقیقه طول میکشد، نه ساعتها یا روزها.
این شرکت هنوز قیمتگذاری یا تاریخ مشخصی برای دسترسی عمومی منتشر نکرده است، اما آزمایشکنندگان اولیه از این سرویس برای اجرای مدلهایی مانند Void-Model نتفلیکس استفاده کردهاند. این مدل که نتفلیکس آن را به صورت متنباز در Hugging Face منتشر کرده، برای یک وظیفه خاص مرتبط با ویدئو طراحی شده است — جزئیات دقیق عملکرد آن بخشی از این اعلامیه نیست.
چرا Goose اهمیت دارد
Goose ابزاری است که شکاف بین یک مدل در Hugging Face و یک کانتینر در حال اجرا در زیرساخت Together را پر میکند. به جای پیکربندی دستی سرورها، توسعهدهندگان Goose را به مدل مورد نظر خود هدایت میکنند و Goose بقیه کارها را انجام میدهد. این شامل دریافت مدل، راهاندازی محیط و ارائه یک endpoint است.
برای توسعهدهندگانی که قبلاً با Hugging Face کار میکنند، این ادغام به این معناست که میتوانند از بیشتر کارهای DevOps صرفنظر کنند. آنها حداقل در تئوری نیازی به نگرانی درباره تصاویر کانتینری، مقیاسپذیری یا توزیع بار ندارند. Together شرط بسته است که سادگی، توسعهدهندگانی را که از دستوپنجه نرم کردن با زیرساخت استقرار خسته شدهاند، جذب خواهد کرد.
Void-Model نتفلیکس به عنوان یک نمونه نمایشی
Void-Model نتفلیکس یک نمونه معمولی نیست — این یک مدل واقعی تولیدی است که نتفلیکس قبلاً آن را مستقر کرده است. با در دسترس قرار دادن آن در Hugging Face و نشان دادن اینکه میتواند روی DCI اجرا شود، Together تلاش میکند ثابت کند که این سرویس با مدلهای جدی کار میکند، نه فقط نمونههای آزمایشی.
هیچیک از دو شرکت نگفتهاند که آیا خود نتفلیکس از DCI Together در تولید استفاده میکند یا خیر. این اعلامیه Void-Model را تنها به عنوان نمونهای از آنچه سرویس میتواند مدیریت کند، معرفی میکند. این سوال را باز میگذارد که آیا نتفلیکس مشتری است یا فقط یک ارائهدهنده مدل مرجع.
Together هنوز تاریخی برای خروج این سرویس از مرحله دسترسی محدود فعلی تعیین نکرده است. توسعهدهندگانی که میخواهند DCI را امتحان کنند، میتوانند از طریق وبسایت Together درخواست دسترسی دهند. احتمالاً این شرکت در حال مشاهده نحوه استفاده کاربران اولیه از خط لوله استقرار است تا بعداً درهای دسترسی را باز کند.
یک سوال بیپاسخ این است که DCI در مقایسه با سایر سرویسهای استنتاج کانتینری رقبا مانند Replicate یا AWS SageMaker چگونه است. Together در این اعلامیه هیچ معیار یا قیمتگذاری ارائه نکرده است. تا زمانی که این اعداد منتشر شوند، توسعهدهندگان تنها میتوانند بر اساس ادعای سرعت — چند دقیقه — قضاوت کنند.
