Together AI, geliştiricilerin Hugging Face'teki herhangi bir modeli dakikalar içinde dağıtmasına olanak tanıyan Dedicated Container Inference (DCI) hizmetini yayınladı. Bu teklif, dağıtım sürecini yönetmek için Goose adlı bir araç kullanıyor ve Netflix'in Void-Model'i, dağıtılabilecek bir örnek olarak gösteriliyor.
Dağıtım süreci nasıl çalışıyor
DCI, konteynerleştirilmiş çıkarım etrafında inşa edilmiştir — geliştiriciler bir Hugging Face modelini paketleyip hizmete gönderir ve Goose devreye girer. Goose, modeli özel bir konteynerde çalıştırmak için gereken adımları otomatikleştirir. Together, tüm sürecin saatler veya günler değil, dakikalar sürdüğünü söylüyor.
Şirket, genel kullanıma sunulma için fiyatlandırma veya belirli bir lansman tarihi açıklamadı, ancak erken test kullanıcıları Netflix'in Void-Model'i gibi modelleri çalıştırmak için hizmeti kullanıyor. Netflix'in Hugging Face'te açık kaynak olarak yayınladığı bu model, belirli bir video ile ilgili görev için tasarlanmıştır — işlevinin tam detayları duyurunun bir parçası değildir.
Goose neden önemli
Goose, Hugging Face'teki bir model ile Together'ın altyapısında çalışan bir konteyner arasındaki boşluğu dolduran araçtır. Geliştiriciler, sunucuları manuel olarak yapılandırmak yerine, istedikleri modele Goose'u yönlendirir ve gerisini o halleder. Bu, modeli çekme, ortamı kurma ve bir uç nokta açma işlemlerini içerir.
Hugging Face ile zaten çalışan geliştiriciler için bu entegrasyon, DevOps işlerinin çoğunu atlayabilecekleri anlamına gelir. En azından teoride, konteyner görüntüleri, ölçeklendirme veya yük dengeleme konusunda endişelenmelerine gerek kalmaz. Together, basitliğin, dağıtım altyapısıyla uğraşmaktan bıkmış geliştiricileri kazanacağına bahse giriyor.
Netflix'in Void-Model'i bir vitrin olarak
Netflix'in Void-Model'i tipik bir demo değil — Netflix'in halihazırda dağıttığı gerçek bir üretim modelidir. Together, onu Hugging Face'te kullanıma sunarak ve DCI'da çalıştırılabileceğini göstererek, hizmetin yalnızca oyuncak örneklerle değil, ciddi modellerle de çalıştığını kanıtlamaya çalışıyor.
İki şirketten hiçbiri, Netflix'in Together'ın DCI'sını üretimde kullanıp kullanmadığını söylemedi. Duyuru, Void-Model'i yalnızca hizmetin kaldırabileceği bir örnek olarak çerçeveliyor. Bu, Netflix'in bir müşteri mi yoksa yalnızca bir referans model sağlayıcısı mı olduğu sorusunu yanıtsız bırakıyor.
Together, hizmetin mevcut sınırlı erişim aşamasından çıkması için bir tarih belirlemedi. DCI'yı denemek isteyen geliştiriciler, Together'ın web sitesi üzerinden erişim talep edebilir. Şirket, muhtemelen kapıları tamamen açmadan önce erken kullanıcıların dağıtım sürecini nasıl yönettiğini izliyor.
Çözülmemiş bir soru, DCI'nın Replicate veya AWS SageMaker gibi rakiplerin diğer konteyner tabanlı çıkarım hizmetleriyle nasıl karşılaştırıldığıdır. Together, duyuruda kıyaslama veya fiyatlandırma sunmadı. Bu rakamlar ortaya çıkana kadar, geliştiricilerin yalnızca hız iddiasına — dakikalar — güvenerek karar vermesi gerekiyor.
