Together AI telah merilis Dedicated Container Inference (DCI), sebuah layanan yang memungkinkan pengembang menyebarkan model apa pun dari Hugging Face dalam hitungan menit. Layanan ini menggunakan alat bernama Goose untuk menangani proses penyebaran, dan Void-Model dari Netflix dijadikan sebagai contoh model yang dapat digunakan.
Cara kerja proses penyebaran
DCI dibangun di atas inferensi kontainer — pengembang mengemas model Hugging Face dan mengirimkannya ke layanan, lalu Goose mengambil alih. Goose mengotomatiskan langkah-langkah yang diperlukan untuk menjalankan model dalam kontainer khusus. Together mengatakan seluruh proses hanya memakan waktu menit, bukan jam atau hari.
Perusahaan belum merilis harga atau tanggal peluncuran khusus untuk ketersediaan umum, tetapi penguji awal telah menggunakan layanan ini untuk menjalankan model seperti Void-Model dari Netflix. Model yang Netflix buka sumbernya di Hugging Face ini dirancang untuk tugas spesifik terkait video — detail pasti fungsinya tidak dijelaskan dalam pengumuman.
Mengapa Goose penting
Goose adalah alat yang menjembatani kesenjangan antara model di Hugging Face dan kontainer yang berjalan di infrastruktur Together. Alih-alih mengonfigurasi server secara manual, pengembang mengarahkan Goose ke model yang diinginkan, dan alat tersebut menangani sisanya. Ini termasuk menarik model, menyiapkan lingkungan, dan mengekspos titik akhir.
Bagi pengembang yang sudah bekerja dengan Hugging Face, integrasi ini berarti mereka dapat melewati sebagian besar pekerjaan DevOps. Setidaknya secara teori, mereka tidak perlu khawatir tentang gambar kontainer, penskalaan, atau penyeimbangan beban. Together bertaruh bahwa kesederhanaan akan memenangkan hati pengembang yang lelah berurusan dengan infrastruktur penyebaran.
Void-Model Netflix sebagai pertunjukan
Void-Model Netflix bukanlah demo biasa — ini adalah model produksi nyata yang sudah digunakan Netflix. Dengan membuatnya tersedia di Hugging Face dan menunjukkan bahwa model tersebut dapat berjalan di DCI, Together berusaha membuktikan bahwa layanan ini berfungsi dengan model serius, bukan sekadar contoh mainan.
Kedua perusahaan tidak menyebutkan apakah Netflix sendiri menggunakan DCI Together dalam produksi. Pengumuman tersebut hanya menampilkan Void-Model sebagai contoh dari apa yang dapat ditangani layanan. Ini meninggalkan pertanyaan apakah Netflix adalah pelanggan atau sekadar penyedia model referensi.
Together belum menetapkan tanggal untuk layanan meninggalkan tahap akses terbatas saat ini. Pengembang yang ingin mencoba DCI dapat meminta akses melalui situs web Together. Perusahaan kemungkinan sedang mengamati bagaimana pengguna awal menangani jalur penyebaran sebelum membuka akses secara luas.
Pertanyaan yang belum terjawab adalah bagaimana DCI dibandingkan dengan layanan inferensi berbasis kontainer lain dari pesaing seperti Replicate atau AWS SageMaker. Together tidak memberikan tolok ukur atau harga dalam pengumuman. Sampai angka-angka tersebut keluar, pengembang hanya dapat menilai dari klaim kecepatan — hitungan menit.
