Together AI telah melancarkan Dedicated Container Inference (DCI), satu perkhidmatan yang membolehkan pembangun menggunakan mana-mana model dari Hugging Face dalam beberapa minit. Tawaran ini menggunakan alat yang dipanggil Goose untuk mengendalikan proses penggunaan, dan Void-Model Netflix dijadikan contoh apa yang boleh digunakan.
Bagaimana proses penggunaan berfungsi
DCI dibina di sekitar inferens kontena — pembangun membungkus model Hugging Face dan menghantarnya ke perkhidmatan, di mana Goose mengambil alih. Goose mengautomasikan langkah-langkah yang diperlukan untuk menjalankan model dalam kontena khusus. Together mengatakan keseluruhan proses mengambil masa beberapa minit, bukan berjam-jam atau berhari-hari.
Syarikat itu belum mengeluarkan harga atau tarikh pelancaran khusus untuk ketersediaan umum, tetapi penguji awal telah menggunakan perkhidmatan ini untuk menjalankan model seperti Void-Model Netflix. Model itu, yang Netflix terbitkan sebagai sumber terbuka di Hugging Face, direka untuk tugas khusus berkaitan video — butiran tepat fungsinya tidak termasuk dalam pengumuman.
Mengapa Goose penting
Goose adalah alat yang merapatkan jurang antara model di Hugging Face dan kontena yang berjalan di infrastruktur Together. Daripada mengkonfigurasi pelayan secara manual, pembangun mengarahkan Goose kepada model yang mereka mahu, dan ia mengendalikan selebihnya. Ini termasuk menarik model, menyediakan persekitaran, dan mendedahkan titik akhir.
Bagi pembangun yang sudah bekerja dengan Hugging Face, integrasi ini bermakna mereka boleh melangkau kebanyakan kerja DevOps. Mereka tidak perlu risau tentang imej kontena, penskalaan, atau pengimbangan beban — sekurang-kurangnya secara teori. Together bertaruh bahawa kesederhanaan akan memikat pembangun yang sudah bosan bergelut dengan infrastruktur penggunaan.
Void-Model Netflix sebagai tayangan
Void-Model Netflix bukanlah demo biasa — ia adalah model pengeluaran sebenar yang telah digunakan oleh Netflix. Dengan menjadikannya tersedia di Hugging Face dan menunjukkan bahawa ia boleh berjalan di DCI, Together cuba membuktikan perkhidmatan itu berfungsi dengan model serius, bukan hanya contoh mainan.
Tiada syarikat yang menyatakan sama ada Netflix sendiri menggunakan DCI Together dalam pengeluaran. Pengumuman itu hanya merangka Void-Model sebagai contoh apa yang boleh dikendalikan oleh perkhidmatan. Ini meninggalkan persoalan sama ada Netflix adalah pelanggan atau hanya penyedia model rujukan.
Together belum menetapkan tarikh untuk perkhidmatan meninggalkan peringkat akses terhad semasa. Pembangun yang ingin mencuba DCI boleh meminta akses melalui laman web Together. Syarikat itu mungkin memerhatikan bagaimana pengguna awal mengendalikan saluran paip penggunaan sebelum membuka pintu secara meluas.
Satu persoalan yang belum terjawab ialah bagaimana DCI dibandingkan dengan perkhidmatan inferens berasaskan kontena lain daripada pesaing seperti Replicate atau AWS SageMaker. Together tidak memberikan penanda aras atau harga dalam pengumuman. Sehingga angka-angka itu dikeluarkan, pembangun hanya boleh menilai berdasarkan tuntutan kelajuan — beberapa minit.
