Together AI ha rilasciato Dedicated Container Inference (DCI), un servizio che consente agli sviluppatori di distribuire qualsiasi modello da Hugging Face in pochi minuti. L'offerta utilizza uno strumento chiamato Goose per gestire il processo di deployment, e Void-Model di Netflix viene presentato come esempio di ciò che può essere distribuito.
Come funziona il processo di deployment
DCI è basato sull'inferenza containerizzata: gli sviluppatori impacchettano un modello Hugging Face e lo inviano al servizio, dove Goose prende il controllo. Goose automatizza i passaggi necessari per far funzionare il modello in un container dedicato. Together afferma che l'intero processo richiede minuti, non ore o giorni.
L'azienda non ha ancora rilasciato i prezzi né una data specifica per la disponibilità generale, ma i primi tester hanno utilizzato il servizio per eseguire modelli come Void-Model di Netflix. Quel modello, che Netflix ha reso open source su Hugging Face, è progettato per un'attività video specifica: i dettagli esatti della sua funzione non fanno parte dell'annuncio.
Perché Goose è importante
Goose è lo strumento che colma il divario tra un modello su Hugging Face e un container in esecuzione sull'infrastruttura di Together. Invece di configurare manualmente i server, gli sviluppatori puntano Goose al modello desiderato e lui si occupa del resto. Questo include il recupero del modello, la configurazione dell'ambiente e l'esposizione di un endpoint.
Per gli sviluppatori che già lavorano con Hugging Face, l'integrazione significa che possono saltare gran parte del lavoro DevOps. In teoria, non devono preoccuparsi di immagini container, scalabilità o bilanciamento del carico. Together scommette che la semplicità conquisterà gli sviluppatori stanchi di lottare con l'infrastruttura di deployment.
Void-Model di Netflix come vetrina
Void-Model di Netflix non è una demo tipica: è un modello di produzione reale che Netflix ha già distribuito. Rendendolo disponibile su Hugging Face e mostrando che può funzionare su DCI, Together cerca di dimostrare che il servizio funziona con modelli seri, non solo con esempi di prova.
Nessuna delle due aziende ha dichiarato se Netflix stessa utilizzi DCI di Together in produzione. L'annuncio presenta Void-Model solo come esempio di ciò che il servizio può gestire. Resta quindi aperta la domanda se Netflix sia un cliente o solo un fornitore di modelli di riferimento.
Together non ha fissato una data per l'uscita del servizio dall'attuale fase di accesso limitato. Gli sviluppatori che vogliono provare DCI possono richiedere l'accesso tramite il sito web di Together. L'azienda probabilmente sta osservando come i primi utenti gestiscono la pipeline di deployment prima di aprire le porte.
Una domanda ancora irrisolta è come DCI si confronti con altri servizi di inferenza basati su container di concorrenti come Replicate o AWS SageMaker. Together non ha fornito benchmark o prezzi nell'annuncio. Finché questi numeri non arriveranno, gli sviluppatori potranno giudicare solo in base all'affermazione sulla velocità — minuti.
