Together AI가 개발자가 Hugging Face의 모든 모델을 몇 분 안에 배포할 수 있는 Dedicated Container Inference(DCI) 서비스를 출시했다. 이 서비스는 Goose라는 도구를 사용해 배포 과정을 처리하며, Netflix의 Void-Model이 배포 가능한 모델의 예시로 제시되었다.
배포 과정의 작동 방식
DCI는 컨테이너화된 추론을 기반으로 한다. 개발자는 Hugging Face 모델을 패키징하여 서비스에 푸시하면 Goose가 그 다음을 처리한다. Goose는 모델을 전용 컨테이너에서 실행하는 데 필요한 단계를 자동화한다. Together는 전체 과정이 몇 시간이나 며칠이 아닌 몇 분 만에 완료된다고 밝혔다.
회사는 아직 가격이나 일반 공급 날짜를 발표하지 않았지만, 초기 테스터들은 Netflix의 Void-Model과 같은 모델을 실행하는 데 이 서비스를 사용해 왔다. Netflix가 Hugging Face에 오픈소스로 공개한 이 모델은 특정 비디오 관련 작업을 위해 설계되었으며, 정확한 기능에 대한 세부 사항은 발표에 포함되지 않았다.
Goose가 중요한 이유
Goose는 Hugging Face의 모델과 Together 인프라의 실행 중인 컨테이너 사이의 격차를 해소하는 도구다. 개발자는 서버를 수동으로 구성하는 대신 Goose가 원하는 모델을 가리키면 나머지 작업을 처리한다. 여기에는 모델 가져오기, 환경 설정, 엔드포인트 노출이 포함된다.
이미 Hugging Face로 작업하는 개발자에게 이 통합은 대부분의 DevOps 작업을 생략할 수 있음을 의미한다. 적어도 이론상으로는 컨테이너 이미지, 확장, 로드 밸런싱에 대해 걱정할 필요가 없다. Together는 단순함이 배포 인프라와 씨름하는 데 지친 개발자들을 사로잡을 것이라고 확신하고 있다.
Netflix의 Void-Model 쇼케이스
Netflix의 Void-Model은 일반적인 데모가 아니다. Netflix가 이미 배포한 실제 프로덕션 모델이다. Together는 이 모델을 Hugging Face에 제공하고 DCI에서 실행될 수 있음을 보여줌으로써, 서비스가 장난감 예제가 아닌 진지한 모델과도 작동한다는 것을 입증하려 한다.
두 회사 모두 Netflix 자체가 Together의 DCI를 프로덕션에서 사용하는지 여부는 밝히지 않았다. 발표에서는 Void-Model을 서비스가 처리할 수 있는 예시로만 제시한다. 따라서 Netflix가 고객인지 아니면 단순한 참조 모델 제공자인지에 대한 질문은 열려 있다.
Together는 서비스가 현재의 제한된 접근 단계를 벗어날 날짜를 정하지 않았다. DCI를 시험해보고 싶은 개발자는 Together 웹사이트를 통해 액세스를 요청할 수 있다. 회사는 아마도 초기 사용자들이 배포 파이프라인을 어떻게 처리하는지 지켜본 후에 문을 열 것으로 보인다.
해결되지 않은 한 가지 질문은 DCI가 Replicate나 AWS SageMaker 같은 경쟁사의 다른 컨테이너 기반 추론 서비스와 어떻게 비교되는지이다. Together는 발표에서 벤치마크나 가격을 제시하지 않았다. 그 수치가 나올 때까지 개발자는 속도 주장(몇 분)만으로 판단해야 한다.
