Loading market data...

Together 推出容器服务,加速 Hugging Face 模型部署

Together 推出容器服务,加速 Hugging Face 模型部署

Together AI 发布了专用容器推理服务(Dedicated Container Inference,简称 DCI),让开发者能在几分钟内部署 Hugging Face 上的任何模型。该服务利用名为 Goose 的工具处理部署流程,并以 Netflix 的 Void-Model 作为可部署的示例。

部署流程如何运作

DCI 基于容器化推理构建——开发者将 Hugging Face 模型打包并推送至服务,随后由 Goose 接手。Goose 自动完成将模型运行在专用容器中所需的步骤。Together 表示整个过程只需几分钟,而非数小时或数天。

该公司尚未公布定价或正式上线的具体日期,但早期测试者已使用该服务运行 Netflix 的 Void-Model 等模型。Netflix 在 Hugging Face 上开源了该模型,它专为特定视频相关任务设计——其具体功能细节并未在公告中说明。

Goose 为何重要

Goose 是连接 Hugging Face 模型与 Together 基础设施上运行容器的桥梁。开发者无需手动配置服务器,只需将 Goose 指向所需模型,其余工作便由它完成。这包括拉取模型、设置环境以及暴露端点。

对于已使用 Hugging Face 的开发者而言,这种集成意味着他们可以跳过大部分 DevOps 工作。至少理论上,他们无需担心容器镜像、扩展或负载均衡。Together 押注这种简洁性将赢得厌倦了部署基础设施的开发者。

Netflix 的 Void-Model 作为展示

Netflix 的 Void-Model 并非典型的演示模型——它是 Netflix 已部署的真实生产模型。通过将其在 Hugging Face 上开源并展示其可在 DCI 上运行,Together 试图证明该服务能处理严肃模型,而不仅仅是玩具示例。

两家公司均未说明 Netflix 是否在生产环境中使用 Together 的 DCI。该公告仅将 Void-Model 作为服务能处理的一个示例。这留下了 Netflix 究竟是客户还是仅作为参考模型提供者的问题。

Together 尚未设定该服务脱离当前有限访问阶段的具体日期。希望尝试 DCI 的开发者可通过 Together 官网申请访问权限。该公司很可能在观察早期用户如何处理部署流程后,再全面开放。

一个未解决的问题是,DCI 与 Replicate 或 AWS SageMaker 等其他基于容器的推理服务相比如何。Together 在公告中未提供基准测试或定价。在这些数据公布之前,开发者只能根据速度声明——几分钟——来进行判断。