Anyscale 发布了一款新工具，旨在简化大语言模型的后训练阶段，自动完成方法选择、GPU 规划和配置生成等任务。该公司表示，其目标是简化当前将 LLM 部署到生产环境过程中复杂且资源密集的环节。
该工具自动化了什么
该工具专注于微调流程，通常工程师需要手动选择全量微调、LoRA 或 QLoRA 等方法，然后确定合适的 GPU 设置和超参数。Anyscale 的系统接管了这些决策，生成与模型及用户硬件限制相匹配的配置。该公司声称，这可以减少试错时间，并降低配置错误运行的风险。
为什么后训练现在很重要
随着组织从实验 LLM 转向实际部署，微调已成为瓶颈。现成模型通常需要针对特定领域或任务进行调整，但该过程需要专业知识，并且经常导致 GPU 周期浪费。Anyscale 的工具通过将后训练视为自动化流水线而非一系列手动步骤来解决这一问题。
内置 GPU 规划
该工具的关键功能是规划 GPU 使用。它估算给定模型和微调方法所需的内存和计算量，然后建议合适的 GPU 数量和类型。这有助于团队避免过度配置或在任务中途内存耗尽。Anyscale 将其定位为一种实用解决方案，使团队无需投入一整套机器学习工程师即可进行模型微调。
发布可用性
该工具现已作为 Anyscale 平台的一部分提供。用户可以在该公司的基础设施上进行测试。目前尚不清楚该工具如何处理非常大的模型或特殊的硬件配置，Anyscale 也尚未发布与手动微调工作流程的基准比较。该公司表示将根据用户反馈持续更新该工具。
