哈佛论文提出探索性建模，为生成式AI提供新的扩展轴

哈佛大学研究人员的一篇新论文提出了一种用于生成模型的扩展轴，称为“探索性建模”。根据该论文，这种方法可以使模型更高效、运行成本更低，并能处理更广泛的任务。

不同的扩展方法

多年来，改进生成模型（文本、图像和视频生成背后的系统）的标准方法是增加其规模、提供更多数据或更多算力。探索性建模表明还有另一个杠杆：模型在生成过程中对其输出空间进行探索的程度。该论文没有详细说明具体机制，但将探索定位为一个可以有意增加的扩展维度，就像参数数量或训练数据一样。

效率与成本收益

该论文声称探索性建模可以降低计算成本。这很重要，因为训练和运行大型模型的成本很高。如果可以在不相应增加算力的情况下扩展探索，那么部署这些模型的经济性可能会发生改变。论文还表示，效率和质量可能会提高，但没有具体说明提高多少。

更广泛的应用

除了成本和效率之外，论文还指出探索性建模可以拓宽生成模型的应用范围。这可能意味着从更好地处理小众任务到全新的用例。论文没有提供具体示例，但声称它可以扩展这些模型的能力。

这对该领域意味着什么

探索性建模仍是一个提议，而非成熟的技术。该论文尚未经过同行评审，也不清楚这种方法何时会在实际系统中得到测试。但它为一个主要关注暴力扩展的领域提供了新的方向。关键问题在于，探索在实践中是否能够像理论上那样容易地扩展。