Meta 发布了一篇新论文，指出了强化学习在代码优化中经常失败的原因，并提供了一种解决这些缺陷的方法。这项工作可能会改变软件开发的方式，使自动化代码改进更加可靠。
强化学习为何在代码优化中遇到困难
强化学习（RL）在游戏和机器人等领域已显示出潜力。但在优化代码——使其运行更快或使用更少内存——方面，RL 往往会遇到瓶颈。Meta 的研究人员解释说，问题在于 RL 代理探索可能的代码更改的方式。搜索空间巨大，微小的更改可能对性能产生不可预测的影响。传统的奖励信号无法为代理提供足够的指导，使其始终如一地找到高效的解决方案。
提出的解决方案
该论文概述了一种旨在克服这些障碍的新方法。该方法不再仅仅依赖试错，而是引入了一种结构化的方式来引导 RL 代理进行更好的代码转换。研究人员描述了一种将学习到的启发式方法与更有针对性的探索策略相结合的技术。早期测试表明，该方法在特定基准测试中可以产生与人工编写的改进相当或更好的代码优化效果。
对软件开发的潜在影响
如果该技术在更广泛的测试中经得起考验，它可能为开发人员提供一个强大的新工具。自动化代码优化可以减少手动调整大型代码库中性能关键部分所花费的时间。这将使工程师能够专注于功能和架构。该论文指出，该方法仍处于实验阶段，但结果表明，在现实世界的软件项目中，实现更实用的 RL 驱动的优化是有可能的。
该论文现已在 Meta 的研究网站上发布。开发人员和研究人员可能会开始在自己的环境中测试该方法，寻找将其应用于从移动应用到云基础设施等各个领域的方法。
