优化算法:从手工定制迈向自动化设计 | NSR综述“Learn to Optimize”
海归学者发起的公益学术平台
分享信息,整合资源
交流学术,偶尔风月
南方科技大学唐珂教授、香港岭南大学姚新教授以“学习优化”(Learn to Optimize, L2O)为题在《国家科学评论》(National Science Review, NSR)发表综述文章,对“优化算法自动设计”领域的研究进行了系统的归纳和总结,该文将收录于NSR“机器学习自动化”专题。
基于L2O的算法自动设计方法
优化问题的求解是计算机科学、运筹学等领域的核心研究主题之一,也是人工智能的基石。由于在理论上不可能存在对任意问题均性能最优的优化算法,因此新问题的涌现必然伴随着对新型优化算法的需求,这一过程永无止境。
长期以来,人们普遍认为优化算法的设计是高度依赖人类智力的一项任务,需要针对具体问题进行定制化设计。然而,随着各行业对人工智能需求的不断扩大,新问题不断快速涌现,且问题复杂性显著增加,这种高人力成本的、手工定制的算法设计模式正面临巨大困境。如果机器能以某种方式自动或半自动地设计优化算法,不仅将极大缓解这一局面,还将显著拓展人工智能的边界。
近年来,已有大量研究围绕“优化算法自动设计”这一主题开展,逐渐形成了一套类似于机器学习的新型方法论,即以大量优化问题实例为输入,尝试在某个参数空间(甚至代码空间)训练具备泛化能力的优化算法。
在SAT、机器学习、计算机视觉、对抗样本生成等领域的研究结果表明,这一新模式所自动/半自动设计的优化算法,性能相当于甚至超越了人工设计算法的性能,标志着优化算法设计这一领域可能已迈入了“机器换人”的前夜。
在这篇综述文章中,作者将上述方向的研究进行了系统归纳和总结,探讨了各类训练方法、数学理论进展、算法泛化性能的评估与提升手段、以及成功的应用案例等。作者还进一步对L2O的下一步发展进行了展望和探讨,例如,以L2O为核心手段设计基座优化算法(优化大模型)的可能路径,为该领域的未来发展提供了重要参考。
该工作得到了国家重点研发计划、国家自然科学基金、广东省创新创业团队等项目的支持。
扩展阅读
微信扫码关注该文公众号作者