2026-03-23 | 科研部 我校本科生在国际优化顶刊SIAM Journal on Optimization发表研究论文

近日，南方科技大学数学系2021级本科生张乐之与导师张进及合作者，在双层优化算法领域取得重要研究进展，相关成果以“Alternating Gradient-Type Algorithm for Bilevel Optimization with Inexact Lower-Level Solutions via Moreau Envelope-based Reformulation”为题在数学优化领域国际顶级期刊SIAM Journal on Optimization上发表。

近年来，双层优化问题在机器学习研究中日益受到重视，其中基于价值函数的再定式方法因能有效规避下层二阶信息计算而获得广泛关注。现有算法多采用双循环结构，往往带来较高计算负担。为降低下层问题精确求解所引入的成本，现有研究多依赖较强的结构性假设，以确保近似误差的可控性。然而，在大规模复杂应用任务中，如何建立有效理论度量并控制下层求解的非精确误差，仍是该领域亟待解决的关键问题。

这一难题亦引起国际数学优化领域权威学者、国际数学家大会一小时报告人、Dantzig奖获得者、美国工程院院士Stephen Wright教授的高度关注。他在其团队发表于ICML 2024的论文中明确指出，如何构建针对下层非精确性的度量机制，是当前双层优化研究中一项亟待探索的研究方向（“an open research direction”）。

针对上述挑战，南科大数学优化研究团队提出了一种基于Moreau包络价值函数的再定式方法。通过在算法中引入与辅助变量相关的强凸子问题，成功将原本难以直接控制的下层近似误差转化为可计算且可验证的误差项，从而系统构建了一个面向下层非精确求解的全新算法设计与理论分析框架。该研究首次在理论上实现了对下层近似求解误差的量化描述与可控传递，为双层优化在大规模机器学习中的高效应用，特别是针对超参数学习问题的求解，提供了新的思路和方法支撑。

SIAM Journal on Optimization是美国工业和应用数学学会出版的高水准和颇具声誉的著名期刊，被公认为数学优化领域国际顶级期刊。

张进教授课题组博士生白晓宁、深圳应用数学中心副教授曾尚志、张进、张乐之为论文共同作者（姓氏字母序），张进为通讯作者，南方科技大学为论文第一单位。

本工作得到国家重点研发计划（2023YFA1011400）、国家自然科学基金（12326605、12222106、12501429）以及深圳市基础研究计划（20250530150024003）的资助。

文章链接 https://doi.org/10.1137/24M1721049

供稿：数学系

通讯员：卢圣红