从求解器结果中学习建模优化问题

Arxiv：2604.00442v2公告类型：替换摘要：使用LLMS自动化优化建模是通向可扩展决策智能的一条很有前途的途径，但现有方法要么依赖于构建在具有高推理延迟的闭源LLM上的代理管道，要么使用成本高昂的进程监控来微调较小的LLM，而这些进程监控通常过于适合单个求解器API。我们研究了来自廉价结果标签的强化学习如何改进优化建模并支持跨异质求解器环境的重用。为此，我们提出了基于求解器结果的优化建模(OMSO)，它使用带有数学规划求解器的强化学习(RL)作为确定性的交互环境。在给定自然语言问题和目标求解器的情况下，OMSO生成求解器特定的代码，在沙盒工具中执行该代码，并在生成-执行-反馈-更新的闭环过程中将执行结果转换为标量奖励。该RL公式无需过程级监督即可学习优化建模，并通过切换求解器环境而不是重建求解器特定的数据集来支持交叉求解器泛化。在Gurobi、OR-Tools和COPT上对NL4OPT、MAMO、Industryor和OptiB边进行的实验表明，OMSO与进程监督的SFT相匹配或优于进程监督的SFT，支持零镜头训练转移、直接RL训练和SFT冷启动RL，并提高了建模推理和语义正确性，超过了求解器API的使用。