DualGauge：由LLMS和编码代理生成仅规范代码的自动化联合安全-功能基准

Arxiv：2511.20709v3公告类型：替换-交叉摘要：大型语言模型(LLM)和基于LLM的编码代理现在用于从自然语言规范生成代码，但确保此类代码在功能上正确且安全仍然是一个挑战。我们提出了DualGauge，这是第一个用于联合评估仅规范代码生成的正确性和安全性的全自动化框架，由DualGauge-BENCH支持，DualGauge-BENCH是一个与语言无关的基准，每个任务都与来自同一规范的功能和安全测试配对。通过对10个典型的LLM进行评估，我们发现，功能正确性大大高估了可靠的代码生成：即使是最强大的模型，在每种语言中的安全-功能联合成功率也不到15%。常见的模型端因素--规模、扩展思考、量化、指令调优和代码专门化--不能可靠地提高联合性能，这表明安全和正确的代码生成不是简单地来自更强的编码能力。对3个领先的编码代理(Codex、OpenHands和Claude Code)的评估表明，迭代支架对于仅限规范的任务并不是一种可靠的补救措施：结果强烈依赖于框架，三个代理中有两个未能超越可比的直接模型。定性审计显示，这些故障集中在输出合同边界和存在但不足的守卫中--只有联合基准测试才能可靠地暴露这些模式。