棱镜：通过过程奖励模型引导推理推动深度思考的前沿

Arxiv：2603.02479v2公告类型：替换摘要：DEEPTHINK方法通过生成、改进和聚合候选解决方案群体来改进推理，从而在复杂的数学和科学任务中实现强大的性能。然而，现有框架在推理过程中仍然会受到不可靠的正确性信号的影响，这造成了群体增强瓶颈，其中更深入的深思熟虑放大了错误，抑制了正确的少数解，并产生了对额外计算的弱回报。本文介绍了DEEPTHINK系统的功能分解，并提出了一种基于过程奖赏模型(PRM)的推理算法PRISM，它使用步进级验证来指导重采样、方案接受和解决方案聚合。在求精过程中，PRISM使用PRM分数来指导种群重采样和随机局部求精，从而在保持多样性的同时将计算集中在更高质量的推理上。当与PRM指导的聚合方法PRM-Score-Vote配合使用时，PRISM与现有的DEEPTHINK方法具有竞争力或优于现有的DEEPTHINK方法，在AIME25、HMMT25和GPQA Diamond上分别达到90.0%、75.4%和71.4%，但超过gpt-OSS-120b。此外，我们的分析表明，PRISM在精化过程中产生一致的净方向校正，并在初始种群包含的正确候选者很少的情况下保持竞争精度。