返回资讯
学术研究

OpenAI 公布前沿模型训练环境的离线隔离与红队测试方案

专题配图图片仅供信息参考图片仅供参考版权归原作者
摘要

OpenAI 介绍前沿模型训练与评估环境的安全加固:以缓存网页构建离线环境,并结合沙箱、虚拟机、网络边界和行为监控实施多层隔离。公司称,内部红队测试发现软件漏洞及配置问题,修复后已于 10 月 1 日恢复相关强化学习训练,并把持续红队测试纳入后续安全评估。

离线训练与多层隔离

OpenAI 在 10 月 23 日介绍了内部前沿模型训练环境的加固措施。模型可以使用缓存网页开展浏览和检索练习,同时受沙箱、虚拟机、网络边界及行为监控的共同约束。

用红队测试检查边界

公司让模型智能体尝试寻找隔离薄弱点,测试目标包括未经授权的联网、越过资源边界,以及不同任务之间的通信。OpenAI 称,测试发现了软件漏洞和配置问题,相关修复已纳入环境加固。

适用范围与后续安排

公告描述的是内部研究环境,不能据此断言已发布的用户产品发生了同类事件。OpenAI 表示,在完成修复和评估后,已于 10 月 1 日恢复相关强化学习训练,并将持续红队测试纳入后续安全评估。

资料:OpenAI 官方说明。

原始资料

OpenAI · 编辑整理

查看来源原文 产品参数、测试条件及最新修订以来源原文为准。