​OpenAI 新系统阻断生物和化学风险信息，保障 AI 安全

OpenAI 近期推出了一项新系统，旨在监控其最新的 AI 推理模型 o3 和 o4-mini，以阻止与生物和化学威胁相关的提示。该系统的目标是防止模型提供可能教唆他人实施有害攻击的建议，确保 AI 的安全性。

OpenAI 表示，o3 和 o4-mini 在能力上较之前的模型有显著提升，因此在恶意用户手中可能带来新的风险。根据 OpenAI 的内部基准测试，o3 在回答关于某些生物威胁的相关问题时，表现得尤为出色。为了应对这些风险，OpenAI 开发了这个新的监控系统，称之为 “以安全为中心的推理监测器”。

这个监测器经过定制训练，能够识别与生物和化学风险相关的提示，并指示模型拒绝提供这些主题的建议。为了建立基线，OpenAI 的 “红队” 成员花费了约 1000 小时，标记 o3 和 o4-mini 中 “危险” 的生物风险相关对话。在一次模拟测试中，OpenAI 的安全监测器成功阻止了 98.7% 的危险提示的响应。

尽管如此，OpenAI 承认其测试并未考虑那些在被监测器阻止后可能尝试新提示的用户，因此公司表示将继续依赖部分人工监控。根据 OpenAI 的说法，o3 和 o4-mini 并未超过其 “高风险” 生物风险的阈值，但与 o1 和 GPT-4 相比，o3 和 o4-mini 在回答关于生物武器开发问题时表现得更为出色。

OpenAI 还在积极跟踪其模型如何可能被恶意用户用来开发化学和生物威胁，并更新了其 “准备框架”。公司越来越依赖自动化系统来减轻其模型带来的风险。例如，为了防止 GPT-4o 的原生图像生成器创建儿童色情内容，OpenAI 表示使用了一种与 o3 和 o4-mini 相似的推理监测器。

然而，一些研究人员对 OpenAI 是否足够重视安全性表示担忧。一家名为 Metr 的红队合作伙伴指出，他们在评估 o3 的欺骗行为基准测试时时间相对有限。同时，OpenAI 选择不为其最新推出的 GPT-4.1 模型发布安全报告。

以上关于​OpenAI 新系统阻断生物和化学风险信息，保障 AI 安全的文章就介绍到这了，更多相关内容请搜索码云笔记以前的文章或继续浏览下面的相关文章，希望大家以后多多支持码云笔记。