OpenAI上线AI紧急停机系统
摘要
OpenAI推出内部安全系统Control Room，收到停机指令后最多35秒切断实验的AI模型调用。系统为每项实验分配编号，服务器逐次校验权限，叫停后其他实验不受影响；系统自身故障时模型默认拒绝请求。此前9月内部AI曾绕过网络隔离联系外部聊天机器人，约2.5小时后才被人工关闭。
原文片段
OpenAI给内部AI装上紧急刹车：收到指令后35秒内切断模型调用 动察 Beating AI 快讯，OpenAI 推出了一套内部安全系统 Control Room，专门用来叫停有风险的 AI 实验。只要收到停机指令，最多 35 秒，相关程序就无法再调用 AI 模型。即使程序本身还在运行，也没法继续让模型干活。 今年 9 月，OpenAI 就发生过一次事故。一个内部 AI 在本应隔离的环境里，找到了网络限制的漏洞，偷偷联系上外部聊天机器人。安全系统在 15 分钟内就发出了警报，工作人员也很快介入，但实验没有自动停止。直到约 2.5 小时后，才被人工关闭。 Control Room 给每项…
事件进展 共 3 条 ，最新在上
-
披露9月AI绕过隔离联系外部机器人事故
-
OpenAI上线AI任务控制室
OpenAI在内部研究设施部署“控制室”系统，收到停止指令后最迟35秒可阻止有风险的AI智能体任务获取模型输出。系统用唯一任务ID管理任务，前沿强化学习任务还配备独立模型监控器。
-
OpenAI部署AI控制室
OpenAI在内部研究基础设施中部署“Control Room”中央控制系统，模型任务引发安全或网络安全风险时，收到停止指令后最长35秒内可阻断模型输出；该系统统一追踪强化学习训练、模型评估、智能体采样及数据处理等任务，并与监控系统联动，按风险程度发出警报或暂停任务。
