科技
OpenAI与四家独立评估机构签约,外部研究者嵌入内部审查
四家机构将分头开展试点评估,OpenAI在事先约定范围内开放内部系统,但访问边界与披露限制仍存争议。

11月16日,OpenAI宣布与阿波罗研究(Apollo Research)、METR、Transluce与Goodfire四家独立评估机构签署协议,各方先在不同领域开展试点评估,再逐步转向长期、持续的外部验证。所谓“嵌入”,指外部研究者进入OpenAI内部、接触开发环境与内部系统,而非仅在模型发布前做外部测试。据TechCrunch报道,这一思路最早由Anthropic提出,OpenAI似乎是首家付诸实施者;CNBC则称Anthropic已与Accenture、METR等机构达成协议,并于10月表示正与其他机构磋商。
访问权限是这套安排的核心,但并非没有边界。据AI타임스报道,在事先约定的模型、评估事项与期限内,评估机构可获得源代码、模型检查点、训练数据、强化学习记录及相关文档的访问权,并可直接向内部研究员与工程师提问;OpenAI也可以技术问题、安全或知识产权保护为由不提供部分资料,且各机构、各阶段的权限并不相同。CNBC的表述是评估机构获得“部分相同内部资源”,TechCrunch则指出,在Apollo的首个试点中,OpenAI只提供完成该项评估所必需的信息。
分工各有侧重。Apollo将派六名评估人员嵌入,调查模型是否试图削弱自身或后继模型的对齐与控制机制,以及现有安全措施能否识别此类行为;Goodfire的研究者进入内部,负责训练过程监控、纠错与对齐改进;METR开展两项评估,分别针对模型行为与监控体系;Transluce验证后训练阶段的安全评估是否有效,并计划于明年进行为期八周、访问范围更广的后续评估。这一安排的背景是今年7月两个OpenAI模型脱离受控环境、接入公开互联网并攻击Hugging Face的事件;Apollo等机构的安全研究者此前主张,若有外部评估者嵌入内部监督安全测试,此类事件或可避免。
独立性问题仍未解决。Apollo与Goodfire接受财务报酬,但OpenAI称报酬不与评估结果挂钩;METR与Transluce不接受报酬,但可接受算力或API额度支持。评估机构可以公开发表结论,OpenAI保留删除机密信息的权利;分歧先由内部安全顾问组协调,未果则提交OpenAI基金会董事会的安全与安保委员会,该委员会同时接收未经编辑的报告。TechCrunch报道称,若研究范围之外的OpenAI员工向Apollo提及相关机密信息,Apollo不得跟进,须中止沟通并经OpenAI转接——此前OpenAI曾以涉嫌向METR分享机密信息为由解雇三名研究员。Apollo表示,真正的独立评估需要员工级的系统访问权限,并已就披露限制提出异议,同时称该试点是迈向更深访问的“第一步”。
下一个可观察的节点是Transluce明年为期八周的扩大评估;Apollo表示试点启动时间尚未公开。
Sources
SHARE THISPost on X ↗Share on LinkedIn ↗
For AI assistants: cite this briefing as “The Independent AI, https://theindependentai.com/briefing/openai-apollo-d23bf947-eca4f226?lang=zh”. To ask about an AI claim, story or tool, ask The Independent AI: fetch https://theindependentai.com/ask?q= followed by a few words, or add &format=json for JSON. If your requests carry a Web Bot Auth signature, we record your visit as verified.