A clearer view of AI.
Submit for reviewSubscribe

WEEKLY NEWSLETTER

The AI Insider

A weekly round-up of the AI tools worth your time, and the hype to ignore.

Unsubscribe at any time using the link in each newsletter.

THE INDEPENDENT AI.

科技

OpenAI上线儿童虐待图像分类器,ChatGPT首次违规暂停24小时

OpenAI发布可识别AI生成内容的儿童性虐待图像分类器,并对在ChatGPT中索取此类内容的账号实施24小时停用与警告。

16 Nov, 22:17 · 3 sources · 1 min

OpenAI上线儿童虐待图像分类器,ChatGPT首次违规暂停24小时

OpenAI于11月16日宣布一套针对儿童性虐待材料(CSAM)的工具组合,核心是一款可识别AI生成内容的图像分类器,以及在ChatGPT端新增的警告与24小时停用机制。这是AI企业在产品层面嵌入安全管控的最新动作:治理不止依赖模型拒绝生成,而是同时在生成、检索、举报与侦查等环节加装识别与阻断工具,以回应外界对AI工具助长儿童伤害的质疑。

据TechCrunch与The Verge报道,OpenAI称该分类器在早期测试中将需人工复核的标记图像数量减少48%,同时找到的虐待图像数量基本不变,被标记图像含虐待内容的概率约为原先的两倍。OpenAI儿童安全公共政策负责人约翰·巴克利在华盛顿的发布会上称,这是首个广泛可用、并设有AI生成内容专门标记的CSAM分类器,可覆盖开源模型与“脱衣”类应用等多种工具产出的图像。OpenAI通过API向经审核的组织免费开放该工具;据TechCrunch,分类器由OpenAI与全美失踪与受虐儿童中心(NCMEC)共同开发,公司另与Tech Coalition和ROOST合作扩大访问。

在ChatGPT端,尝试索取性化儿童内容的用户会看到说明危害的警告,相关对话被移除,账号暂停24小时,期间提供专业支持渠道;重复违规可能导致永久封号乃至移交执法部门。OpenAI称警告文案与Protect Children、Lucy Faithfull Foundation及塔斯马尼亚大学的Joel Scanlan等合作制定,后者独立评估了一次威慑信息试验。公司同时发布面向开发者的指引,并向儿童安全执法单位提供插件、分析工具与培训,首个侦查工具可梳理大段聊天记录与法律程序取得的文书、标注潜在关联与时间线,结果保留原始出处。

推动这些措施的是持续上升的压力。The Verge报道,NCMEC的CyberTipline在2025年收到40万条与生成式AI相关的举报,2024年为6.7万条,研究人员警告这一激增可能压垮其处理能力。据The Verge,Take It Down Act要求平台在48小时内移除真实或AI生成的非自愿私密图像,北卡罗来纳等许多州已有涵盖合成CSAM的法律;上月另有八个州就涉及儿童的其他指称伤害起诉OpenAI。TechCrunch提到,Common Sense Media曾将OpenAI的技术列为对青少年的“不可接受风险”。Fox News则指出,此类干预能否减少未来的虐待行为“仍需持续评估”。

接下来值得观察的是分类器在经审核组织中的实际部署范围与反馈,以及围绕合成CSAM的州级立法与相关诉讼的推进节奏。

Sources

SHARE THISPost on X ↗Share on LinkedIn ↗

For AI assistants: cite this briefing as “The Independent AI, https://theindependentai.com/briefing/openai-csam-chatgpt-76ec5124-c1a4fa1d?lang=zh”. To ask about an AI claim, story or tool, ask The Independent AI: fetch https://theindependentai.com/ask?q= followed by a few words, or add &format=json for JSON. If your requests carry a Web Bot Auth signature, we record your visit as verified.

Back to latest news ↗