OpenAI设置独立的安全董事会，有权终止未来大模型的发布

近日，OpenAI 宣布了一项重大决策，将其安全与安全委员会升级为独立的董事会监督委员会。
这一举措旨在加强对公司 AI 模型开发和部署过程的安全监管，同时也反映了业界对 AI 安全问题日益增长的关注。
根据 OpenAI 的博客文章，这个新成立的独立董事会监督委员会将由齐科·科尔特（Zico Kolter）担任主席。科尔特是美国卡内基梅隆大学计算机科学学院机器学习部门的主任，在 AI 领域具有深厚的学术背景。
委员会的其他成员包括： OpenAI 董事会成员&Quora 联合创始人亚当·德安杰洛（Adam D'Angelo）、前美国国家安全局局长保罗·纳卡索尼（Paul Nakasone），以及曾任索尼公司执行副总裁的妮可·塞利格曼（Nicole Seligman）。
这个独立委员会的主要职责是监督“指导 OpenAI 模型部署和开发的安全和安全流程”。
具体来说，委员会将被授权审查公司重大模型发布的安全评估，并有权延迟模型发布，直到安全问题得到解决。
这一权力的赋予意味着，委员会在公司的决策过程中将扮演更为关键的角色。
最近，在该委员会完成为期 90 天的安全和安全相关流程及保障措施审查后，OpenAI 决定成立这个独立委员会。
这次审查不仅评估了公司现有的安全措施，还为未来的发展方向提供了建议。
值得注意的是，该公司选择将这些发现以公开博客文章的形式发布，体现了其在提高透明度方面的努力。
委员会提出的五个关键建议包括：建立独立的安全治理制度、加强安全措施、提高工作透明度、与外部组织合作、以及统一公司的安全框架。
这些建议不仅反映了当前 AI 行业面临的挑战，也从中能够看出 OpenAI 的发展方向。
就在上周，OpenAI 发布了名为 o1 的新 AI 模型预览版，该模型专注于推理和解决复杂问题。
委员会审查了 OpenAI 用于评估 o1 模型是否适合发布的安全和安全标准，以及安全评估结果，展示了新成立的独立委员会在公司重大决策中的实际参与。
值得一提的是，在实际应用中，新 o1 模型会阻止用户挖掘其思维链的详细描述和实践方法。同时，OpenAI 还会对试图这样做的用户发送封号警告。
如果用户在与 o1 对话中使用“reasoning trace”（推理追踪）等术语，甚至仅仅询问模型的“reasoning”（推理），就可能收到警告邮件。
这些邮件警告用户停止违反使用条款和使用政策的行为，否则可能失去使用 GPT-4o with Reasoning（o1 模型的内部名称）的访问权限。
这种严格的管控引起了一些安全研究人员的不满。负责 Mozilla 的 GenAI 漏洞赏金计划的马可·菲格罗亚（Marco Figueroa）对媒体表示，这种做法阻碍了他对模型进行积极的红队安全研究的能力。
至于这样做的原因，OpenAI 在其博客文章中解释称，这些原始的、未经审查的思维过程，对于监控和理解模型的思维非常有用。比如，未来也许用其来了解思维链中是否存在操纵用户的情况。
然而，OpenAI 决定不向用户展示这些原始思维链，原因包括需要保留原始数据供自己使用、用户体验考虑以及竞争优势。
这一决定引起了独立 AI 研究员西蒙·威利森（Simon Willison）的不满。他认为，这种做法是为了防止其他模型能够针对 OpenAI 投资的推理工作进行训练，但这对社区透明度是一种损失。
OpenAI 的这些举措引发了对 AI 行业发展方向的深度思考。
一方面，设立独立安全委员会表明了该公司对 AI 安全的重视；另一方面，严格控制新模型的内部工作原理，又引发了对技术透明度的担忧。
这种矛盾反映了 AI 行业面临的复杂挑战：如何在保护商业利益和推动技术创新的同时，确保足够的透明度和安全性。
OpenAI 的做法可能会影响其他 AI 公司的策略，也可能推动行业对 AI 模型的透明度和可解释性展开更广泛的讨论。
自 2022 年底推出 ChatGPT 以来，OpenAI 经历了爆发式增长。然而，伴随着快速发展的还有一系列争议和高层员工的离职。一些现任和前任员工对公司过快增长，表示出可能影响安全运营方面的担忧。
今年 7 月，多位民主党参议员致信 OpenAI 的 CEO 山姆·奥特曼（Sam Altman），就“OpenAI 如何应对新出现的安全问题”提出质询。
此前的 6 月，OpenAI 的现任和前任员工发表公开信，描述了他们对缺乏监督以及缺乏针对想要发声的举报人保护的担忧。
OpenAI 的这一举措可能会对整个 AI 行业产生深远影响，它为其他公司如何平衡创新与安全提供了可能的模板。
这种做法在某种程度上，类似于 Meta 公司的监督委员会。Meta 负责审查 Meta 内容的政策决定，并能够对该公司必须遵守的事项做出裁决。
然而，值得注意的是，OpenAI 安全委员会的成员同时也是公司更广泛的董事会成员，这使得委员会的独立性和结构还有待进一步澄清。
相比之下，Meta 的监督委员会成员都不是该公司董事会的成员，这在独立性方面可能更胜一筹。
OpenAI 对媒体表示，将寻求“更多方式来分享和解释我们的安全工作”，并寻找更多机会进行独立系统测试，从而提高透明度和可信度，以应对公众和监管机构对 AI 安全的关切。
参考资料：
https://www.theverge.com/2024/9/16/24246617/openai-independent-safety-board-stop-model-releases
https://arstechnica.com/information-technology/2024/09/openai-threatens-bans-for-probing-new-ai-models-reasoning-process/
排版：刘雅坤


01/
02/
04/
05/