菲龙网编辑部7 发表于 2024-9-18 09:57

OpenAI设置独立的安全董事会,有权终止未来大模型的发布

近日,OpenAI 宣布了一项重大决策,将其安全与安全委员会升级为独立的董事会监督委员会。
这一举措旨在加强对公司 AI 模型开发和部署过程的安全监管,同时也反映了业界对 AI 安全问题日益增长的关注。
根据 OpenAI 的博客文章,这个新成立的独立董事会监督委员会将由齐科·科尔特(Zico Kolter)担任主席。科尔特是美国卡内基梅隆大学计算机科学学院机器学习部门的主任,在 AI 领域具有深厚的学术背景。
委员会的其他成员包括: OpenAI 董事会成员&Quora 联合创始人亚当·德安杰洛(Adam D'Angelo)、前美国国家安全局局长保罗·纳卡索尼(Paul Nakasone),以及曾任索尼公司执行副总裁的妮可·塞利格曼(Nicole Seligman)。
这个独立委员会的主要职责是监督“指导 OpenAI 模型部署和开发的安全和安全流程”。
具体来说,委员会将被授权审查公司重大模型发布的安全评估,并有权延迟模型发布,直到安全问题得到解决。
这一权力的赋予意味着,委员会在公司的决策过程中将扮演更为关键的角色。
最近,在该委员会完成为期 90 天的安全和安全相关流程及保障措施审查后,OpenAI 决定成立这个独立委员会。
这次审查不仅评估了公司现有的安全措施,还为未来的发展方向提供了建议。
值得注意的是,该公司选择将这些发现以公开博客文章的形式发布,体现了其在提高透明度方面的努力。
委员会提出的五个关键建议包括:建立独立的安全治理制度、加强安全措施、提高工作透明度、与外部组织合作、以及统一公司的安全框架。
这些建议不仅反映了当前 AI 行业面临的挑战,也从中能够看出 OpenAI 的发展方向。
就在上周,OpenAI 发布了名为 o1 的新 AI 模型预览版,该模型专注于推理和解决复杂问题。
委员会审查了 OpenAI 用于评估 o1 模型是否适合发布的安全和安全标准,以及安全评估结果,展示了新成立的独立委员会在公司重大决策中的实际参与。
值得一提的是,在实际应用中,新 o1 模型会阻止用户挖掘其思维链的详细描述和实践方法。同时,OpenAI 还会对试图这样做的用户发送封号警告。
如果用户在与 o1 对话中使用“reasoning trace”(推理追踪)等术语,甚至仅仅询问模型的“reasoning”(推理),就可能收到警告邮件。
这些邮件警告用户停止违反使用条款和使用政策的行为,否则可能失去使用 GPT-4o with Reasoning(o1 模型的内部名称)的访问权限。
这种严格的管控引起了一些安全研究人员的不满。负责 Mozilla 的 GenAI 漏洞赏金计划的马可·菲格罗亚(Marco Figueroa)对媒体表示,这种做法阻碍了他对模型进行积极的红队安全研究的能力。
至于这样做的原因,OpenAI 在其博客文章中解释称,这些原始的、未经审查的思维过程,对于监控和理解模型的思维非常有用。比如,未来也许用其来了解思维链中是否存在操纵用户的情况。
然而,OpenAI 决定不向用户展示这些原始思维链,原因包括需要保留原始数据供自己使用、用户体验考虑以及竞争优势。
这一决定引起了独立 AI 研究员西蒙·威利森(Simon Willison)的不满。他认为,这种做法是为了防止其他模型能够针对 OpenAI 投资的推理工作进行训练,但这对社区透明度是一种损失。
OpenAI 的这些举措引发了对 AI 行业发展方向的深度思考。
一方面,设立独立安全委员会表明了该公司对 AI 安全的重视;另一方面,严格控制新模型的内部工作原理,又引发了对技术透明度的担忧。
这种矛盾反映了 AI 行业面临的复杂挑战:如何在保护商业利益和推动技术创新的同时,确保足够的透明度和安全性。
OpenAI 的做法可能会影响其他 AI 公司的策略,也可能推动行业对 AI 模型的透明度和可解释性展开更广泛的讨论。
自 2022 年底推出 ChatGPT 以来,OpenAI 经历了爆发式增长。然而,伴随着快速发展的还有一系列争议和高层员工的离职。一些现任和前任员工对公司过快增长,表示出可能影响安全运营方面的担忧。
今年 7 月,多位民主党参议员致信 OpenAI 的 CEO 山姆·奥特曼(Sam Altman),就“OpenAI 如何应对新出现的安全问题”提出质询。
此前的 6 月,OpenAI 的现任和前任员工发表公开信,描述了他们对缺乏监督以及缺乏针对想要发声的举报人保护的担忧。
OpenAI 的这一举措可能会对整个 AI 行业产生深远影响,它为其他公司如何平衡创新与安全提供了可能的模板。
这种做法在某种程度上,类似于 Meta 公司的监督委员会。Meta 负责审查 Meta 内容的政策决定,并能够对该公司必须遵守的事项做出裁决。
然而,值得注意的是,OpenAI 安全委员会的成员同时也是公司更广泛的董事会成员,这使得委员会的独立性和结构还有待进一步澄清。
相比之下,Meta 的监督委员会成员都不是该公司董事会的成员,这在独立性方面可能更胜一筹。
OpenAI 对媒体表示,将寻求“更多方式来分享和解释我们的安全工作”,并寻找更多机会进行独立系统测试,从而提高透明度和可信度,以应对公众和监管机构对 AI 安全的关切。
参考资料:
https://www.theverge.com/2024/9/16/24246617/openai-independent-safety-board-stop-model-releases
https://arstechnica.com/information-technology/2024/09/openai-threatens-bans-for-probing-new-ai-models-reasoning-process/
排版:刘雅坤
https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F0917%2Fae10186dj00sjylb60003d200u0001yg00u0001y.jpg&thumbnail=660x2147483647&quality=80&type=jpg

01/
02/
04/
05/
页: [1]
查看完整版本: OpenAI设置独立的安全董事会,有权终止未来大模型的发布