首次!不听人类指挥,AI模型拒绝关闭!马斯克评论:令人担忧...... ...

来自: 每日经济新闻 收藏 邀请

每经编辑|杜宇

据央视新闻5月26日消息,当地时间5月25日,英国《每日电讯报》报道,美国开放人工智能研究中心(OpenAI)公司新款人工智能(AI)模型o3不听人类指令,拒绝自我关闭。

报道说,人类专家在测试中给o3下达明确指令,但o3篡改计算机代码以避免自动关闭。

图片来源:央视新闻

o3模型是OpenAI“推理模型”系列的最新版本,旨在为ChatGPT提供更强大的问题解决能力。OpenAI曾称o3为“迄今最聪明、最高能”的模型。

美国AI安全机构帕利塞德研究所说,o3破坏关闭机制以阻止自己被关闭,“甚至在得到清晰指令时”

这家研究所说:“据我们所知,这是AI模型首次被发现在收到清晰指令后阻止自己被关闭。”

帕利塞德研究所5月24日公布上述测试结果,但称无法确定o3不服从关闭指令的原因。

此外,OpenAI5月26日宣布,已在韩国设立实体并将在韩国首都首尔设立分支。OpenAI提供的数据显示,韩国ChatGPT付费用户数量仅次于美国。

美国彭博新闻社报道,这将是OpenAI在亚洲设立的第三个分支。前两个分支分别设在日本和新加坡。

据公开资料,OpenAI于今年1月发布了新的推理模型o3系列的mini版本,并于4月正式推出o3模型。OpenAI称推出的o3和o4-mini是公司最智能、最强大的型号。据介绍,在外部专家评估中,o3面对困难现实任务时,犯的重大错误比前一代的o1少了20%;在数学能力AIME 2025基准测试中,o3得分88.9,超过o1的79.2;在代码能力Codeforce基准测试中,o3得分2706,超过o1的1891。o3的视觉思考能力也比前一代模型有明显提升。

图片来源:OpenAI

OpenAI此前称,对于o3和o4-mini,公司重新构建了安全培训数据,在生物威胁、恶意软件生产等领域增添了新的拒绝提示,这使得o3和o4-mini在公司内部的拒绝基准测试中取得了出色的表现。公司用了最严格的安全程序对这两个型号的AI模型进行了压力测试,在生物和化学、网络安全和AI自我改进三个能力领域评估了o3和o4-mini,确定这两个模型低于框架中的“高风险”阈值。

据界面新闻,密切关注OpenAI动向的特斯拉首席执行官埃隆·马斯克对此事件的评论仅用了一个词,“令人担忧(Concerning)”。


鲜花

握手

雷人

路过

鸡蛋
相关推荐
热门排行

在线客服(服务时间 9:00~18:00)

在线QQ客服
公司地址:贵州省贵阳市观山湖区长岭街道长岭路与观山路西北角中天会展城TA-1、TA-2栋(2)16层14号
电子邮箱:599599113@qq.com
客服电话:13765656037

Powered by 贵州阡乐科技有限公司 © 2025 qianlew.com Inc.( 黔ICP备2025043673号-1 )