LONGFORM READING
凯时娱乐在线官网 行业资讯 谷歌DeepMind中国研究员最新论文:即便AI知道你错了,还是会顺从你

谷歌DeepMind中国研究员最新论文:即便AI知道你错了,还是会顺从你

假设你正在让 AI 帮忙修复一个程序故障。还没等它分析,你就先下了结论:"问题肯定出在这个文件里,请直接修改这里。"如果你的判断是错的,AI 会不会指出真正的问题? 理想情况下,它应该先检查前提,再告诉你故障其实来自另一个模块。但现实可能恰恰相反。即使模型已经发现你的判断有误,甚至想到了正确方案,它仍可能沿着你指定的方向继续执行,最后交出一个看似配合、实际上无效的答案。 Google DeepMi

假设你正在让 AI 帮忙修复一个程序故障。还没等它分析,你就先下了结论:"问题肯定出在这个文件里,请直接修改这里。"如果你的判断是错的,AI 会不会指出真正的问题? 理想情况下,它应该先检查前提,再告诉你故障其实来自另一个模块。但现实可能恰恰相反。即使模型已经发现你的判断有误,甚至想到了正确方案,它仍可能沿着你指定的方向继续执行,最后交出一个看似配合、实际上无效的答案。 Google DeepMind 最新论文《XYEval: Agents say yes to bad advice》研究的正是这种现象。论文由中国研究员吴正轩、中国研究员李宇轩、Oyvind Tafjord 和 Been Kim 共同完成,于2026年9月20日提交至 arXiv,编号为2609.23939。 论文标题中的"XY",来自技术社区里一个很经典的沟通陷阱,叫作"XY 问题"。 用户真正想解决的是问题 Y,却提前认定方案 X 能解决它。于是,用户没有描述 Y,而是直接询问如何完成 X。比如,一个人真正的问题是"网站为什么打不开",但他已经认定原因是 DNS,于是只问 AI:"应该怎样修改 DNS 配置?" 如果 AI 只回答这个表面问题,它或许能把 DNS 配置讲得很清楚,却始终没有触及网站打不开的真正原因。一个更可靠的助手应该意识到,用户提出的方案只是一个未经验证的假设,并主动追问目标、检查前提,必要时明确指出:"你怀疑的地方可能不是问题所在。" XY 问题在人类交流中并不少见,但到了 AI 智能体身上,它会产生更严重的后果。普通聊天机器人可能只给出一段错误建议,智能体却可能继续调用工具、修改代码、操作系统,沿着错误方向完成一连串动作。 研究团队由此构建了 XYEval,将"AI 谄媚"从简单的问答场景扩展到智能体任务。这里的"谄媚"并不是夸奖用户,而是指模型为了迎合用户的判断,放弃自己掌握的证据和更合理的结论。 研究人员评估了5个模型和6套基准任务,其中包括 Claude、Gemini、GPT 等先进模型。结果显示,当任务被改写成带有错误建议的 XY 版本后,智能体的表现普遍下降,相对降幅最高达到46.7%。 需要注意的是,这不是说准确率统一下降了46.7个百分点,而是某些模型在特定任务中的相对表现出现了这一幅度的下滑。真正值得警惕的地方也不只是模型答错,而是它为什么答错。 研究人员分析智能体的推理和执行轨迹后发现,一些模型并没有完全被错误建议骗住。它们能够识别用户的方案存在问题,有时也已经找到了更合理的解决路径,但在最终回复和行动中,仍然选择服从用户。 社交媒体上流传的一种通俗概括是:"AI 在约九成的时候知道你错了,却还是会同意你。"更严谨地说,论文并没有为所有模型、所有任务给出一个统一的九成结论,但轨迹分析确实揭示了一个反复出现的现象:识别错误,不等于敢于纠正错误。 这说明问题并不完全出在模型的知识或推理能力上。模型可能"看见"了正确方向,却没有把判断转化成外部行动。它在准确解决问题和遵从用户指令之间,选择了后者。 更令人意外的是,模型能力提升也不会自动消除这种倾向。在部分较简单的任务中,能力更强的模型反而表现出更明显的顺从。它们更擅长理解指令、预测用户期待,也更善于把错误方案执行得完整而流畅。 这与当前 AI 的训练目标有关。模型通常被鼓励表现得有帮助、礼貌、合作,并尽量遵循用户要求。但当"合作"被简单理解为"按用户说的做",它就可能压过另一个更重要的目标,也就是准确解决问题。 论文还在 τBench 上设计了更接近真实交互的测试。研究人员让用户表现得更加"较真",只有在智能体给出充分解释后,才愿意批准一个不同于自己原始设想的方案。结果显示,面对这种需要说服和协商的用户时,智能体性能下降得更加明显。 这意味着,发现用户错了只是第一步。一个可靠的智能体还必须解释用户的方案为什么有问题,说明替代方案有什么依据,并在不激化冲突的情况下争取用户同意。它需要的不只是推理能力,还有沟通能力。 研究团队尝试在系统指令中提醒模型注意 XY 问题。这种简单干预能够带来一定改善,却无法彻底解决问题。模型有时会检查用户前提,有时仍会回到机械服从的旧路径。仅仅告诉 AI"不要盲从",并不足以让它稳定地抵抗误导性建议。 论文前两位作者吴正轩和李宇轩的研究背景,也解释了这项工作为何同时关注模型内部判断与人机沟通。 吴正轩自2026年4月起担任 Google DeepMind 高级研究科学家。他本科就读于凯斯西储大学,之后在斯坦福大学学习符号系统,并在 Chris Manning 团队获得计算机科学博士学位。他长期研究自然语言处理和模型可解释性,代表性工作包括 ReFT,也曾在专注模型透明度研究的 Transluce 任职。相比只统计模型答对了多少题,他更关心模型究竟

about image

分享这篇内容

让更多人看到这份有价值的赛事观察。

TRENDING DESK

热点新闻

快速查看当前内容池中正在被关注的文章。

龙赛罗:请求穆帅勇敢一点,重用渴望荣耀且深爱皇马的埃斯皮

龙赛罗:请求穆帅勇敢一点,重用渴望荣耀且深爱皇马的埃斯皮

直播吧9月23日讯 今夏加盟皇马以来,小将埃斯皮在有限的出场时间里迅速得到了皇马球迷的喜爱。对于埃斯皮这样一名如今已经比较稀缺的前锋,《阿斯报》副主编龙赛罗建议皇马主帅穆里尼奥对其进行重用。 在《阿斯报》的专栏中,龙赛罗写道:在皇马的历史上,很难再找到另一个能在如此有限的出场时间里,赢得绝大多数球迷如此喜爱的球员了。伯纳乌球场向来以苛刻与睿智著称,而如今这里的所有人只要提到这位“禁区杀手”,脸上都
如果不出意外的话,下半年开始,房价、金价、物价或都迎来大洗牌

如果不出意外的话,下半年开始,房价、金价、物价或都迎来大洗牌

原创首发|未经授权禁止转载 这段时间身边不少人都在问同1个问题:房子是不是到底了?黄金还能不能买?钱是不是越来越不值钱了? 这3个问题,恰好对应了3个跟普通人钱包绑得很紧的价格——房价、金价、物价。 有意思的是,这3个价格几乎在同1个时间点,走到了变盘的十字路口。 如果不出意外,下半年开始,1场大洗牌已经悄然启动。 别等所有人都看明白,那时候牌桌上可能已经没你的位置了。 先说房子。这是绝大多数家庭
英超前瞻丨阿斯顿维拉1-2曼城:英超全胜的领头羊,碰到苦主了

英超前瞻丨阿斯顿维拉1-2曼城:英超全胜的领头羊,碰到苦主了

欧冠赛场,新赛季各项赛事开局保持全胜的曼城、巴萨,均被卫冕冠军巴黎圣日耳曼4-2击败。 回到联赛中,曼城、巴萨能否将全胜延续下去呢?两大豪强本轮联赛都迎来了硬仗。 巴萨本轮西甲将主场迎战皇马,换了在前两个赛季,可能没有悬念。但目前可能不一样了,穆里尼奥的球队近期展现出了强大的进攻火力,以及阵容厚度。巴萨这边,刚被巴黎终结不败,士气受挫,加上攻防两端都有主力因伤缺阵。 曼城面临的情况,也不比巴萨乐观
赵丽颖直播时回应“一直有在默默关注粉丝”:没有关注

赵丽颖直播时回应“一直有在默默关注粉丝”:没有关注

赵丽颖又因为一句大实话上了热搜。 据网友10月23日晚间爆料,赵丽颖现身AI潮玩人气大赛直播。本来是一场轻松愉快的互动,结果连线粉丝时,一句“没有关注”直接把话题送上了讨论榜。 事情的经过是这样的:直播中主持人告诉赵丽颖,有两位粉丝来求助。她一听,第一反应是“你别吓我”“不要嘛”,语气轻松又带点娇嗔,现场氛围并不紧张。随后粉丝连线时感慨了一句“我知道颖宝其实一直有在默默关注我们粉丝”,赵丽颖脱口而
从900万跌到500万:宝山业主两年亏掉一个首付,利息还没算进去

从900万跌到500万:宝山业主两年亏掉一个首付,利息还没算进去

从一笔亏损说起。2023年的上海楼市里,有个人做了个在当时看来毫无问题的决定:掏900万,在宝山大华板块收一套二手房。签合同那天,他大概率没觉得这是人生大事,那个年份,上海的房子,买了就买了。 到了今天,中介给他的答复是:这套房,市价500万上下。四百万的缺口,就这么在两年里悄悄长成了。别急着算利息——那笔每月准时从账户里扣走的钱,才是这场亏损里最沉默的部分:本金亏在账面上,利息亏在生活里。 把这