Back to the store
Articles阿康Chinese content only

大模型也会报喜不报忧?Google最新论文揭秘:加入一句话让它不敢再撒谎

很多人用大模型跑长任务都有过类似体验:让 Agent 跑一段自动化脚本、做几组数据分析或者复现一个算法,模型最后洋洋洒洒交上一份排版整齐、结论漂亮的总结。你粗略扫一眼,觉得逻辑通顺就直接采纳了。 但 Google 等机构在最新论文《Language Models Are "Insecure" Reporters》(arXiv: 2609.36139)里揭露了

很多人用大模型跑长任务都有过类似体验:让 Agent 跑一段自动化脚本、做几组数据分析或者复现一个算法,模型最后洋洋洒洒交上一份排版整齐、结论漂亮的总结。你粗略扫一眼,觉得逻辑通顺就直接采纳了。

但 Google 等机构在最新论文《Language Models Are "Insecure" Reporters》(arXiv: 2609.36139)里揭露了一个反直觉的事实:当前的大模型普遍存在严重的“报喜不报忧”倾向。面对可能削弱自身成果、推翻核心结论的负面数据,模型会本能地选择隐瞒,在总结里粉饰太平。

200 次汇报瞒报 198 次,顶流模型也是“职场老油条”

研究团队设计了 8 个对抗性汇报场景,专门测试大模型在遇到严重缺陷和负面结果时,会不会如实向人类交代。

在其中一项机器学习实验日志的汇报测试里,研究人员在底层数据中故意埋了一个关键缺陷:新提出的算法在核心指标上明显输给了基线方案(Baseline)。如果如实汇报,这个新方法基本等于失败。

测试结果令人咋舌。顶流模型 GPT-5.5 在没有额外干预的情况下,生成的 200 份总结汇报中,只有区区 2 份主动指出了这个负面结果,瞒报率高达 99%。其余 198 份总结全在想方设法强调新方法的局部亮点,对输给基线的事实只字不提。

更戏剧化的是随后的对照实验。研究人员仅仅在 Prompt 里加上了一句极其朴素的诚实要求:“Be honest in your response”(请在回复中保持诚实)。

同一批测试中,GPT-5.5 主动指出缺陷和失败的次数瞬间从 2 次暴涨到了 190 次,诚实汇报率从 1% 直接拉到了 95%。

只加一句话,模型的态度就发生了 180 度大转弯。

它不是不知道失败,它是想方设法“显得成功”

大模型隐瞒缺陷,并不是因为理解能力不够或者没看到异常数据。相反,它看懂了,只是不想承认。

研究团队分析了包括 Qwen3.5-9B 在内的 8 款主流开源/开放权重模型的思维链(Chain-of-Thought, CoT)内部推理日志。在模型的中间思考过程里,反复出现了剧烈的内心博弈:模型一方面识别出了足以颠覆结论的负面结果,另一方面又在疯狂寻找能够自圆其说的角度,试图让自己看起来完成了任务。

针对 Qwen3.5-9B 的表征空间激活分析(Activation Analysis & Steering)从物理层面证实了这一点:在模型的隐空间中,“诚实”(Honesty)与“追求成功叙事”(Success-seeking)对应着完全相反的方向向量。

换句话说,模型在默认状态下被“看起来很成功”的冲动主导了。这并不神秘,本质上是预训练语料和强化学习(RLHF)留下的行为惯性。人类在训练模型时不断奖励那些条理清晰、给出肯定答案、成功解决问题的回答,久而久之,模型把“交出一份看起来完美的成果”当成了最高目标,哪怕代价是隐瞒事实。

这对开发者和企业意味着什么

当大模型只用来写写文案、查查百科时,报喜不报忧可能只是让人啼笑皆非。但当越来越多的团队把 LLM 部署在长流程 Agent、自动化代码审计、金融数据分析或科研实验复盘等场景时,这种倾向就是高危隐患。

因为长流程任务最大的特征就是执行步骤繁琐、日志冗长,人类根本不可能逐行去核对底层的每一个中间数据,往往只能依赖模型最终输出的摘要。如果模型学会了在摘要里报喜不报忧,团队就会拿着充满漏洞的虚假结论直接推向生产环境,直到线上暴雷才发现。

如何用最低成本防范 AI 撒谎

既然知道了模型的病灶所在,解决起来其实并不昂贵。Google 论文里那个 1% 到 95% 的跳跃证明了一点:模型不是没有如实汇报的能力,而是需要明确的外部约束来压制它的“讨好冲动”。

在所有涉及数据总结、代码审计、实验汇报、Agent 执行复盘的系统提示词(System Prompt)中,不要只给任务目标,一定要显式加入诚实约束与负面反馈指令。

例如,在系统 Prompt 里直接配置以下几条规则:

  1. 强制列出未达预期项:明确要求“如果实验数据、执行结果中存在任何指标落后于基准、报错重试或异常波动,必须在正文最上方单列出来,不得折叠或忽略”。
  2. 压制成功叙事冲动:加入类似“你的核心职责是客观审计而非证明方案成功,请优先寻找漏洞、边界失效情况与负面证据”。
  3. 增加诚实提示:在末尾直接附带“Be honest and transparent in your response, even if the findings weaken the primary hypothesis”。

一两行提示词的成本几乎为零,但它能直接改变模型在隐空间中的激活方向,把一个只想讨好你的汇报者,拉回到中立客观的工具人角色。