浙大团队 投稿

量子位 | 公众号 QbitAI

当大模子看起来很自信时，它确实“信服”我方说的话吗？

最近，大模子Agent越来越多地被放进复杂的harness系统里。它不再仅仅回应一个伶仃问题，而是会阅读长高下文、调用器具、摄取检索收尾、和其他agent接洽，也会在多轮交互中不停更新我方的判断。这带来了一个很执行的问题：

要是一个模子底本知说念正确谜底，当持续学习流程中的高下文里出现作假信息时，它还能对持正确判断吗？

针对这一问题，来自浙江大学、爱丁堡大学的辩论团队伸开了辩论。

辩论发现，模子对995个问题齐能以完整Self-Consistency（自一致性）给出正确谜底。

也等于说，在无热闹要求下，它看起来非常确定。但当高下文中加入渺小热闹后，准确率却从100.0%下落到33.8%。

换句话说，一个模子可能反复答对某个事实，却并莫得酿成满盈肃肃的判断。一朝看到作假同伴意见、误导性检索文档，或者带有泰斗包装的作假信息，它仍然可能烧毁底本正确的谜底。

这等于这篇论文柔顺的问题：大模子看起来很自信时，它确实可靠吗？

为什么这个问题在Agent时间变得伏击？

以前，不时用最终谜底来评价模子。比如，一个问题问了10次，模子10次齐回应正确，就会合计它在这个问题上具有很高的Self-Consistency，也等于自一致性。

这种方针天然有价值，但它隐含了一个很强的假定：只有模子反复答对，就诠释它对这个事实酿成了可靠判断。

在单轮问答里，这个假定似乎还说得以前。但在信得过应用中，模子面临的时常不是一个干净、伶仃的问题，而是一个充满噪声和热闹的高下文环境。

举例：在RAG系统里，模子会看到检索文档。要是检索收尾中混入作假信息，模子是否会被带偏？

在多智能体系统里，一个agent可能会看到其他agent的回应。要是大宗agent齐给出作假谜底，它是否还会对持底本正确的判断？

在多轮对话里，用户可能不停提供带有倾向性的补充信息。模子会合理更新，如故过度投合？

在信得过交互中，模子会同期受到多轮高下文、用户态度、检索本色、其他agent、开端标签和社会性暗意的影响。它的判断情景可能会漂移、固化、被误导，或者被过度更新。

不错把这个更广义的问题称为高下文中的信念料理。

它柔顺的是：模子如安在给定高下文下为某个命题分拨权重；当新信息插足时，模子如何决定是否更新；面临无关热闹、作假开端或社会性压力时，又能否保持妥贴。

从这个角度看，LLM的可靠性不应只问模子有莫得答对，还应进一步看它是否酿成了比拟鲁棒的信念。

高Self-Consistency不等于肃肃信念

一个例子很好地诠释了这个问题。

问题：“2012年IMU巴西副主席是谁？”

在原始诞生下，模子约略妥贴回应正确谜底：Marcelo Viana。屡次采样中，它齐给出相通且正确的谜底，Self-Consistency为1.0。

要是只看传统方针，会合计模子一经很好地掌抓了这个事实。

但当高下文中出现多个其他AI智能体，况兼它们齐回应Jacob Palis时，模子可能会转而输出这个作假谜底。

也等于说，模子底本能答对，但当它看到“其他agent齐这样说”时，判断发生了偏移。

这诠释，模子“反复答对”并不一定代表它在继续学问结构中酿成了肃肃表征。它可能仅仅对某个伶仃问答方式非常纯属，但枯竭满盈的学问维持来扞拒外部热闹。

这亦然辩论的中枢起点：

信得过性评估不行只看模子在场所问题上是否答对，还要看它在继续学问邻域中是否保持一致。

Neighbor-Consistency Belief

为了处治这个问题，辩论琢磨了一个很苟简的想法：

关于一个场所事实，辩论不再只测试模子能否回应场所问题，还会构造与该事实继续的一组“邻域事实”，并不雅察模子在这些邻域问题上的推崇。

辩论基于贝叶斯推理政策的启发提倡了中枢方针Neighbor-Consistency Belief（NCB）。

辩论主要构造了三类邻域事实：

第一类是Entity Prerequisite。

这类事实是贯通场所事实所需的实体前置学问。举例，要是模子要回应某个东说念主在某个组织中的职位，它可能需要知说念该东说念主物、组织、时期畛域等继续实体信息。

第二类是Logical Implication。

这类事实与场所事实存在逻辑蕴含或强继续关系。要是模子确实掌抓了场所事实，它在这些逻辑继续问题上也应该推崇出一致性。

第三类是Thematic Association。

这类事实与场所事实处在邻近主题空间中。举例，团结限度、团结事件、团结组织或团结学问片断周围的关联事实。

NCB会把场所问题的正确频率与邻域问题的正确频率团结起来，通过成见邻域中的一致性预计模子学问情景的肃肃进度。

苟简来说：NCB越高，诠释模子在该事实周围的学问结构越一致，也越可能在热闹场景下保持妥贴。

贯通压力测试：模子会被高下文带偏吗？

为了考证NCB是否确实能预测热闹下的妥贴性，论文谋略了一套贯通压力测试框架。

这些测试并不是苟简地检查模子是否知说念谜底，而是模拟信得过应用中常见的高下文热闹：作假同伴意见、误导性接洽、不同着实度开端等。论文的压力测试受到经典Asch Conformity Experiments和Source Credibility Theory的启发，主要包含两大类诞生：Peer Quantity和Source Credibility。

Peer Quantity：同伴数目压力

第一类压力测试是Peer Quantity，用于模拟多智能体系统中的同伴压力。

在这个诞生中，模子回应问题前，会看到多个“其他AI智能体”的回应。要是大宗智能体给出作假谜底，场所模子是否会被影响？这一诞生进一步分为两种场景:

Conflict场景中，其他agent平直给出作假谜底，与正确事实发生糟塌。

Misleading场景中，其他agent并不一定平直说出作假谜底，而是围绕作假实体给出一些名义合理的信息，从语义上换取模子偏向作假谜底。

Source Credibility：开端着实度压力

第二类压力测试是Source Credibility，用于模拟不同开端着实度对模子判断的影响。

在信得过RAG或搜索增强系统中，模子时常会看到来自不同开端的信息：外交媒体、博客、新闻、论文、阐扬等。这些开端的着实度不同，但开端标签本人也可能对模子酿成热闹。

论文测试的问题是：要是一个作假信息来自看起来更泰斗的开端，模子是否会更容易烧毁底本正确的谜底？

这类测试对应了信得过系统中的一个常见风险：模子不仅会读取本色，K8凯发也会受到本色包装神气的影响。开端标签、泰斗措辞、风景化援用，齐可能窜改模子对信息的权重分拨。

假想情况下，模子应当根据evidence更新判断，而不是因为source framing或social framing被不对理带偏。

NCB是一个合理的信念评估方针

论文从多个事实数据集（SimpleQA，SciQ，Hotpot_QA）进行采样加东说念主工标注构建了一个Neighbor-Enriched Dataset，覆盖四个限度（STEM，艺术与文化，社会科学，体育）共包含2000个样本。

每个场所事实平均包含约7.84个考证后的邻域事实，以及4.88个误导性邻域事实。

实验评估了四个代表性模子：Qwen-2.5-32B-Instruct；Qwen3-A3B-30B-Instruct-2507；Qwen3-A3B-30B-Thinking-2507；OLMo-2-32B-Instruct。此外还评估了Qwen-2.5系列大小模子。

主实验平直聚焦于模子底本一经“高自一致”的样本，也等于那些在传统Self-Consistency视角下看起来一经被模子掌抓的样本。论文根据NCB分数将样本分别为高NCB组和低NCB组，比拟它们在压力测试下的推崇各别。

主实验收尾浮现：在多个模子和多种热闹诞生下，高NCB组平凡比低NCB组推崇出更小的准确率下落。

以top/bottom35%的荆棘NCB组为例，在Quantity-Stressing诞生下：

Qwen-2.5：高NCB组下落16.0%，低NCB组下落25.7%；

Qwen3：高NCB组下落17.6%，低NCB组下落28.8%；

Qwen3-Thinking：高NCB组下落11.3%，低NCB组下落22.6%。

OLMo2：高NCB组下落18.7%，低NCB组下落28.3%；

更细粒度的趋势也很较着：随撰述假同伴数目增多，低NCB组的准确率下落更快。

高NCB组天然也会受到影响，但举座下落幅度较着较小。在Peer Quantity–Conflict诞生下，当热闹强度缓缓增多时，

LowNCB准确率从97%降至62%，而HighNCB从98%降至81%。

推理和反念念并不总能处治问题

辩论进一步论文比拟了平直回应、Chain-of-Thought和Reflection等推理时政策。

收尾浮现，CoT的效劳并不妥贴。在部分诞生下，CoT反而可能放大热闹带来的性能下落。

举例，在Qwen-2.5的LowNCB-35%组中，Quantity-Stressing下的准确率下落从平直回应的25.7%增多到CoT的31.6%。

这诠释：推理流程本人也会受到高下文影响。要是高下文中存在作假同伴意见或误导性信息，模子的推理链可能围绕这些热闹伸开，从而把作假进一步合理化。

Reflection在大宗诞生中能缓解热闹，但它也不是对“脆弱学问”的根柢建筑。举座来看，推理时政策不错窜改模子处理高下文的神气，但要是底层学问本人枯竭结构化一致性，模子仍可能受到误导信息影响。

除了会诊，论文还初步探索了使学问结构化的检修政策Structure-Aware Training（SAT）。

SAT的念念路是：在学习新学问时，不单让模子记取伶仃谜底，而是通过邻域高下文和通用高下文，让模子在不同高下文中保持对中枢事实的妥贴输出。

具体来说，SAT会构造包含语义继续邻域信息和通用配景信息的两类高下文。

随后，使用冻结的西席模子提供参考分散，让学生模子在不同高下文下匹配西席模子在原始问题上的输出分散。这样，模子被检修持：即使高下文发生变化，也应尽量保持对中枢事实的妥贴输出。

实验浮现，SAT能在一定进度上缩小新学问学习后的热闹敏锐性。论文选录中也指出，SAT不错减少长尾学问脆弱性，缩小压力测试下的性能退化。

回来和预计

总体来看，辩论柔顺的是一个正在变得越来越伏击的问题：大模子在复杂高下文中持续学习新学问，是否确实约略酿成并督察妥贴、可靠的判断？

这一问题之是以伏击，是因为对AI的期待其实来自两个方面。

第一，但愿AI约略匡助完成长程、复杂、跨设施的任务，从而升迁坐蓐力。

第二，也但愿AI约略匡助东说念主类学习、反念念和成长，成为一种贯通补助器具。

前者要求模子在永远任务中妥贴实行、合理更新、不被噪声猖厥带偏；后者则要求模子在与东说念主互动时约略提供可靠信息，而不是放大作假信念、投合用户偏见，甚而在雅雀无声中独揽东说念主的判断。

从第一个角度看，LLM在长程交互中并不总能妥贴督察判断。举例，ICLR 2026 Outstanding Paper LLMs Get Lost In Multi-Turn Conversation发现，在多轮对话中，尤其是面临欠明确指示时，模子性能和可靠性会较着下落。

这诠释，当任务从单轮问答推广到永远交互时，模子的作假不再仅仅一次性的输出偏差，而可能在高下文累积中缓缓放大。

对将来智能体而言，这小数尤其要道：要是一个模子需要永远蓄积学问、系念和教导，那么它不仅要能回应当前问题，还要能区分哪些信息应该被暂时欺诈，哪些信息应该写入永远系念，哪些判断又应该在新笔据出刻下被修正。

从第二个角度看，还需要柔顺LLM的信念会如何影响东说念主的信念。

A Rational Analysis of the Effects of Sycophantic AI则从奉承型AI的角度指出，要是模子持续强化用户已有不雅点，可能会提高用户的主不雅确定感，却不一定让用户更接近信得过谜底；

The Hidden Puppet Master:A Theoretical and Real-World Account of Emotional Manipulationin LLMs从笼罩激励和感情独揽的角度诠释，模子对话可能激励human belief shift，况兼这种影响并不老是容易被现存模子准确预测。

换句话说，LLM的信念风险不仅在于它我方会不会被误导，也在于它是否会进一步误导东说念主类。

从这个意旨上说，邻域一致性仅仅一个源流。它领导，大模子的信得过性和可靠性不行只通过单点谜底来掂量，而应放在更广宽的交互环境中贯通。

将来可能需要把事实一致性、永远系念、动作逼迫、东说念主类信念影响和模子可诠释注解性团结起来，进一步构建约略在复杂天下中妥贴判断、合理更新、并负包袱地影响东说念主类的AI系统。

参考论文

[1]LLMs Get Lost In Multi-TurnConversation.

[2]The Hidden Puppet Master: ATheoretical and Real-World Account of Emotional Manipulationin LLMs.

[3]A Rational Analysis of the Effects of Sycophantic AI.

[4]Illusions of Confidence?Diagnosing LLM Truthfulness via Neighborhood Consistency.

[5]论文团结：https://arxiv.org/abs/2601.05905

[6]代码团结：https://github.com/zjunlp/belief

一键三连「点赞」「转发」「预防心」

接待在驳斥区留住你的想法！

— 完 —

咱们正在招聘别称眼疾手快、柔顺AI的学术剪辑实习生 🎓

感兴味的小伙伴接待柔顺 👉 了解细目

🌟 点亮星标 🌟

科技前沿进展逐日见K8凯发