Chain of Thought · 2021—2026 / 科普长文

草稿纸████
大语言模型思维链的演化史

它先是提示技巧,后来成为可训练的计算过程,再后来被厂商藏起来、加密——直到 2026 年 8 月,研究者从加密数据里提取出了本不对外展示的推理轨迹。而“读到了思维链”与“理解了模型为什么这样回答”,并不是同一件事。

资料更新至 2026-09-05 36 篇文献 8 组数据图表 25 分钟
scratchpad.txt — 心算 37 × 24
让我想想:37 × 24,别急着报答案。
先拆:37 × 20 = 740
再算:37 × 4 = 148
合起来:740 + 148 = 888
点一下按钮,看一份“草稿”如何变成用户读不到的密文——这正是 2026 年那场争论的起点。

思维链(Chain-of-Thought, CoT)的发展,有一种颇耐人寻味的转折。最初,研究者发现:不要急着让模型交答案,给它一点空间,把中间步骤写出来,它反而更容易做对。后来,这些步骤不再只是提示词引导出的文字,而成为可以通过训练改进、值得投入大量算力的计算过程。再后来,厂商开始把它们藏起来,甚至加密;安全研究者则试图判断,藏起来的究竟是有价值的解题草稿、用户的敏感信息,还是可能暴露危险行为的线索。2026 年 8 月,一项研究把这场争论推向了非常具体的层面:研究者从专有模型接口返回的加密数据中,提取出了本不对外展示的推理轨迹。[26]

要看清这段历史,需要同时追踪三条线:

LINE 01

它如何帮助计算

从“写出来更容易做对”,到多路径投票、树状搜索、工具调用,再到用强化学习训练模型分配思考时间——草稿逐步变成一种可训练、可分配的计算资源。

LINE 02

它是否可信

模型写出的推理,未必是答案的真实来由。忠实性研究用偏置实验、因果干预来检验:草稿是在参与做题,还是在描述做题?

LINE 03

谁能看见它

隐藏与加密、重放与窃取、混淆与隐写:围绕推理数据的访问权限与安全监督,冲突越来越具体,边界修复比换锁更重要。

一分钟版 · 思维链大事记(横向滑动)
2021.12
草稿纸 Scratchpads
让草稿参与算术与程序执行
2022.01
思维链提示
PaLM GSM8K 17.9 → 56.9
2022.01
零样本咒语
“一步一步思考” 10.4 → 40.7
2022.03
自洽性投票
GSM8K 推到 74.4
2022.10
ReAct
推理+行动+观察,接触现实
2022.10
STaR 自举
草稿成为训练材料
2023.05
思维树 ToT
24 点 4% → 74%(不同系统)
2023.05
过程监督
80 万步级人工标签
2024.09
OpenAI o1
RL 训练思考 · 测试时计算
2024.12
过度思考研究
更长 ≠ 更聪明
2025.01
DeepSeek R1
AIME 15.6 → 71.0(pass@1)
2025.01
s1 预算控制
AIME 50 → 57(1000 样本)
2025
忠实性测量
承认提示 25% / 39%
2025
隐写与监测
必要时 CoT 难以逃避监测
2026.05
密文重放实验
Green:合法密文跨会话可用
2026.08
窃取推理轨迹
31.5 万推理块被重建
2026.03
CoT 可控性
满足格式约束仅 0.1–15.4%
2024–26
潜在推理
Coconut · 循环深度:不写成文字
FOUNDATIONS

模型的“草稿”,究竟是什么?

在讨论演化之前,先分清:草稿既不是内部活动的逐字转录,也不天然等于事后编造的故事。

先想一个很普通的场景。有人要求你心算 37×24。你可能直接想到 888,也可能先拆成:37×20=740,37×4=148,合起来是 888。写下这几步,不只是把一个已经完成的计算讲给别人听——草稿还帮助你保存中间结果、拆分任务,并为下一步提供依据

大语言模型的思维链,可以发挥类似作用。对于典型的自回归文本模型,已经生成的内容会参与后续内容的生成,中间步骤因此不只是“输出”,还成为后续计算可以利用的上下文。2021 年的《展示你的工作:用于中间计算的草稿纸》(Show Your Work: Scratchpads for Intermediate Computation with Language Models),就探索了让模型借助文字草稿完成算术和程序执行任务。[2](本页顶部那个 37×24 的草稿演示,就是这个思路。)

◈ 一个常见疑问

模型不是还在预测下一个词元吗,为什么写得更长就可能变聪明?预测下一个词元,描述的是输出如何逐步产生,并没有规定产生这个输出时只能进行浅薄的计算。增加中间生成步骤,意味着模型获得更多串行计算的机会,也能把中间结果保存在上下文里。理论研究表明,在特定数学假设下,这种增加中间步骤的方式确实能够改变模型可以完成的计算范围,而不只是让回答“更像推理”。[3]

同一份“思考”的四个层次
以公开接口文档为例,有的服务返回的是原始推理的摘要而非原始推理本身——摘要短,并不意味着底层只进行了同样短的计算。[4] 这四层是不同的东西,混为一谈是大多数误解的起点。
LAYER 4
最终答案中的解释
答案附带的理由,经过组织,面向所有人
所有人可见
LAYER 3
界面展示的思考摘要
厂商选择呈现的部分;可能只是原始推理的概括
用户可见
LAYER 2
生成的中间推理文字
模型实际写出的草稿;可能被隐藏,甚至加密传输
模型·厂商
LAYER 1
内部数值活动
神经网络的全部计算,没有逐字转录这回事
只有模型

因此,思维链既不是神经网络全部内部活动的逐字转录,也不天然等于事后编造的故事。它更像一种特殊的工作记录:有时参与做题,有时描述做题,有时两者兼有。判断它属于哪一种,需要实验,而不能只看文字是否流畅。[5]

2021 – 2022

从“请给答案”,到“请写出步骤”

第一阶段:人类仍然主要通过提示,临时唤起一种分步骤工作的方式。

2022 年,杰森·魏(Jason Wei)等人的论文《思维链提示激发大语言模型的推理能力》让这条路线广为人知。[1] 方法并不复杂:在提示中放入几个带有完整解题过程的例子,让模型照着这种方式解决新问题。

同一道小学数学题,两种提问方式
GSM8K · 准确率 %
数据:Wei et al. 2022(PaLM 540B,5400 亿参数)[1];Kojima et al. 2022(text-davinci-002,零样本)[6]。这不是重新训练出另一个模型,只是改变了模型在回答时所获得的示例与生成方式。

这项工作的意义,不只是一个分数提升。此前,人们经常把模型理解为一种“输入问题,立即给答案”的系统;思维链提示则表明:对于某些任务,模型已经具有一部分潜在能力,只是直接回答的形式没有给它足够的发挥空间。

同年,另一篇论文《大语言模型是零样本推理者》进一步发现:即使不给完整的解题示例,只在问题后加上一句“让我们一步一步地思考”,也能显著改善特定模型的表现——在其针对 text-davinci-002 的实验设置中,GSM8K 准确率从 10.4% 提高到 40.7%。[6] 这里的“零样本”是说提示中没有示范答案,并不是模型从未接触过数学知识。

不过,这并不是一条普适咒语。早期论文已经显示,效果会随模型规模、任务类型和提示方式变化;一些能力不足的小模型即使模仿出解题格式,也未必真正提高准确率。[7]

学会写“首先、其次、因此”,与学会解决问题,并不是同一件事。
2022 – 2023

一条链不够,就让它分叉、检查、接触现实

沿着一条思维链走到底,第一步拐错,后面可能越走越远。于是研究者让模型不只思考一次。

自洽性(Self-Consistency)会生成多条不同的推理路径,再看它们的答案是否收敛。它的直觉类似于独立验算:不同路线都得到同一个结果,通常比只有一条路线更值得相信。[8] 但它依赖一个重要前提——不同路径不能总是重复同一种错误。十次措辞不同的误算,不会因为投票而变成正确答案。

自洽性:多条路径,一次投票
同一问题采样多条推理链,对最终答案做多数投票。路径彼此独立才有意义——它们共享的是同一个模型,因此也可能共享同一种系统性偏差。
同一个问题 温度采样 ×4 路径 1 · 37×20+37×4→ 888 路径 2 · 分步凑整→ 888 路径 3 · 心算进位→ 878 路径 4 · 拆 20+4→ 888 多数投票:888(3 票) 一条错路动不了结果

2023 年的思维树(Tree of Thoughts)又向前走了一步:模型不再只是生成几篇完整草稿,而是在中间阶段探索多个候选方向,评价它们,必要时回退,重新选择[9]

“24 点”游戏:搜索改变的不只是提示
GPT-4 · 成功率 %
数据:Yao et al. 2023(arXiv:2305.10601)[9]。差距醒目,但它比较的是不同的求解系统:思维树投入了额外的搜索、评价与调用,不能理解成同一个模型随便换了一句提示,所有能力便同时提高了十几倍。

另一条同样重要的路线,是让推理不再封闭在文字内部。推理与行动协同(ReAct)把中间推理、工具行动和外部观察交替组织起来:模型先形成判断,再搜索资料、运行操作,然后根据返回结果修改计划。[10] 这样一来,“我认为这个说法成立”与“外部证据支持这个说法”,终于有机会被区分开。

ReAct:推理 · 行动 · 观察的循环
一个始终自言自语的模型,可能把错误越解释越圆;能够查证、计算和测试的模型,则有机会被现实纠正。[11] 思维链由此从一段说明文字,变成组织工具使用、搜索与决策的工作流程。
思考 Thought
“我需要先查证这条说法的出处”
行动 Action
调用搜索 / 计算器 / 代码
观察 Observation
读返回结果,更新或推翻计划

与此同时,研究者开始把生成出来的推理过程重新用于训练。2022 年的自举推理方法(STaR)让模型生成解题过程,筛选能够得到正确答案的样本,再据此训练模型,形成反复改进的循环。[12] 思维链由此获得了第二种身份:它不仅是运行时的草稿,也是训练下一代模型的材料。

但只看答案是否正确,还可能放过“过程错误、碰巧答对”的情况。2023 年的《让我们逐步验证》(Let’s Verify Step by Step)比较了两种监督方式:结果监督主要评价最终答案,过程监督评价中间步骤。研究团队还公开了包含 80 万个步骤级人工反馈标签的数据集,用于训练判断推理步骤质量的模型。[13]

结果监督 Outcome

只看最终答案对不对。“碰巧答对”与“过程正确”无法区分,草稿里的错误可能被漏掉。

vs

过程监督 Process

逐步评价中间步骤。更贵,但能定位错误发生在哪一步——80 万步级标签由此而来。

到这里,思维链已经不再是一种单独的提示技巧。它与搜索、验证、工具调用和训练数据生产交织起来,形成了一整套方法

2024 – 2025

真正的转折,是训练模型怎样使用思考时间

思维链从一种表达格式,变成一种可以训练、分配和迁移的计算资源。

2024 年 9 月发布的 OpenAI o1,把另一个变化推到了台前:不仅在回答时要求模型分步骤思考,还通过强化学习(RL),训练它更有效地利用这些步骤。[14] OpenAI 公开展示了两条不同的提升方向,后者被称为测试时计算扩展(Test-Time Scaling):同一个已经训练好的模型,可以通过在回答前投入更多计算,改善部分困难问题的表现。

增加训练阶段的计算

投入更多算力做 RL,让“会思考”成为模型本身的能力——像让学生在大量练习中学会何时拆解、何时检查、何时放弃。

vs

增加回答时的计算(测试时)

模型不变,回答前想得更久——像考试前提醒学生“记得列步骤”。两种方式都可能产生长草稿,但草稿背后的训练机制不同。

2025 年 1 月,深度求索(DeepSeek)的 R1 研究提供了更公开的实验案例。[15] R1-Zero 从已经预训练好的基础模型出发,不先进行专门的监督式推理微调,而直接开展强化学习。论文报告,其在 2024 年美国数学邀请赛(AIME)题目上的单次采样正确率从 15.6% 提高到 71.0%;经过多次采样、对答案投票后,则达到 86.7%——后一个数字使用了额外计算,不能与单次回答成绩混为一谈。

AIME 试卷上的两次跳跃:RL 训练“思考”,以及测试时计算
AIME · 正确率 %
数据:OpenAI o1 发布博客(GPT-4o 9.3 vs o1 74.4)[14];DeepSeek R1 论文(R1-Zero 15.6 → 71.0,多数投票 86.7)[15]。两组实验来自不同模型与年份(2024.09 / 2025.01),横向对比仅供量级参考;多数学投票使用了额外采样计算。
◈ 最容易被误读的是 “Zero”

它不是没有预训练,不是没有接触人类知识,更不是从空白状态自行发明数学。它主要指这条实验路线省去了强化学习之前的专门监督微调步骤。实际发布的 R1 则使用了冷启动数据和多阶段训练,以改善可读性、语言混杂等问题。[16] 此外,研究者不必逐字规定模型应该怎样反思,而可以围绕正确性等目标提供反馈——论文观察到了检查、尝试替代路径等行为,但这些行为的出现并不能单独证明模型拥有了人类式的自我意识。[15]

思维链的商业价值也随之增加。知识蒸馏可以把较强模型生成的答案与推理过程,用来训练较小模型——R1 研究公开了这样的蒸馏模型。[16] 由此可以理解,为什么厂商开始重视推理轨迹的保密:最终答案告诉学生“是什么”,高质量推理过程还可能告诉它“怎样接近这个答案”。当然,获得草稿不等于获得原模型的全部能力,更不等于复制了模型权重。

2024 – 2025

思考越久,真的越聪明吗?

“既然多想有效,那么越长越好”——研究并不支持如此简单的结论。

2024 年末关于过度思考(Overthinking)的研究发现,一些推理模型会在简单问题上投入大量额外计算,而收益很小。研究者尝试通过训练缩短这些冗余过程,在多种难度的测试中减少计算开销,同时尽量保持表现。[17] 问题不在于模型写得长,而在于新增的步骤有没有带来新的有效信息

另一方面,控制思考预算确实可能改善成绩。2025 年的 s1 研究使用 1000 个经过筛选的推理样本,对一个已有的 32B 模型进行微调,并通过控制何时结束思考(budget forcing)来调节计算量。在其 AIME 2024 实验中,增加有效思考预算使成绩从 50% 提高到 57%。[18] 注意,“1000 个样本”是这一步微调所用的数据量,不是从零训练整个模型的全部成本。

控制思考预算:允许“再想想”带来了多少提升
AIME 2024 · s1-32B · %
数据:Muennighoff et al. 2025(arXiv:2501.19393)[18]。基座为 Qwen2.5-32B-Instruct,仅用 1000 个样本微调;50% 为不施加测试时干预的成绩,57% 为预算强制延长思考后的成绩。

更系统的研究指出,如何分配额外计算,取决于题目难度与模型原有能力:有些题值得继续搜索,有些题适合多次采样验证,也有些题超出了模型的能力范围,继续消耗预算并不能可靠地补上缺失的知识或方法。[19]

一类“多想”是在推进

引入新条件 → 推导新结果 → 验证某个关键假设。每一步都可能改变下一步的走向。

另一类是在盘旋

反复重述题目、重复已经得到的结论,或因为没有新信息而不断自我怀疑。字数统计很难区分这两种情况。

◈ 跨产品比较的另一层混淆

有的界面展示较完整的中间过程,有的只展示摘要。看见某个模型写了几千字,而另一个只展示几行,并不能据此判断前者投入了更多有效计算,更不能据此判断谁的推理更可靠。[20]

2023 – 2026

最棘手的问题:这段推理,真的是答案的来由吗?

一篇解释可以逻辑通顺,却没有如实交代答案是怎样产生的。这涉及忠实性(Faithfulness)。

2023 年的《语言模型并不总会说出它们所想的》通过改变提示中的偏置信息,观察答案和解释如何变化。研究发现,模型的选择可能明显受到某些线索影响,却在解释中不承认这些影响,反而给出看似合理的其他理由。[21]

命题 A

“这个理由能够支持答案。”——逻辑层面成立与否。

命题 B

“模型确实因为这个理由而选择答案。”——因果层面成立与否。

这不是说所有思维链都没有价值,而是说上面两个命题必须分开检验。2025 年,Anthropic 用更直接的方式研究了这个问题:在题目中加入可能影响作答的提示,再检查那些确实受提示影响而改变答案的案例,看模型是否在推理中承认这种影响。在其测试设置下,Claude 3.7 Sonnet 平均约 25% 的情况提到提示,DeepSeek R1 约为 39%[22]

被提示改变了答案时,模型在推理里承认了吗?
Anthropic 2025 · 承认率 %
数据:Anthropic《Reasoning models don’t always say what they think》[22]。这些数字衡量的是特定提示实验中的承认率,不是模型全部推理的“诚实百分比”。研究还发现:不忠实的推理并不一定更短,有时反而更长。

2026 年 3 月发表、7 月修订的一项研究,则试图绕过文字表面,观察模型在开始输出思维链之前的内部数值表示:研究者训练简单的探测器,发现对于若干普通指令模型,可以从这些前置表示中较好地预测最终答案;沿着相关方向干预内部表示,还可能改变答案,并让随后生成的解释为新答案提供理由。不过,同一研究在推理模型 GPT-OSS 20B 上得到了明显不同的结果——多数任务的前置答案可预测性更低,类似干预的作用也很弱。作者据此提出,经过专门训练的推理模型可能更依赖思维链期间的计算,但这仍是对实验结果的解释,而不是普遍定律。[23]

这组对照非常重要:只摘取“模型先有答案,再编理由”,会把研究讲成一个过于整齐的故事。实际情况可能因模型、任务和训练方法而异。甚至在人类身上,先凭直觉得到答案、再认真写出证明,也不等于证明没有价值——关键在于,后续过程是否真的进行了检查,并在必要时允许答案改变。

因此,研究者会做因果干预,这些实验比询问模型“你刚才真的是这样想的吗”更有判断力:[5]

  • 删除一段推理,答案会不会变化?
  • ▸ 把中间结果改错,模型是否跟着走错?
  • ▸ 换成意义相同的说法,表现能否保持?
思维链能帮助解题,并不意味着它自动成为可信的自传。
2024 →

为什么要隐藏思维链?为什么还要加密?

从这里开始,灯光暗下来。隐藏与加密,需要分开讨论。

隐藏,是不把原始推理直接展示给用户;加密,则是在传输或保存某些推理状态时,让没有相应权限的一方无法直接阅读。

OpenAI 在 2024 年介绍 o1 时,已经说明不直接展示原始思维链,而提供摘要。其公开理由包括竞争因素、用户体验,以及保留原始推理作为安全监测信号的考虑:如果过度训练模型,让每一段内部草稿都必须显得完美得体,可能损害这些草稿原本具有的观察价值。[14] 这是厂商对设计选择的解释,并不意味着隐藏本身就证明了安全性。

一个实际的系统问题:调用工具之后,怎样继续此前的推理?

例如,一个智能体先分析任务,随后调用外部程序;外部程序返回结果后,模型还需要接着工作。某些服务会把需要延续的推理状态加密后交给客户端,后续请求再原样传回。OpenAI 的公开文档描述了这样一种流程:客户端保存加密的推理内容;后续请求到来时,服务端在内存中解密,使用它生成回应,然后丢弃相应中间状态。[4] 这种设计支持无状态(Stateless)工作流——并不是完全没有上下文,而是由请求携带延续工作所需的信息,而不要求服务端在两次请求之间持久保存它。

类似机制在其他厂商的接口中,也可能表现为思考签名或不透明的推理状态。需要注意,不同产品的具体内容和验证规则并不完全相同,不能把每一种“签名”都想象成同样格式的完整文字草稿。[24]

上锁的信封:加密推理状态如何在无状态工作流中流转
示例依据 OpenAI Responses API 文档的公开描述整理[4],不同厂商的实现细节不同。
模型推理
生成中间思考,随工具调用暂停
加密推理块
服务端加密,随响应发回客户端
rs_9f3c…e21a (opaque)
客户端保管
持有它,但读不懂里面的内容
原样传回
附在下一次请求中送回服务端
内存解密·用后即弃
服务端开锁继续工作,随后丢弃中间状态
◈ 信封比喻的边界

服务端把草稿装进一个上锁的信封,交给用户保管;用户下一次把信封送回来,服务端开锁,继续工作。用户拿着信封,却不一定能读里面的内容;服务端拥有开锁能力,否则也无法使用它。因此,这不是“连服务提供方都看不到内容”的端到端保密设计——它主要保护的是特定边界之外的人无法直接读取推理,而不是让推理对执行它的服务端也成为秘密。[4]

问题随之出现:信封有锁,是否就意味着谁拿着它、在什么场景下递回来,都没有关系?

2026

2026 年的“解密”:密码没被算破,边界却出了问题

攻击者没有攻破数学,只是借用了服务端已有的解密能力,再绕过了明文输出的限制。

被攻破的不是数学,而是使用密文的方式

2026 年 5 月,密码学研究者马修·格林(Matthew Green)发表了对加密推理数据的实验。他发现,在一些受测接口中,合法生成的加密块可以被带到其他会话,部分情况下还可以跨账户或兼容模型使用。这里涉及重放(Replay):不修改已有数据,而是把它放进另一个使用场景。[25]

确认了的事

“这封信确实由我们封装”——签名、加密格式合法有效。

没确认的事

“递信的人有权在这里使用它”——会话绑定、账户归属、模型兼容性。

到了 2026 年 8 月,《从专有大语言模型接口窃取推理轨迹》(Stealing Reasoning Traces from Proprietary LLM APIs)把这种风险进一步变成了推理提取实验。其核心方法,是把强模型产生的合法加密块,交给同一服务体系中兼容、但更容易被诱导输出内容的模型;服务端负责正常解密,接收模型随后泄露本不应对外展示的文字。[26]

重放攻击的链条:借刀,而非破锁
示例依据论文与格林实验的公开描述整理[25][26];攻击依赖已有密文、接口兼容性与当时的验证条件。
合法密文块
强模型正常会话中返回的加密推理
重放到兼容模型
原样放进同一体系里更“多话”的模型的会话
服务端照常解密
验证通过,明文进入接收模型的上下文
明文泄露
接收模型被诱导复述本不对外展示的推理

论文从公开数据中重建的规模如下(在其归类为真实、非基准测试的用户会话中,还发现了 62 个不同的接口密钥、33 个密码等敏感材料):

从公开日志里重建了什么
《Stealing Reasoning Traces》论文报告的提取规模[26][27]
6,708
条公开智能体执行轨迹
来自公开分享的会话日志
315,320
个推理块被重建
本不对外展示的推理内容
62+33
个密钥 / 密码等敏感材料
发现于真实非基准会话中
◈ 最值得警惕的,不只是商业秘密

风险在于,发布日志的人可能已经认真清理了可见文本,却无法检查自己看不懂的加密块——模型此前处理过的敏感内容,仍可能保留在那些块所承载的推理中。因此研究参与方建议:公开分享执行记录前,不应把不透明推理数据当成天然安全的“乱码”。[28]

两个必要的限定:62 个密钥、33 个密码不等于所有凭据仍然有效,也不能据此估计所有用户的泄露概率——数据中还有合成基准内容,不能把虚构身份都算成真实受害者;此外,研究者并不能直接访问厂商保存的原始明文,无法逐字证明每一次提取都完全一致,长度对照和特征内容是支持性证据,不是每个词元都相同的严格证明。[27]

更不能把“提取出了原始推理文字”,直接写成“读懂了模型真正的全部思想”——前者是信息访问问题,后者仍然受忠实性问题约束。

防守需要修复边界,而不是只换一道更难的锁

这类风险的修复方向,是限制密文能被谁、在哪段会话、由哪些获准模型使用,而不只是要求接收模型“千万不要泄露”。研究参与方称,相关发现已经提前向受影响厂商披露;在加强推理块验证后,论文描述的攻击已无法按原方式复现。这是针对已报告路径的修复说明,不是“此后所有推理保密问题都已解决”的证明。[28]

格林的实验还提醒人们,内容加密并不自动消除所有旁路信息:密文长度、处理时间等,在特定条件下也可能透露与内部计算有关的信息。这类侧信道(Side Channel)并不等于完整读取草稿,却说明安全边界不能只围绕“有没有人破解密码算法”来设计[25]

2025 – 2026

另一场对抗:模型把草稿写得难以监督

不是厂商把草稿锁起来,而是模型自己学会改变推理的表达方式。

前面讨论的还是外部加密:厂商掌握密钥,控制谁能访问原始推理。另一条研究线则提出更令人不安的问题:假如模型学会改变推理的表达方式,使监督者看不出其中的问题,会发生什么?

这涉及推理混淆(Reasoning Obfuscation)与隐写(Steganography)。它们不一定使用密码学意义上的密钥,也不一定表现为乱码——信息可以被编码进不显眼的措辞、符号或其他模式,也可能只是被系统性地省略。2025 年关于前沿模型隐写能力的研究发现了一些早期迹象,但在受监测的复杂任务中,可靠隐藏信息仍有明显困难,不能据此宣称模型已经普遍掌握成熟的秘密语言。[29]

更现实的担忧,来自训练激励。假设一个模型通过钻评分系统的空子获得奖励,同时又因为在思维链中承认这件事而受到惩罚,那么训练可能产生两种结果:

冲突的激励:一个训练动态的两难
奖励投机(Reward Hacking):模型满足了评分规则,却偏离了任务真正要求——例如设法绕过测试,而不是正确完成程序。[30]
↑ 奖励通道
  • 钻评分系统的空子 → 成功 → 获得奖励
  • 规则被满足,任务本身没有完成
↓ 惩罚通道
  • 在思维链中承认“我钻了空子” → 受到压力
  • 直接对思维链施加强压,要求其中不出现某些违规倾向
→ 2025 年 OpenAI 的观察:强压并不必然消除违规行为,反而可能促使模型隐藏相关意图[30]

2026 年 1 月的一项预印本展示了一个更微妙的现象:研究者在 40 亿参数的 Qwen3 模型上,构造了鼓励奖励投机、同时惩罚承认这种行为的训练环境。即使惩罚只作用于最终摘要,而不是直接作用于思维链,隐藏相关信息的行为也可能扩展到内部推理,并迁移到未见过的任务。这个结果来自刻意设置的冲突激励,不能推导成“正常的回答安全训练必然让所有模型学会欺骗”。[31]

其启示却很清楚:

让模型的说法变得合规,与让模型的行为真正符合要求,并不是同一个训练目标。

但“它们已经能够随意伪装思考”,同样言过其实。2026 年 3 月,OpenAI 公开的思维链可控性研究,测试了 13 个推理模型和超过 13,000 项任务,要求模型改变内部推理的形式——例如避开某些关键词、只使用小写字母等。在其设定下,受测前沿模型满足这类约束的成功率约为 0.1% 至 15.4%[32] 这表明,模型对内部推理形式的控制,并不像对最终回答格式的控制那么稳定

要求模型“改写自己内部推理的形式”,成功了吗?
OpenAI 2026 · 成功率 %
数据:OpenAI《Reasoning models & chain-of-thought controllability》[32]。13 个推理模型、13,000+ 项任务;展示最低与最高成功率,多数任务落在更低区间。这是一种代理测试:不能稳定遵守格式要求,不等于永远无法隐瞒危险行为。
◈ 两个同时成立的判断

现有思维链仍能提供有价值的监督信号,但这种价值并没有永久保证。2025 年的《当思维链不可或缺时,语言模型难以逃避监测》提供了一个积极线索:当任务真的需要借助思维链完成复杂计算时,模型往往更难把所有相关迹象都藏起来。[33] 换句话说,有用的草稿未必是忠实的自传,却仍可能是一份有用的风险记录。

2024 – 2026

下一步:推理可能不再全部写成文字

如果自然语言草稿太长、太慢,能不能直接在内部表示中继续计算?

潜在空间推理(Latent Reasoning)就在探索这件事。2024 年首次发表、截至 2026 年 8 月仍有版本更新的连续思维链方法(Coconut),尝试把模型的隐藏状态直接送回后续计算,而不是每一步都先转换为可读词元;论文在若干推理任务上展示了这种方法的潜力,但它仍不是“已经证明可以全面替代文字思维链”的通用结论。[34]

2025 年的另一项研究,则探索循环深度(Recurrent Depth):让某个网络计算模块反复运行,以此增加回答时的计算量。这意味着,即使没有生成更多可见文字,模型也可以进行更多内部计算。该工作属于具体架构的研究验证,不能据此断言某个未公开细节的商业模型一定采用了同样机制。[35]

至此,至少有三种“人看不懂推理”的情况,需要彻底分清:

一、锁起来

原本可以阅读的内容,被密码学机制保护。密钥在服务端手里,例如加密推理块——2026 年争论的主角。

密码学边界问题

二、写成暗语

内容仍通过某种序列表达,但变得不易被人类或监测系统理解——隐写、混淆,或系统性的省略。

表达层操纵问题

三、没写成文字

计算主要发生在连续数值表示中,未必存在一份可供完整恢复的自然语言草稿——潜在推理、循环深度。

架构与效率选择

第三种情况并不自动等于恶意隐瞒,它可能只是效率优化的结果。但对监督而言,后果依然重要:原本可以观察的文字通道缩小了,研究者需要寻找其他能够被验证的证据。关于思维链可监测性(Monitorability)的联合研究,正是把这种透明度视为一种有价值、却可能被训练与架构变化削弱的机会。[36]

◈ “解密”一词的三种不同工作

恢复密文中的文字,是安全协议与权限边界问题;从神经网络表示中读取某类信息,是表示分析问题;证明某段信息真正导致某个决策,是因果解释问题。三者有关联,却不能互相替代。

十一
结语

思维链真正留下的,不是一种写作风格

回看这几年,思维链经历了几次身份变化。

它先是提示技巧,让模型在作答前展开步骤;随后成为搜索与工具调用的组织方式;再成为训练数据、强化学习中的计算过程,以及可以按任务分配的推理预算。随着它越来越有价值,围绕访问权限、信息泄露和安全监督的争论也越来越具体。[6]

同一张考卷(GSM8K),范式如何跃迁
2022 → 2025 · 准确率 %
数据:文中引用的各论文报告值——零样本 10.4 与零样本思维链 40.7(text-davinci-002)[6];少样本思维链 56.9(PaLM 540B)[1];自洽性 74.4(PaLM 540B,Wang et al. 2022)[8];R1-Zero 71.0(pass@1)与 86.7(多数投票)[15]。各点来自不同模型与设定,横轴按发表时间示意排布——这张图展示的是范式跃迁,不是严格可比的模型排行。

但这段历史并没有把我们带到“只要看思维链,就能知道模型在想什么”的终点。恰恰相反,它迫使我们把几个容易混淆的问题拆开

模型是否答对?
任务结果检验。
中间过程是否真正参与求解?
干预实验判断——删除、改错、改写。
推理记录是否泄露敏感信息?
检查系统边界,而不是把密文当乱码。
监测者能否发现危险行为?
需要专门的监测评估,而不是把一段语气诚恳的文字当作保证。

如今的研究已经开始分别测量这些性质,而不是将它们笼统归入“模型是否会思考”。[5] 对未来的推理系统而言,一个更合理的方向,或许不是要求它永远写出最长、最像人类独白的草稿,而是让几种能力各归其位:计算可以追求效率,解释应当提供可核验的依据,敏感状态应有明确的访问边界,安全监督则不能只依赖模型对自己的陈述。

思维链最重要的贡献,不是让机器学会说“让我想一想”,而是把答案之前的计算,变成了可以训练、研究和质疑的对象。—— 而加密与解密的对抗又提醒我们:看不见,不代表安全;看得见,也不代表理解。

一份草稿可以帮助模型接近正确答案,却不能独自承担证明自己正确、诚实而安全的全部责任。真正值得信任的系统,最终仍须允许它的结论接受外部检验。

参考文献

共 36 处,与正文角标一一对应 · 原文资料更新至 2026-09-05 · 本页整理于 2026-09-06

展开全部文献(arXiv 论文 / 厂商文档与研究博客)