几何视角下的大模型推理

Tue, 14 Jul 2026 00:00:00 +0000

长期以来，LLM的能力通过在各项benchmark上的得分来评估。从指令遵循到数学推理，再到今天的coding评测，核心逻辑依然是把LLM视作一个黑盒，给定输入并获取相应的输出。

然而这种评估方法将过程与结果绑定，仅通过最终结果得分来评能力，忽略了一个重要的问题：相同问题上取得正确结果的不同模型，推理中也可能千差万别，鲁棒性和泛化性更难以通过分数来反映。

我们最新的工作：Reasoning Emerges from Constrained Inference Manifolds in Large Language Models[1]从模型内部出发，观察模型推理时内部的表征如何变化，结果既反直觉又相当自洽。

推理是一种自发的坍缩现象

我们选择一批通用问题作为刺激（取自MMLU中的Other子集，涵盖常识、语言等），在模型内部记录推理时每一层hidden state末尾位置的状态向量，按照时间顺序拼接，构成一个高维空间中的推理轨迹。

对于这条推理轨迹计算其本征维度，结果发现：尽管不同模型的嵌入空间是几百上千维度，但是随推理进行，最终会收敛到低维水平，且这一现象不是单一模型的结果，我们在Qwen2.5、Qwen3、DeepSeek-R1-Distill和Gemma3系列模型中都发现了相似的现象。

随后进行消融实验，确保这一现象并不是由架构所驱使。计算模型静态词嵌入矩阵的本征维度，我们发现其维度和模型本身所设计的隐藏维度非常相近，这说明模型在表达上是足够丰富的（接近满秩），维度坍缩是推理的自发行为，而非模型容量的瓶颈：世界知识存放于一个近乎满秩的空间中，而一旦进入推理，轨迹便会自发收敛进一个低维流形中。

推理轨迹随网络深度的内在维度变化

静态词嵌入矩阵与隐藏维度比较

极端压缩并不等同极致的优异

观察到这种自发的坍缩现象后，我们产生了新的问题：在LLM中极端的压缩会产生极致的优异效果吗？

我们知道，压缩伴随着信息的流失。理论上进行分析，维度越低所包含的信息也就越低。无限地压缩维度，轨迹会退化成一条僵硬的低维曲线甚至不动点，此时信息几乎丢失，推理无法进行。

通过公开的技术报告等信息，我们分析了8个benchmark中低维和模型表现的相关性，结果发现更低的维度并不等同于更好的表现，这说明低维是必要的，但并不充分，进一步启发了我们寻找第二个关键信息：压缩后的低维流形中保留了多少有效信息？

我们使用信息体积（Information Volume）来计算推理过程中流形的信息变化，结果发现：

随推理深度的增加，本征维度在下降，但信息体积却在上升

换言之，压缩并不意味着信息丢失，而是一种聚焦的机制：一边抑制无关噪音（降维），一边放大与任务相关的概念信息（增信息）。浅层往往高维而信息稀疏，深层则在极度受限的流形上承载更丰富的信息。健康的推理依赖的不是无差别压缩，而是在紧凑的几何结构中维持高信息量。

信息体积随推理深度而增加

表达能力决定低维推理的稳定性

为了进一步消融问题的单一性因素，我们选择了MMLU-Other下的13个子分类问题，从单一领域问题开始逐步累积问题的丰富程度，观察本征维度的变化。结果发现表达能力更强的模型，本征维度随概念多样性膨胀的更慢。

表达能力即原文中的D_world

表达力更强的模型，面对愈发驳杂的输入，无需大幅扩张推理维度即可容纳；表达能力较弱的模型则需临时“征用”更多维度去编码异质概念，导致轨迹发散、结构失稳。因此表达能力本身无所谓好坏，它是一个背景条件，决定了低维、富信息的推理动力学在输入多样性上升时能否保持紧凑与协调。

Label-Free的推理健康估计

通过以上三个条件，我们定义了LLM健康的推理条件：

低维几何组织——将轨迹约束进协调的子空间,避免发散游走;
充足的信息含量——保证流形中存在支撑中间计算的结构化变化;
足够的表达——提供稳住低维流形的表征底座。

三者缺一不可。将其整合为一个标量诊断——推理健康度 H:

$$\mathcal{H} = \log(D_{\text{world}}) \cdot \frac{V}{\exp(\varepsilon D_{\text{stim}})}$$

其中 D_world 为表达力(词表嵌入的内在维度)，D_stim 为刺激诱导的推理轨迹本征维度(几何组织)，V 为信息体积。分子奖励高信息量，指数项惩罚维度发散，对表达力取对数使其作为背景条件而不喧宾夺主。惩罚系数 ε 固定为 0.1，对所有模型一视同仁。

H 完全不涉及任务标签、参考答案或榜单分数,仅由内部表征算出。

将其与一系列独立的推理benchmark对照，结果发现在所有评测的 benchmark 上，H 与成绩的 Spearman 秩相关系数均超过 0.9。一个完全任务无关、只看内部动力学的量，却能强单调地预测下游推理表现。

(A) 不同参数模型对多样性概念刺激的本征维度变化 (B)H与benchmark榜单得分斯皮尔曼系数

LLM on NeoFii's BLOG

几何视角下的大模型推理

推理是一种自发的坍缩现象

极端压缩并不等同极致的优异

表达能力决定低维推理的稳定性

Label-Free的推理健康估计