语言模型的核心矛盾在于：人类语言是离散符号，但思维过程是连续流动的——这一张力驱动了从符号主义到连续潜在空间的整个演进。
Hinton 在"Distributed Representations"中首次系统论证：符号不应是原子单元，而应被分解为连续向量空间中的激活模式。这一思想奠定了"意义可以几何化"的哲学基础——两个相近概念在向量空间中距离更近，这是后来所有潜在空间工作的根本前提。
Mikolov 等人发现 $\vec{king} - \vec{man} + \vec{woman} \approx \vec{queen}$，这不只是一个有趣的演示，而是第一次在大规模实验中证明：语言的语义关系可以被编码为潜在空间中的线性几何结构。这使"潜在空间有内在逻辑"从假说变成了可验证的事实。
Kingma & Welling 提出变分自编码器（VAE），将潜在空间正式定义为一个概率分布族，引入了"编码-采样-解码"的三段式范式。同期，Sutskever 等人的 Seq2Seq 模型将整个输入序列压缩为单一上下文向量，这是语言模型第一次将"句子级语义"显式存储在连续潜在空间中。尽管后来被注意力机制取代，但这一压缩思想从未消亡。
Vaswani 等人的 Transformer 表面上是 token-by-token 的，但其每一层的隐状态实际上是一个高维连续潜在空间的点。Tenney、Jawahar 等人的探针实验（2019）系统证明：句法信息在低层潜在空间中编码，语义信息在高层编码——Transformer 的层级结构是一个隐式的潜在空间层级。
Chain-of-Thought（Wei et al., 2022）通过显式 token 序列模拟推理，但随即引发了一个深刻问题：模型真正的"推理"发生在 token 层面还是隐状态层面？Anthropic 的机械可解释性研究（2023-2024）发现，模型在生成 token 之前，其残差流中已经完成了大量语义计算——token 只是最终的"读出"操作，而非推理本身。
Meta 的 COCONUT（Chain of Continuous Thought）、谷歌的 Pause Token 等工作开始直接在潜在空间中执行推理步骤，跳过 token 化过程。这标志着语言模型从"用 token 思考"向"在连续空间中思考、用 token 表达"的范式转变。
设输入序列 $x = (x_1, \ldots, x_T)$，编码器将其映射到潜在向量 $z \in \mathbb{R}^d$： $$z = f_\theta(x) = \text{Enc}_\theta(x)$$ 在 VAE 框架下，潜在空间被赋予概率结构： $$q_\phi(z|x) = \mathcal{N}(\mu_\phi(x),\ \text{diag}(\sigma^2_\phi(x)))$$ 训练目标为 ELBO（证据下界）： $$\mathcal{L} = \mathbb{E}_{q_\phi(z|x)}[\log p_\theta(x|z)] - D_{\text{KL}}(q_\phi(z|x) \| p(z))$$ 第一项是重建损失，迫使潜在编码保留足够信息；第二项是正则项，迫使潜在分布接近标准正态，从而使空间连续可插值。这个 KL 项是关键设计选择——没有它，编码器会将每个样本映射到孤立点，空间失去几何意义。 在 Transformer 的残差流视角下，第 $l$ 层的隐状态可写为： $$h^{(l)} = h^{(l-1)} + \text{Attn}^{(l)}(h^{(l-1)}) + \text{FFN}^{(l)}(h^{(l-1)})$$ 这是一个在 $\mathbb{R}^d$ 中的迭代精化过程。每一层的 $h^{(l)}$ 都是潜在空间中的一个点，层与层之间的跳跃连接保证了梯度流动，同时使每层的"修正量"可被解释为潜在空间中的位移向量 $\Delta h$。 潜在空间的线性探针实验验证了几何结构：若存在线性分类器 $w$ 使得 $w^\top h^{(l)}$ 能预测某语言属性（如句法依存关系），则该属性被线性编码在第 $l$ 层潜在空间中。
潜在空间推理的整体逻辑是：将推理问题转化为潜在流形上的几何操作，通过编码→操作→解码三阶段完成从问题到答案的映射，而非逐 token 生成中间步骤。
输入文本经过编码器（Transformer 或专用编码网络）被压缩为低维连续向量 $z$。这一步的关键设计问题是：压缩到多少维？压缩过度会丢失细节，压缩不足则潜在空间失去结构。实践中常用信息瓶颈原理（Tishby et al.）指导维度选择：最优 $z$ 应在保留与任务相关信息的同时最大化压缩率。对于语言模型，这一步通常是隐式的——Transformer 的最后一层隐状态即为潜在表示，无需显式压缩。
在潜在空间中执行推理，具体形式取决于任务： - 插值：$z_{\text{new}} = \lambda z_A + (1-\lambda) z_B$，用于风格混合、概念融合； - 方向操作：$z' = z + \alpha \cdot \Delta$，其中 $\Delta$ 是某属性的方向向量（如情感方向），用于可控生成； - 搜索/优化：在潜在空间中用梯度下降寻找满足约束的点，用于逆向生成； - 隐式推理步骤（COCONUT 风格）：将下一步推理的"思考"直接表示为潜在向量，而非强制解码为 token，再将该向量作为下一步的输入。 这一步之所以比 token 级推理更强大，是因为连续空间允许任意精度的中间状态，而 token 词表是有限离散的，无法精确表达所有中间概念。
训练过程中需要保证潜在空间的几何结构有意义。常用方法包括：对比学习（将语义相似样本的潜在向量拉近）、正则化（KL 散度、谱正则化）、以及探针训练（验证特定属性是否线性可分）。没有这一步，潜在空间可能是"折叠的"——表面上是连续空间，实际上语义相邻点在几何上相距甚远。
从潜在向量 $z$ 解码回输出序列，通常使用自回归解码器：$p(y|z) = \prod_t p(y_t | y_{
COCONUT 等工作将上述流程扩展为多步：$z_0 \to z_1 \to \ldots \to z_K \to y$，每个 $z_i$ 是一个"思考步骤"的潜在表示。与 CoT 不同，这些中间步骤不被解码为 token，因此不受词表约束，可以表达更丰富的中间状态。实现上，通过在训练时用特殊的"思考 token"占位，推理时将其替换为潜在向量的前向传播结果。
潜在空间推理是现代深度学习的基础范式，渗透在几乎所有主流系统中：Stable Diffusion 的 latent diffusion、GPT 系列的隐状态分析、语音合成中的风格迁移（如 VALL-E 的声学提示编码）、多模态对齐（CLIP 的共享潜在空间）。它的长远价值在于：只要我们需要在离散符号世界和连续计算世界之间架桥，潜在空间就是不可绕过的核心抽象。未来的多模态大模型、具身智能的感知-行动循环，都将在统一潜在空间中运作。
当前核心开放问题：①潜在空间的可解释性——如何系统性地理解高维流形的局部几何结构？②潜在推理的训练稳定性——COCONUT 类方法在长链推理时梯度消失严重；③跨模态潜在对齐——如何保证视觉、语音、文本的潜在空间在语义上真正对齐而非仅表面相关；④潜在空间的组合性——如何支持结构化的逻辑组合操作。