CTC的诞生源于一个根本矛盾：序列标注任务（如语音识别）中，输入帧与输出标签之间的对齐关系未知，传统方法要么依赖预先强制对齐（forced alignment），要么需要帧级标注，两者成本都极高。CTC通过在数学层面"边缘化"掉对齐变量，彻底消除了这一需求。
Alex Graves、Santiago Fernández、Faustino Gomez和Jürgen Schmidhuber在ICML 2006发表论文"Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural Networks"，首次提出CTC损失函数。核心创新有二：一是引入特殊的空白符号（blank），允许模型在任意帧"不输出"任何标签；二是利用类似HMM的前向-后向动态规划算法，在$O(T \cdot U)$时间内对所有合法对齐路径求和。这一工作使RNN可以直接在未分割的序列数据上端到端训练，首先在TIMIT音素识别上验证了有效性。其灵感部分来自HMM的前向-后向思想，但CTC将其嵌入神经网络训练框架，无需显式定义状态转移概率。
百度研究院Hannun等人于2014年推出Deep Speech，2016年推出Deep Speech 2，将CTC与深层双向RNN结合，证明纯CTC系统可在大规模英文语音识别上媲美传统DNN-HMM流水线。Google同期将CTC应用于端上语音模型。这一阶段CTC从学术验证走向工业级部署，其解码简洁、天然支持流式处理（单向编码器+贪婪解码）的优势凸显。然而CTC的条件独立假设也暴露了短板——输出标签间无依赖建模，导致在语言模型缺位时错误率偏高。
Watanabe等人在ESPnet框架中提出CTC-Attention联合训练与解码，将CTC的单调对齐约束与注意力机制的灵活上下文建模互补融合。训练时以$\lambda \mathcal{L}_{CTC} + (1-\lambda)\mathcal{L}_{Att}$联合优化；解码时CTC前缀得分引导注意力束搜索，抑制注意力的对齐漂移和长尾删除错误。这一范式成为后续五年端到端ASR的主流架构，ESPnet、WeNet等开源工具包均以此为核心。
Baevski等人在Wav2Vec 2.0中，以CTC作为自监督预训练模型的下游微调目标——冻结或微调Transformer编码器后，仅需加一层线性CTC头即可适配ASR任务。这种"预训练+CTC微调"范式极大降低了标注数据需求。与此同时，非自回归ASR领域兴起以CTC贪婪输出为种子进行迭代精化的方法（如Mask-CTC、CASS-NAT），[25]号论文所提出的CTC种子令牌编辑精化正是这一方向的最新进展，将ASR解码表述为对CTC初始输出的可变长度编辑操作。
设输入序列$\mathbf{x}=(x_1,...,x_T)$长度为$T$，目标标签序列$\mathbf{y}=(y_1,...,y_U)$长度为$U$（$U \leq T$）。CTC定义扩展字母表$\mathcal{A}'=\mathcal{A}\cup\{\text{blank}\}$。一条CTC路径$\boldsymbol{\pi}=(\pi_1,...,\pi_T)$是长度为$T$的$\mathcal{A}'$上的序列。折叠函数$\mathcal{B}$先合并连续相同符号再移除blank，例如$\mathcal{B}(a,\text{-},\text{-},b,b)=(a,b)$。CTC目标函数对所有折叠后等于$\mathbf{y}$的路径求和：$P(\mathbf{y}|\mathbf{x})=\sum_{\boldsymbol{\pi}:\mathcal{B}(\boldsymbol{\pi})=\mathbf{y}}\prod_{t=1}^{T}P(\pi_t|x_t)$。帧间条件独立假设是关键——它使乘积分解成立，进而让动态规划可行。构造扩展标签序列$\mathbf{y}'=(\text{-},y_1,\text{-},y_2,...,y_U,\text{-})$，长度$S=2U+1$。定义前向变量$\alpha(t,s)$为时刻$t$前所有路径中输出$\mathbf{y}'$前$s$个符号的概率总和。递推关系为：$\alpha(t,s)=P(y'_s|x_t)\cdot\begin{cases}\alpha(t\!-\!1,s)+\alpha(t\!-\!1,s\!-\!1)&\text{if }y'_s=\text{blank or }y'_s=y'_{s-2}\\\alpha(t\!-\!1,s)+\alpha(t\!-\!1,s\!-\!1)+\alpha(t\!-\!1,s\!-\!2)&\text{otherwise}\end{cases}$。当$y'_s\neq y'_{s-2}$时允许跳过中间blank直接转移到新标签，否则禁止（避免相邻相同标签合并歧义）。这正是CTC处理重复字符（如"book"中两个o）的精妙之处。最终$P(\mathbf{y}|\mathbf{x})=\alpha(T,S)+\alpha(T,S\!-\!1)$，复杂度$O(T\cdot U)$。训练损失为$\mathcal{L}=-\ln P(\mathbf{y}|\mathbf{x})$，梯度通过前向-后向变量的乘积解析计算：$\frac{\partial(-\ln P)}{\partial P(k|x_t)}=-\frac{1}{P(\mathbf{y}|\mathbf{x})\cdot P(k|x_t)}\sum_{s:y'_s=k}\alpha(t,s)\beta(t,s)$，其中$\beta(t,s)$是对称的后向变量。
CTC的整体工作逻辑是：编码器将变长音频映射为逐帧后验概率，通过动态规划在所有合法对齐路径上高效求和，计算目标序列的边际似然并反向传播优化。
编码器（双向LSTM、Conformer或Transformer）将输入特征序列$(x_1,...,x_T)$映射为每帧对扩展词汇表$\mathcal{A}'$的softmax概率向量。CTC在输出层施加帧间条件独立假设——这并不意味着模型忽略上下文，编码器内部的双向结构或自注意力已充分建模帧间依赖，条件独立仅在输出分解层面成立。这一设计的深层原因是：如果输出间也有依赖，前向-后向的乘法分解就不成立，动态规划将退化为指数复杂度。关键选择：词汇表粒度。字符级（英文约30个符号+blank）训练快但需语言模型补偿；子词级（BPE，数千token+blank）自带部分语言建模能力但稀疏路径更多。
将目标序列$\mathbf{y}$扩展为$\mathbf{y}'$，在每个标签之间及首尾插入blank，长度变为$2U+1$。这一步的设计精妙性在于：blank不仅允许模型在任意帧"沉默"以适应$T \gg U$的情况，还解决了重复标签问题——"hello"中两个l必须被blank隔开才不会被折叠为一个。初始化$\alpha(1,1)=P(\text{blank}|x_1)$、$\alpha(1,2)=P(y_1|x_1)$，其余为零。这限定了序列只能从blank或第一个标签开始，对应人类语音开头可以有静音也可以直接起音。
按时间步$t=2,...,T$和标签位置$s$顺序填充$\alpha(t,s)$。每个状态只允许三种来源转移：①自身停留$(t\!-\!1,s)\to(t,s)$，对应某个标签持续多帧（语音中一个音素可占数十毫秒）；②从前一位置前进$(t\!-\!1,s\!-\!1)\to(t,s)$，对应推进到下一个blank或标签；③跳跃$(t\!-\!1,s\!-\!2)\to(t,s)$，仅当$y'_s\neq y'_{s-2}$时允许，对应跳过blank直接到下一个不同标签。这种严格的单调转移约束编码了语音识别的根本物理约束——声音是单调推进的，不会回退或重排。实现时需注意数值稳定性：直接乘法导致下溢，工程上在对数域计算，用log-sum-exp避免精度丢失。对于长音频（$T>5000$帧），还需GPU并行化——在$s$维度上并行、$t$维度上串行，因为时间步间有依赖但标签位置间可独立计算。
对称地定义后向变量$\beta(t,s)$，从$t=T$向$t=1$递推。前向与后向变量的乘积$\alpha(t,s)\beta(t,s)$恰好等于经过状态$(t,s)$的所有完整路径的概率。因此，CTC损失对编码器输出$P(k|x_t)$的梯度可以解析地表示为$\alpha$和$\beta$的函数，无需采样或近似。这比强化学习中常见的REINFORCE梯度估计器方差低几个数量级，是CTC训练稳定的根本原因。工程实现中，一次前向传播计算$\alpha$，一次后向传播计算$\beta$，总计$2T \cdot S$次乘加运算即可得到完整梯度。
训练完成后，推理时需从$T$个帧的后验分布中恢复最可能的标签序列。贪婪解码取每帧argmax后执行折叠$\mathcal{B}$，复杂度$O(T)$，适合流式低延迟场景但不保证全局最优。前缀束搜索（prefix beam search）维护$K$个不同标签前缀的候选，每帧扩展后按累积对数概率剪枝，可集成外部语言模型得分$\log P_{LM}(y)$作为加权偏置来补偿CTC缺乏的输出间依赖。在CTC-Attention混合系统中，CTC前缀得分$\lambda\log P_{CTC}$与注意力解码得分$(1-\lambda)\log P_{Att}$联合排序，利用CTC的单调性约束修正注意力的对齐漂移，束宽通常设为10-20。
CTC是端到端语音识别三大范式之一（CTC、Attention、Transducer），在工业界有广泛部署。Google的端上Conformer-CTC模型运行于数十亿Android设备，Meta的Wav2Vec 2.0以CTC微调实现低资源语言ASR，WeNet等中文开源框架以CTC-Attention为默认架构。CTC的核心思想——通过数学边缘化绕过未知对齐——还影响了手写识别（基于CTC的OCR）和动作识别领域。其解码简洁、天然流式的特点使其在延迟敏感场景（智能音箱、车载语音）中不可替代，这一基础性地位在可预见未来不会改变。
当前CTC方向的研究热点包括：(1)以CTC输出为种子的非自回归ASR精化——如何在保持并行解码速度的同时突破条件独立假设的局限；(2)自监督预训练模型上的参数高效CTC微调策略（LoRA-CTC等）；(3)多语言混合场景下CTC词汇表的联合设计与动态切换；(4)CTC与Transducer的统一框架，寻找兼具CTC训练效率和RNN-T建模能力的方法。