变分信息瓶颈
信息瓶颈的诞生源于一个根本追问：如何在数学上刻画"好的表示"——既足够压缩以丢弃噪声，又足够丰富以完成预测任务？
Claude Shannon 在信息论开山论文中定义了互信息 $I(X;Y)$ 和信道容量，随后在1959年发展出率失真理论（Rate-Distortion Theory），证明了在给定失真约束下存在最小编码速率。这为"有损压缩的最优性"提供了数学基准，但需要显式定义失真函数（如均方误差），在复杂任务中难以指定。
Naftali Tishby、Fernando Pereira 和 William Bialek 在希伯来大学提出 Information Bottleneck（IB）方法，发表于 Allerton Conference。核心创新在于用目标变量 $Y$ 的互信息 $I(T;Y)$ 替代显式失真函数——不需要定义"什么算失真"，只需指定"什么信息需要保留"。原始 IB 用迭代 Blahut-Arimoto 类算法求解，适用于离散分布，在文档聚类和基因组学中取得了初步成功，但无法扩展到高维连续空间。
Tishby 与 Ravid Shwartz-Ziv 提出"深度网络信息动力学"假说：神经网络训练分为两阶段——先拟合（$I(T;Y)$ 增大）后压缩（$I(T;X)$ 减小），并认为泛化的本质就是隐层对输入信息的压缩。这一假说在学界引发激烈争论：Saxe 等人在2018年指出压缩现象依赖于激活函数选择（ReLU 网络中不明显），但支持者反驳称应关注信息几何而非绝对互信息值。这场争论虽未完全定论，却让信息瓶颈思想从小众信息论工具变为深度学习社区的热议话题。
Alexander Alemi、Ian Fischer、Joshua Joshi 和 Kevin Murphy 在 Google DeepMind（当时为 Google Brain）发表 ICLR 论文"Deep Variational Information Bottleneck"，解决了 IB 在深度网络中不可计算的核心障碍。关键洞察：用变分推断推导互信息的可训练上下界，将编码器参数化为高斯随机映射（类似 VAE 的重参数化技巧），得到一个标准 SGD 可优化的损失函数。VIB 在形式上统一了信息论压缩与变分贝叶斯框架，使 IB 理论首次在 ImageNet 级别的任务上可行。
VIB 迅速被应用于对抗鲁棒性（Fischer 2020，压缩对抗扰动）、公平性（Moyer 2018，压缩敏感属性）、域适应（移除域特定信息），以及多模态学习。在语音和音频领域，VIB 被用于噪声鲁棒语音识别（如今日论文[18]的音视频语音识别）、欺骗检测中的语言学偏差消除（论文[34]）、说话人验证等场景，已成为处理模态噪声和信息冗余的首选正则化手段。
信息瓶颈优化目标寻求输入 $X$ 的表示 $T$，使得 $T$ 对目标 $Y$ 最大限度地保有信息，同时对 $X$ 最大限度地压缩：$\min_{p(t|x)} I(T;X) - \beta \cdot I(T;Y)$。其中 $I(\cdot;\cdot)$ 为互信息，$\beta>0$ 是压缩-预测权衡参数。直接计算高维连续互信息不可行，VIB 引入三个变分组件化解此难题。首先，编码器 $p_\theta(t|x) = \mathcal{N}(\mu_\theta(x), \sigma^2_\theta(x))$ 输出高斯分布而非确定性向量。引入变分边际 $r(t) = \mathcal{N}(0, I)$ 和变分解码器 $q_\phi(y|t)$，可得 $I(T;X)$ 的可计算上界：$I(T;X) \leq \mathbb{E}_{p(x)}[D_{KL}(p_\theta(t|x) \| r(t))]$，因为 KL 散度总不小于互信息（当 $r(t)=p(t)$ 时取等号）。同理，$I(T;Y)$ 的下界为：$I(T;Y) \geq \mathbb{E}_{p(x)p_\theta(t|x)}[\log q_\phi(y|t)] + H(Y)$，其中 $H(Y)$ 为常数可忽略。合并得到 VIB 损失：$\mathcal{L}_{VIB} = \mathbb{E}[-\log q_\phi(y|t)] + \beta \cdot D_{KL}(p_\theta(t|x) \| \mathcal{N}(0,I))$。第一项是标准交叉熵分类损失，驱动表示保留任务相关信息；第二项是 KL 正则化，将表示"推向"标准正态先验，迫使编码器丢弃冗余细节。$\beta$ 越大压缩越强，模型越鲁棒但可能欠拟合。对高斯编码器，KL 项有解析解 $\frac{1}{2}\sum_j(\mu_j^2+\sigma_j^2-\log\sigma_j^2-1)$，无需蒙特卡洛估计。这一形式与 VAE 的 ELBO 惊人相似，但动机截然不同：VAE 从贝叶斯生成模型出发，VIB 从信息论压缩出发，殊途同归于同一数学结构。
VIB 的整体工作逻辑是：用随机编码器为神经网络的中间表示注入受控噪声，通过 KL 散度正则化限制信息流量，迫使网络在"信息带宽受限"的条件下只保留对任务最关键的信号。
编码器网络对输入 $x$ 输出均值 $\mu_\theta(x)$ 和对数方差 $\log\sigma^2_\theta(x)$，通过重参数化技巧 $t = \mu + \sigma \odot \epsilon$（$\epsilon \sim \mathcal{N}(0,I)$）采样得到表示 $t$。为什么必须是随机而非确定性映射？因为确定性映射的互信息 $I(T;X)$ 在连续空间中为无穷大——所有输入信息都被无损传递，"压缩"无从谈起。注入噪声后，只有远大于噪声幅度的信号成分才能被可靠传递，微弱的、冗余的信息自然被淹没。这与通信理论中的信道容量概念直接对应：噪声越大，信道容量越低，可传递的信息量越少。实现细节：$\sigma$ 由网络学习而非预设，网络自动为不同维度分配不同噪声水平——重要维度的 $\sigma$ 会被学小（高信噪比），不重要维度的 $\sigma$ 被学大甚至趋向先验。
计算每个样本的 $D_{KL}(p_\theta(t|x) \| \mathcal{N}(0,I))$ 并对批次取均值。这一项直接惩罚编码器分布偏离标准正态先验的程度：如果某个输入的 $\mu$ 离原点很远或 $\sigma$ 很小（精确编码），KL 值就大。为什么用标准正态作先验？首先它让 KL 有解析解，计算成本几乎为零；更深层地看，标准正态先验意味着"在没有看到输入之前，表示应该携带零信息"——编码器必须用 KL 代价"购买"每一比特信息。$\beta$ 的调节是实践中最微妙的环节：$\beta=0$ 退化为普通分类器（无压缩），$\beta$ 过大则模型变为纯先验采样（忽略输入）。经验范围通常在 $10^{-4}$ 到 $10^{-1}$之间，取决于任务和表示维度。一种自动策略是用拉格朗日对偶法：设定目标信息量 $I_c$，将 $\beta$ 作为对偶变量自动调节以满足 $I(T;X) \leq I_c$。
解码器 $q_\phi(y|t)$ 从压缩表示 $t$ 预测目标标签 $y$，使用标准交叉熵损失。这一步的作用是确保压缩不是无差别丢弃——被保留下来的必须是对预测最有用的信息。在多模态场景中这种选择性压缩格外有价值：论文[18]的 VIB-AVSR 分别对音频和视频