神经网络训练本质是数值计算，精度直接决定成本与质量；降低位宽可成倍提升吞吐、减半显存，但引入的量化误差在极低精度下从随机噪声质变为系统性偏差，这就是收缩偏差研究的根本动因。
William Kahan主导的IEEE 754标准奠定了现代浮点运算的基石。其核心设计是对数间距（logarithmic spacing）：可表示数在零附近稠密、在大数处稀疏，提供近似恒定的相对精度 $|x - Q(x)|/|x| \leq 2^{-m}$（$m$为尾数位数）。FP32拥有23位尾数，相对误差约$10^{-7}$，对任何实际计算都可忽略。这一设计对通用计算极为优雅，但为日后极低位宽的机器学习训练埋下了隐患——当尾数位降至1-2位时，对数间距将导致量化误差不再对称。
NVIDIA的Micikevicius等人在ICLR 2018发表"Mixed Precision Training"，证明绝大多数神经网络运算可用FP16完成而不损失精度，前提是三项技术保障：FP32主权重用于累积更新、损失缩放（loss scaling）防止梯度下溢、FP32累加器用于归约操作。这项工作使V100 GPU训练速度提升2-3倍，迅速成为大规模训练的默认配置。FP16的10位尾数仍提供约$10^{-3}$的相对精度，量化误差在统计上近似无偏，训练稳定性有保障。混合精度的巨大成功激发了业界向更低精度进军的信心。
NVIDIA Hopper架构（H100）引入原生FP8张量核心，标准化了两种格式：E4M3（4位指数、3位尾数，用于前向传播，优先精度）和E5M2（5位指数、2位尾数，用于反向传播，优先动态范围）。Qualcomm（2022）、IBM（2023）、NVIDIA（2023）的系列论文证明FP8训练在视觉、语言、语音模型上可匹配FP16质量。关键洞察：E4M3仅3位尾数，量化误差已可感知，但由于每个量化区间内概率密度仍近似均匀，round-to-nearest下误差仍近似无偏。缩放策略从per-tensor演进到per-channel再到"延迟缩放"（delayed scaling），精细化管理动态范围。
当研究者推进到FP4（如E2M1：2位指数、1位尾数），质变发生了：量化区间变得极其粗糙（正数仅约8个可表示值），区间内均匀密度假设彻底崩溃。论文[21]（2025）首次给出收缩偏差的严格分析，揭示其几何起源：由于FP数的对数间距，相邻可表示数之间的实数轴被不对称地映射——对于以零为中心的钟形分布（如权重和梯度的典型分布），外围粗糙区间将更多概率质量"吸收"并映射到较小的代表值，产生净向零收缩效应。该偏差在深层网络中逐层累积，导致梯度被持续低估，训练发散或收敛到次优解。论文提出UFP4（Unbiased FP4）配方，通过解析偏差校正因子，首次实现十亿参数LLM的FP4预训练。
设实数值 $x$ 被量化为最近可表示FP值 $Q(x)$。在指数区间 $[2^e, 2^{e+1})$ 内，相邻可表示数间距为 $\Delta_e = 2^{e-m}$（$m$为尾数位数）。对于round-to-nearest，单个量化区间 $[q_i, q_{i+1})$ 内若 $x$ 均匀分布，则 $\mathbb{E}[Q(x)] = (q_i + q_{i+1})/2 = \mathbb{E}[x]$，看似无偏。但收缩偏差发生在分布层面。设 $x \sim p(x)$（如高斯分布），则 $\mathbb{E}[|Q(x)|] < \mathbb{E}[|x|]$。原因在于：对于单调递减的 $p(|x|)$（高斯尾部），每个量化区间 $[q_i, q_{i+1})$ 内下半部分 $[q_i, q_i+\Delta/2)$ 承载的概率质量大于上半部分 $[q_i+\Delta/2, q_{i+1})$，round-to-nearest将下半部分映射到较小值 $q_i$，上半部分映射到较大值 $q_{i+1}$，净效果是向内收缩。收缩量为：$$S = \sum_i \left[\int_{q_i}^{q_i+\Delta_i/2}(x - q_i)p(x)dx - \int_{q_i+\Delta_i/2}^{q_{i+1}}(q_{i+1}-x)p(x)dx\right]$$当 $\Delta_i$ 很大（FP4仅~8个正值）且 $p(x)$ 在区间内变化显著时，$S$ 可达信号幅度的5-15%。定义收缩比 $\rho = \mathbb{E}[|Q(x)|]/\mathbb{E}[|x|] \in [0.85, 0.95]$。随机舍入（Stochastic Rounding）提供无偏替代：$Q_{SR}(x) = q_i$的概率为 $(q_{i+1}-x)/\Delta$，$q_{i+1}$的概率为 $(x-q_i)/\Delta$，保证 $\mathbb{E}[Q_{SR}(x)] = x$，但以增大方差为代价。UFP4的校正策略是在量化后乘以 $\alpha = 1/\rho$：$\hat{x} = \alpha \cdot Q(x)$，其中 $\rho$ 可通过假设高斯分布解析计算，或通过运行统计量经验估计。
FP4训练的核心挑战是识别并校正由对数数轴间距与神经网络张量统计特性交互产生的系统性收缩偏差，通过格式设计、缩放策略和舍入方法的协同实现无偏低精度计算。
FP4用4位表示一个浮点数。以E2M1（1位符号、2位指数、1位尾数）为例，正数可表示值为 {0.5, 1.0, 1.5, 2.0, 3.0, 4.0, 6.0}（含适当指数偏移）。注意间距的增长模式：0.5→1.0间距0.5，4.0→6.0间距2.0。这种对数间距意味着大值区域的量化"桶"远宽于小值区域。当权重或梯度服从以零为中心的高斯分布时，大值区域虽概率密度低，但宽桶内的不对称舍入累积产生净向零偏移。E3M0（3位指数、0位尾数）仅有7个正的2的幂次，间距更粗，偏差更严重。格式选择本身就是精度与动态范围的权衡：更多指数位扩大范围但牺牲区间内分辨率。
在训练开始前或训练过程中，对代表性张量（权重、激活值、梯度）测量收缩比 $\rho = \mathbb{E}[|Q(x)|]/\mathbb{E}[|x|]$。实践中，对每个张量采样若干batch，计算量化前后绝对值均值之比。典型观察：权重张量的 $\rho$ 约0.90-0.95（分布较集中，偏差较小），梯度张量的 $\rho$ 可低至0.80-0.85（分布更重尾，外围粗桶影响更大）。这一测量至关重要，因为偏差幅度取决于张量标准差与FP4动态范围的比值，该比值在不同层、不同训练阶段差异显著。论文[21]展示了收缩偏差在深层网络中的复合效应：若每层梯度被收缩 $\rho$，经过 $L$ 层反向传播后，有效梯度被缩小为 $\rho^L$，对于50层网络和 $\rho=0.9$，这意味着梯度仅剩原始值的 $0.9^{50} \approx 0.5\%$。
UFP4配方引入per-tensor校正因子 $\alpha = 1/\rho$，在量化后应用：$\hat{x} = \alpha \cdot Q(x)$。校正因子可通过两种方式获得：（a）解析法——假设张量服从高斯分布 $\mathcal{N}(0, \sigma^2)$，给定FP4格式和缩放因子，$\rho$ 可闭式计算；（b）经验法——维护指数移动平均的 $\rho$ 估计，每N步更新一次。前向传播中，校正因子可折叠进缩放因子，零额外开销。反向传播中，校正必须谨慎应用以维持正确的优化轨迹——对梯度的校正等价于对学习率的局部调整。替代方案是随机舍入（SR），它从数学上消除偏差（$\mathbb{E}[Q_{SR}(x)] = x$），但需要硬件在数据通路中支持随机数生成，且增大了方差，可能需要更大batch size来补偿。
FP4的有限动态范围（E2M1约12dB）意味着单个per-tensor缩放因子远远不够。块缩放（block scaling）将每个张量切分为小块（典型大小32或128个元素），每块分配独立的缩放因子，以更高精度（FP8或FP16）存储。缩放因子计算为 $s = \max(|x_{\text{block}}|) / x_{\text{max,FP4}}$，确保每块充分利用FP4的表示范围，最小化上溢（截断）和下溢（浪费位）。块大小是关键超参数：更小的块提供更好的精度，但缩放因子的存储开销增加（32元素块的开销约为数据本身的6-12%）。实践中，块大小的选择需与硬件的向量宽度和缓存行大小对齐。
并非所有张量都适合FP4。UFP4配方采用分层精度策略：矩阵乘法的操作数（前向激活和权重梯度）使用FP4以获取最大吞吐提升；主权重保持FP16/FP32以累积微小更新；优化器状态（如Adam的一阶和二阶矩）使用FP8以平衡精度与显存。FP4乘积的累加必须在更高精度（FP16或FP32）中完成，防止误差累积——这与FP16训练中使用FP32累加器的原理一致。损失缩放仍然必要，以防止梯度在FP4范围内下溢。完整训练循环为：FP32主权重 → 量化为FP4（含块缩放和偏差校正）→ FP4前向/反向 → FP16累加梯度 → 更新FP32主权重。整个流水线的关键是确保每一步的精度选择不引入不可恢复的信息损失。
FP4训练直接关系到大模型训练成本能否再降一个数量级。NVIDIA Blackwell架构已原生支持FP4张量核心运算，Google TPU v6也在探索类似路径。理解收缩偏差不仅对训练重要，对训练后量化（PTQ）和量化感知训练（QAT）同样关键——GPTQ、AWQ等主流量化工具的误差分析都涉及类似的偏差校正思想。随着端侧部署（手机、车载芯片）对4-bit甚至2-bit模型的需求持续增长，收缩偏差的理论与校正方法将在未来数年保持核心地位。
当前热点包括：①FP4与INT4在训练中的系统性对比——整数格式的均匀间距是否天然避免收缩偏差；②自适应精度训练，不同层、不同训练阶段动态切换精度；③硬件-算法协同设计定制FP4格式（非IEEE标准）以最小化特定分布偏差；④sub-4-bit训练（FP3、FP2）的可行性边界仍未明确。