神经缩放定律
随着深度学习模型规模从百万参数跃升至万亿参数，研究者迫切需要一个定量框架来回答"投入多少资源能获得多少性能提升"，从而在耗资数百万美元的训练开始前做出最优决策——神经缩放定律（Neural Scaling Laws）正是为此而生。
Joel Hestness 等人发表了 "Deep Learning Scaling is Predictable, Empirically"，首次系统性地在机器翻译、语言建模、图像分类和语音识别四个领域中验证了一个惊人的规律性：当训练数据量增加时，模型的测试误差以幂律（power law）形式下降，而非线性或对数形式。这一发现意义重大——它表明深度学习的 scaling 行为不是混沌的，而是可预测的。但当时这篇论文并未引起广泛关注，因为业界尚未面临"模型该做多大"的迫切决策压力。
Jared Kaplan、Sam McCandlish 等人发表了 "Scaling Laws for Neural Language Models"，这是该领域真正的分水岭。他们在 Transformer 语言模型上进行了大规模系统实验，发现交叉熵损失 $L$ 与三个变量——模型参数量 $N$、训练数据量 $D$、计算预算 $C$——各自呈现精确的幂律关系，且这些关系在跨越七个数量级的范围内高度稳定。更关键的发现是：性能主要取决于规模（scale），而对模型的具体形状（深度/宽度比、注意力头数等）不敏感。这彻底改变了业界的研发范式——与其花大量时间调架构，不如直接扩大规模。Kaplan 还给出了计算最优分配的初步结论：在固定计算预算下，应将约 $73\%$ 的 scaling 分配给模型大小，$27\%$ 分配给数据量，即"模型应比数据增长更快"。这一结论直接影响了 GPT-3（175B 参数，仅 300B tokens）的训练决策。
Jordan Hoffmann 等人发表了 "Training Compute-Optimal Large Language Models"，对 Kaplan 的计算最优分配结论提出了重要修正。他们指出 Kaplan 的实验中每个模型并未训练到该计算预算下的最优点（使用了固定的学习率调度而非针对每个 run 单独调优），导致系统性地高估了大模型的优势。通过更严格的 IsoFLOP 实验设计，Chinchilla 团队发现模型大小和数据量应当近似等比例增长（各约 $50\%$）。他们用 70B 参数的 Chinchilla 模型在 1.4T tokens 上训练，以相同的计算预算击败了 280B 参数但仅用 300B tokens 训练的 Gopher。这一结果引发了行业地震——Meta 的 LLaMA 系列、Google 的 Gemma 等后续模型都采纳了"多喂数据"的策略。
Scaling laws 被推广到视觉-语言模型（Cherti 等人的 OpenCLIP scaling 研究）、代码生成（DeepSeek-Coder 的 scaling 分析）和强化学习等领域。研究者发现幂律形式具有普适性，但指数和常数因领域而异，不能简单套用 NLP 的参数。
如今日论文 [31] 所示，研究者开始系统性地研究语音识别（ASR）和音频事件分类任务的 scaling 行为。音频数据的时间冗余度远高于文本，一秒语音可能对应数百个 token 但仅携带几个词的信息量，这使得音频模型的数据 scaling 指数与 NLP 显著不同。这一方向对语音基础模型的规模选择具有直接的工程指导意义。
缩放定律的核心是三组幂律关系。当其他资源充足时，损失仅由单一变量决定：$$L(N) = \left(\frac{N_c}{N}\right)^{\alpha_N}, \quad L(D) = \left(\frac{D_c}{D}\right)^{\alpha_D}, \quad L(C) = \left(\frac{C_c}{C}\right)^{\alpha_C}$$其中 $N$ 为非嵌入层参数量，$D$ 为训练 token 数，$C$ 为计算量（FLOPs），$N_c, D_c, C_c$ 为领域相关常数，$\alpha_N, \alpha_D, \alpha_C$ 为缩放指数。Kaplan 在语言建模中测得 $\alpha_N \approx 0.076$，$\alpha_D \approx 0.095$，$\alpha_C \approx 0.050$。指数越小意味着 scaling 越"困难"——需要更多资源才能获得同等收益。当 $N$ 和 $D$ 同时有限时，Chinchilla 采用更清晰的加法分解形式：$$L(N, D) = E + \frac{A}{N^{\alpha}} + \frac{B}{D^{\beta}}$$其中 $E$ 为不可约损失（自然语言的固有熵，约 1.69 nats/token），$A/N^{\alpha}$ 为因模型容量不足导致的欠拟合损失，$B/D^{\beta}$ 为因数据不足导致的过拟合损失，$\alpha \approx 0.34$，$\beta \approx 0.28$。这一形式的物理直觉是：总损失 = 不可消除的噪声 + 模型瓶颈 + 数据瓶颈。计算最优分配问题：给定计算预算 $C$，Transformer 训练的 FLOPs 近似为 $C \approx 6ND$（前向 $2ND$，反向 $4ND$），求使 $L(N, D)$ 最小的 $N^*, D^*$。对 $L$ 关于 $N$ 求偏导并令其为零，结合约束 $D = C/(6N)$，可得 $N^*(C) \propto C^{a}$，$D^*(C) \propto C^{b}$，其中 $a + b = 1$。Chinchilla 的实验结果为 $a \approx b \approx 0.5$，即模型大小与数据量应等比例增长。例如，计算预算翻 $10$ 倍时，模型大小和数据量各应增长约 $\sqrt{10} \approx 3.16$ 倍。
缩放定律的实践方法论是一套"用小实验预测大实验"的系统化流程，核心在于通过精心设计的小规模实验拟合幂律参数，再外推到目标规模。
选取 $k$ 个计算预算等级 $C_1 < C_2 < \ldots < C_k$（通常跨越 2–3 个数量级，如 $10^{17}$ 到 $10^{20}$ FLOPs），在每个预算等级下训练 $m$ 个