每日基础课

发展流程：

第一阶段：直接用分数。

早期或最简单的分类想法是：

哪个类别分数最大，就选哪个。

比如：

\[ [3.0, 1.0, 0.5] \]

直接选第一个。

这能做决策。

但问题是：

分数不是概率。

分数尺度也不稳定。

一个模型输出 10，另一个模型输出 100，不能直接比较。

第二阶段：需要概率。

很多任务不只要“选谁”。

还要知道“有多确定”。

比如说话人日志 diarization：

系统可能要判断：

• 这段是不是同一个说话人？
• 是否需要新建说话人？
• 当前段属于哪个聚类？
• 这个预测能不能信？

这时概率比原始分数更好用。

Softmax 就出现了。

它把任意实数分数变成概率分布。

第三阶段：和交叉熵结合。

现代分类模型常这样训练：

输入 → 编码器 → 分类头 → logits → 交叉熵损失。

交叉熵会鼓励正确类别的概率变大。

在数学实现上，常把 Softmax 和 log 结合起来算。

因为这样更稳定。

PyTorch 的 `CrossEntropyLoss` 就是典型做法。

第四阶段：温度系数加入。

后来大家发现：

模型的概率有时不准。

比如模型说 0.95，但实际只对了 0.75。

这叫置信度不校准。

温度系数可以调节概率分布形状。

常见用途：

• 训练后概率校准。
• 蒸馏学习中让 teacher 的分布更柔和。
• 生成模型采样时控制随机性。
• 对比学习中控制相似度分布的尖锐程度。

现在怎么用：

在主流模型里，Softmax 很常见。

• 分类头里。

比如音频事件分类：

音频 → CNN/Transformer 编码器 → 线性层 → logits → Softmax 概率。

• 注意力机制里。

Transformer 里有 attention。

它会算 query 和 key 的相似度分数。

然后用 Softmax 变成注意力权重。

这些权重加起来等于 1。

再对 value 加权求和。

所以 Softmax 不只用于分类。

也用于“分配注意力”。

• 说话人识别里。

训练说话人分类器时：

语音片段 → speaker embedding → 分类层 → 每个训练说话人的 logits → 交叉熵。

这里通常训练时用 `CrossEntropyLoss`。

推理时可能不再用这个分类头，而是拿 embedding 做相似度比较。

• 说话人日志中。

说话人日志经常不是简单 Softmax 一步完成。

但 Softmax 会出现在很多子模块里：

• 语音活动检测：speech / non-speech 分类。
• 重叠语音检测：overlap / non-overlap 分类。
• 说话人变化检测：change / no-change 分类。
• 神经聚类或端到端 diarization 的帧级说话人概率。
• Transformer 模块内部的 attention 权重。

• 音视频理解中。

Softmax 可用于：

• 视频动作分类。
• 音频事件分类。
• 音视频同步判断。
• 多模态融合时的权重分配。
• attention 模块中的归一化。

与相近概念的区别：

• Softmax vs Sigmoid。

Sigmoid：

\[ \sigma(z)=\frac{1}{1+e^{-z}} \]

它把一个数压到 0 到 1。

常用于二分类或多标签分类。

多标签的意思是：

一个样本可以同时属于多个类别。

比如一段音频里可以同时有：

• 说话声
• 音乐
• 背景噪声

这时每个标签独立判断。

用 Sigmoid 更合适。

Softmax：

一组类别之间互相竞争。

概率总和为 1。

适合单标签多分类。

比如一段音频只选一个主类别。

• Softmax vs Argmax。

Argmax 只选最大的位置。

比如：

\[ [0.7, 0.2, 0.1] \]

Argmax 输出第 1 类。

它不给完整概率。

也不可导。

训练神经网络时，通常不能直接用 Argmax 做损失。

Softmax 给完整概率分布。

可以参与梯度计算。

• Softmax vs LogSoftmax。

Softmax 输出概率。

LogSoftmax 输出概率的对数。

\[ \log(p_i) \]

训练时常用 LogSoftmax，因为数值更稳定。

PyTorch 的 `CrossEntropyLoss` 内部就用到了这个思路。

• Softmax vs 归一化。

普通归一化可能是：

把一组数除以总和。

但如果有负数，会出问题。

Softmax 先用指数变正数，再归一。

而且指数会强调高分。

• 温度系数 vs 学习率。

温度控制输出分布形状。

学习率控制参数更新步子大小。

两者不是一回事。

温度不直接决定模型学多快。

当前局限：

事实部分：

• Softmax 概率不一定等于真实概率。

模型输出 0.9，不代表现实中一定有 90% 的频率正确。

它可能过度自信。

• Softmax 会强制类别竞争。

如果任务本来是多标签，Softmax 不合适。

比如音频里同时有说话和音乐。

用 Softmax 会逼模型二选一。

• Softmax 对大 logit 差距很敏感。

最高分稍微大一些，概率可能就很集中。

这会让模型看起来很自信。

• 类别很多时，Softmax 计算成本更高。

因为要对所有类别求指数和求和。

大词表语言模型尤其明显。

• 维度容易写错。

在 PyTorch 里，`dim` 很关键。

如果 logits 形状是 `[batch, classes]`，通常用 `dim=1`。

如果写成 `dim=0`，就会在 batch 维度上归一化，含义错了。

未来可能作用：

事实部分：

温度系数现在已经常用于：

• 概率校准。
• 知识蒸馏。
• 生成模型采样。
• 对比学习。
• 注意力分布控制。

推测部分：

未来在音视频和说话人日志里，温度可能更多用于动态置信度控制。

比如：

噪声大时，提高温度，让模型别太自信。

语音清晰时，降低温度，让决策更果断。

这属于合理推测，不是所有系统都已经这样做。

推测部分：

多模态系统可能会按模态质量调温度。

比如视频模糊时，降低视频分支权重；音频清晰时，提高音频分支影响。

但具体做法依赖模型设计。

不能说这是统一标准。

最后再压缩一遍：

Softmax 做三件事：

• 指数化：把分数变正，并拉开差距。
• 求总和：算总票数。
• 除总和：变成概率。

温度做一件事：

• 调分布尖锐程度。

温度小于 1：

• 更尖。
• 更自信。
• 更接近 argmax。

温度大于 1：

• 更平。
• 更保守。
• 更接近平均分布。

温度趋近 0：

• 几乎只选最大项。

温度趋向无穷大：

• 各类别接近均匀概率。

口诀：

Softmax 把分数变概率；温度低，赢家通吃；温度高，大家都有戏。

逐段解释代码：

第一段：

import torch
import torch.nn.functional as F

导入 PyTorch。

`F.softmax` 是函数式 API。

`F.cross_entropy` 是交叉熵函数。

第二段：

torch.set_printoptions(precision=4, sci_mode=False)

控制打印格式。

让输出更好读。

保留 4 位小数。

不用科学计数法。

第三段：

def softmax_with_temperature(logits, temperature=1.0, dim=1):
    if temperature <= 0:
        raise ValueError("temperature 必须大于 0")
    return F.softmax(logits / temperature, dim=dim)

这是带温度的 Softmax。

核心只有一行：

logits / temperature

然后再 Softmax。

温度必须大于 0。

如果温度是 0，会除以 0。

如果温度是负数，会改变类别顺序，含义不对。

第四段：

logits = torch.tensor([
    [3.0, 1.0, 0.5, -1.0],
    [1.2, 1.1, 1.0, 0.9],
    [-0.5, 0.0, 2.0, 1.0],
])

张量形状是：

[3, 4]

意思是：

• 3 个样本。
• 每个样本 4 个类别。

在说话人日志里，可以想象成：

• 3 个语音片段。
• 4 个候选说话人。

在音视频分类里，可以想象成：

• 3 个片段。
• 4 个事件类别。

第五段：

probs = softmax_with_temperature(logits, temperature=temperature, dim=1)

这里 `dim=1` 很关键。

因为类别维度是第 1 维。

也就是每一行内部做 Softmax。

每一行代表一个样本的类别概率分布。

第六段：

row_sums = probs.sum(dim=1)

检查每个样本的概率和。

正确情况下，应该接近：

tensor([1.0000, 1.0000, 1.0000])

因为浮点数误差，可能显示成非常接近 1。

第七段：

pred_classes = probs.argmax(dim=1)

取每个样本概率最大的类别。

这是推理时常见的分类决策。

Softmax 给概率。

Argmax 给最后选择。

第八段：

max_probs = probs.max(dim=1).values

看最大概率。

这可以观察模型置信度。

你会发现：

• T=0.5 时，最大概率变大。
• T=2.0 或 5.0 时，最大概率变小。

也就是：

低温更自信。

高温更保守。

第九段：

wrong_probs = F.softmax(logits, dim=0)

这是故意写错。

`dim=0` 表示沿 batch 维度归一化。

也就是：

同一个类别在不同样本之间加起来为 1。

这通常不是分类任务想要的。

分类任务一般希望：

每个样本内部，不同类别加起来为 1。

所以 `[batch, classes]` 常用 `dim=1`。

常见错误：

错误 1：把 `dim` 写错。

如果 logits 是 `[batch, classes]`，通常写：

F.softmax(logits, dim=1)

如果 logits 是 `[batch, time, classes]`，通常写：

F.softmax(logits, dim=-1)

`dim=-1` 表示最后一维。

这在序列模型里很常用。

错误 2：训练时先 Softmax 再 CrossEntropyLoss。

不要这样：

probs = F.softmax(logits, dim=1)
loss = F.cross_entropy(probs, labels)

通常应该这样：

loss = F.cross_entropy(logits, labels)

因为 `cross_entropy` 需要 logits。

它内部会做稳定版本的 LogSoftmax。

错误 3：以为 Softmax 概率一定可靠。

Softmax 输出 0.99，只表示模型很自信。

不保证模型真的有 99% 正确率。

真实系统中，还可能需要校准和验证集评估。

错误 4：多标签任务误用 Softmax。

如果一段音频同时有多个标签：

• speech
• music
• noise

这时常用 Sigmoid。

因为每个标签可以独立为真。

Softmax 更适合互斥类别。

它在真实模型中的对应位置：

• 音频事件分类：

waveform / log-mel
→ encoder
→ pooling
→ linear classifier
→ logits
→ softmax probabilities

• 说话人分类训练：

speech segment
→ speaker encoder
→ speaker embedding
→ linear classifier over training speakers
→ logits
→ CrossEntropyLoss

训练时不需要手动 Softmax。

评估或可视化时可以 Softmax 看概率。

• Transformer 注意力：

QK^T / sqrt(d)
→ attention logits
→ softmax
→ attention weights
→ weighted sum of V

这里 Softmax 不是分类概率。

而是注意力权重。

但数学形式一样：

把一组分数变成和为 1 的权重。

• 音视频融合：

有些模型会对不同模态打分：

• audio score
• video score
• text score

然后 Softmax 成融合权重。

表示当前更信任哪个模态。

这和“评委分配支持率”很像。