每日基础课

一句话定义： 激活函数是给神经网络注入“拐弯拟合能力”的非线性数学开关；ReLU 是干脆利落的硬折线，GELU 和 SiLU 则是带有“平滑缓冲与自门控”的现代软开关。

一句记忆口诀： “负数截断硬开关是 ReLU，正态概率软放行是 GELU，自己乘 Sigmoid 是 SiLU；老 CNN 喜硬折，现代 Transformer 与语音网络爱平滑。”

---

生活类比：小区门禁闸机 - ReLU（硬性身高标尺）： 身高不足 1 米 2 一律拦死（输出 0），超过 1 米 2 原样放行（输出 $x$）。规则极简，但矮个子如果被误拦，永远没有补救机会。 - GELU（综合素质概率门）： 越优秀的人放行概率越高。表现极差的极大概率被拦，中等水平的有一部分概率通过，边缘处非常平滑。 - SiLU（自给自足感应门）： 进门前先照镜子给自己打分（通过 Sigmoid 变成 0 到 1 的系数），再用这个分数乘上自己的实力输出。

---

核心公式与符号拆解：

1. ReLU (Rectified Linear Unit): $$f(x) = \max(0, x)$$ - $x$：输入特征值。 - $\max(0, x)$：小于 0 直接归零，大于 0 原样保留。导数在 $x>0$ 时为 1，在 $x<0$ 时为 0。

2. GELU (Gaussian Error Linear Unit): $$f(x) = x \cdot \Phi(x) = x \cdot P(X \le x), \quad X \sim \mathcal{N}(0, 1)$$ - $\Phi(x)$：标准正态分布的累积分布函数（CDF）。 - 直观含义：输入 $x$ 越大，$\Phi(x)$ 越接近 1，输出越接近 $x$；$x$ 越小，$\Phi(x)$ 越接近 0；在负数微小区间允许极小的负值漏过。

3. SiLU (Sigmoid Linear Unit / Swish-1): $$f(x) = x \cdot \sigma(x) = \frac{x}{1 + e^{-x}}$$ - $\sigma(x)$：标准 Sigmoid 函数，将数值压缩到 $(0, 1)$。 - 直观含义：用输入自身的 Sigmoid 值作为“门控权重”，自己决定放行多少比例。

---

它解决什么问题？没有它会怎样？ - 没有激活函数： 哪怕堆叠 1000 层全连接层或卷积层，其数学本质依然只是一个巨大的矩阵连乘（$W_2 W_1 x = W_{all} x$）。网络退化成单层线性模型，根本无法分辨复杂的语音时频谱或多说话人重叠声学特征。 - 没有现代平滑激活（只用老一代 Sigmoid/Tanh）： 深层网络反向传播时梯度快速衰减为 0（梯度消失）。 - 只用传统 ReLU 的隐患： 如果大量神经元的输入落入负区，其导数永久为 0，参数再也无法更新，形成“神经元死亡（Dying ReLU）”。GELU 和 SiLU 在负区保留了平滑微小负值和连续导数，彻底缓解了这一痛点。

想要结合数学公式与直观图像系统推导，可以参考《Dive into Deep Learning》激活函数章节，先看直觉和公式，再运行章节中的代码加深理解。

实现思路： 1. 构建模拟音频声学特征张量，设置 `requires_grad=True` 以便观测导数。 2. 依据公式纯手工实现 `my_relu`、`my_silu` 和 `my_gelu_approx`。 3. 分别调用手工实现与 PyTorch 官方对应模块，验证数值对齐度。 4. 对测试点 $x=-1.0$ 反向求导，直观验证“ReLU 硬死亡 vs GELU/SiLU 软导数”的现象。

对照 PyTorch 官方 API 掌握张量与训练写法，可参考 PyTorch Tutorials 官方示例。

import torch
import torch.nn as nn
import math

# 1. 手写三种激活函数
def my_relu(x: torch.Tensor) -> torch.Tensor:
    return torch.clamp(x, min=0.0)

def my_silu(x: torch.Tensor) -> torch.Tensor:
    return x * torch.sigmoid(x)

def my_gelu_approx(x: torch.Tensor) -> torch.Tensor:
    # 常用 Tanh 快速近似公式: 0.5 * x * (1 + tanh(sqrt(2/pi) * (x + 0.044715 * x^3)))
    inner = math.sqrt(2.0 / math.pi) * (x + 0.044715 * torch.pow(x, 3))
    return 0.5 * x * (1.0 + torch.tanh(inner))

def run_verification():
    torch.manual_seed(42)
    
    # 模拟音频特征: [Batch=2, Time=100帧, Freq=80维Mel特征]
    mel_input = torch.randn(2, 100, 80)
    
    # 官方算子
    official_relu = nn.ReLU()
    official_silu = nn.SiLU()
    official_gelu = nn.GELU(approximate='tanh')
    
    # 前向对比
    out_my_relu = my_relu(mel_input)
    out_off_relu = official_relu(mel_input)
    diff_relu = torch.max(torch.abs(out_my_relu - out_off_relu)).item()
    
    out_my_silu = my_silu(mel_input)
    out_off_silu = official_silu(mel_input)
    diff_silu = torch.max(torch.abs(out_my_silu - out_off_silu)).item()
    
    out_my_gelu = my_gelu_approx(mel_input)
    out_off_gelu = official_gelu(mel_input)
    diff_gelu = torch.max(torch.abs(out_my_gelu - out_off_gelu)).item()
    
    print("=== 1. 前向数值误差对比 (Max Absolute Diff) ===")
    print(f"ReLU 误差: {diff_relu:.8e} (验收: {'通过' if diff_relu < 1e-5 else '失败'})")
    print(f"SiLU 误差: {diff_silu:.8e} (验收: {'通过' if diff_silu < 1e-5 else '失败'})")
    print(f"GELU 误差: {diff_gelu:.8e} (验收: {'通过' if diff_gelu < 1e-5 else '失败'})")
    
    # 梯度差异测试: 观察输入为负数 x = -1.0 时的反向传播导数
    print("\n=== 2. 负值临界点 x = -1.0 处的梯度差异测试 ===")
    test_points = torch.tensor([-1.0, -0.2, 0.0, 0.2, 1.0])
    
    for name, act_fn in [("ReLU", official_relu), ("SiLU", official_silu), ("GELU", official_gelu)]:
        x = test_points.clone().detach().requires_grad_(True)
        y = act_fn(x)
        # 对输出求和反向传播，获取每个点的导数 dy/dx
        y.sum().backward()
        grads = [round(g.item(), 4) for g in x.grad]
        print(f"{name:<5} 在点 {test_points.tolist()} 处的导数 -> {grads}")

if __name__ == "__main__":
    run_verification()