每日基础课

一句话定义：激活函数是神经网络的“弯道开关”，把输入的直线计算变成弯曲曲线，让网络能学会复杂的现实规律。

记忆口诀： “负全砍掉是 ReLU，平滑乘权看 SiLU；概率门控是 GELU，现代大模最爱录。”

生活类比： 想象你在听一段嘈杂的会议录音，要做说话人切分。 - ReLU 像一个“粗暴门卫”：音量只要低于 0 分贝，直接静音切死（变成 0）；只要高于 0，原样放行。速度极快，但容易误杀微弱声音。 - SiLU 像一个“智能滑块”：声音越大，放行比例越接近 100%；声音低于 0 时，不会一刀切，而是留一点点微弱气息，越低才越趋近于静音。 - GELU 像一个“概率安检员”：它不看绝对数值，而是看你的输入在整体正态分布里处于什么水平。越大概率合格的特征越完整通过，边缘特征被柔和抑制。

公式与符号： 1. ReLU: $$f(x) = \max(0, x)$$ - $x$：输入特征值。如果 $x \le 0$，输出 0；$x > 0$，输出 $x$。导数在正半轴恒为 1。

2. SiLU (又叫 Swish-1): $$f(x) = x \cdot \sigma(x) = \frac{x}{1 + e^{-x}}$$ - $\sigma(x)$ 是 Sigmoid 函数。当 $x$ 很大时，$\sigma(x) \approx 1$，$f(x) \approx x$；当 $x$ 很负时，$\sigma(x) \approx 0$，$f(x) \approx 0$。

3. GELU (高斯误差线性单元): $$f(x) = x \cdot \Phi(x) = x \cdot P(X \le x), \quad X \sim \mathcal{N}(0, 1)$$ - $\Phi(x)$ 是标准正态分布的累积分布函数（CDF）。它表示“输入 $x$ 落在标准正态分布左侧的概率”。输入越大，被保留的概率越高。

它解决什么问题？ 神经网络本质是矩阵乘法（线性变换）。线性运算套线性运算，层数叠得再厚，数学上等价于单层矩阵乘法。激活函数给网络注入“非线性”，让它能拟合复杂的声学频谱和视频动态。 没有它会怎样？ 模型彻底退化成线性回归。不管你的网络有 100 层还是 1000 层，它连简单的异或（XOR）问题都解不了，更别提识别是谁在说话、视频里在做什么动作。

在音视频与说话人日志中的实际位置： - ECAPA-TDNN（说话人识别/日志经典主干）：卷积层和残差块后，通常使用 ReLU 或 LeakyReLU 进行声学特征下采样提取。 - Conformer / Whisper（语音识别与说话人日志前沿编码器）：前馈网络（Feed-Forward Module）中普遍采用 GELU 或 SiLU（Swish），平滑梯度能让长语音特征更稳定收敛。 - Video Swin Transformer / TimeSformer（视频时空理解）：Transformer 的 MLP 模块标准配置就是 GELU。

思路： 1. 用纯 PyTorch 基础张量算子手动实现 CustomReLU、CustomSiLU 和 CustomGELU（tanh 逼近版）。 2. 输入模拟一段说话人日志中的音频帧特征（形状：[Batch, Time, Dim]）。 3. 比较自定义实现与 `torch.nn.functional` 官方实现的数值误差。 4. 验证反向传播是否正常输出非零梯度。

完整可运行代码：

import torch
import torch.nn as nn
import torch.nn.functional as F
import math

# 1. 手动实现三种激活函数
def my_relu(x: torch.Tensor) -> torch.Tensor:
    return torch.clamp(x, min=0.0)

def my_silu(x: torch.Tensor) -> torch.Tensor:
    # x * sigmoid(x)
    return x * torch.sigmoid(x)

def my_gelu_approx(x: torch.Tensor) -> torch.Tensor:
    # 常用近似公式: 0.5 * x * (1 + tanh(sqrt(2/pi) * (x + 0.044715 * x^3)))
    inner = math.sqrt(2.0 / math.pi) * (x + 0.044715 * torch.pow(x, 3))
    return 0.5 * x * (1.0 + torch.tanh(inner))

# 2. 模拟音频帧特征: [Batch=2, Time=5 帧, Feature_Dim=4]
torch.manual_seed(42)
audio_features = torch.randn(2, 5, 4, requires_grad=True)
print("输入声学特征形状:", audio_features.shape)

# 3. 对比自定义与官方实现数值误差
relu_custom = my_relu(audio_features)
relu_official = F.relu(audio_features)
diff_relu = torch.max(torch.abs(relu_custom - relu_official)).item()

silu_custom = my_silu(audio_features)
silu_official = F.silu(audio_features)
diff_silu = torch.max(torch.abs(silu_custom - silu_official)).item()

gelu_custom = my_gelu_approx(audio_features)
gelu_official = F.gelu(audio_features, approximate='tanh')
diff_gelu = torch.max(torch.abs(gelu_custom - gelu_official)).item()

print(f"ReLU 最大绝对误差: {diff_relu:.2e}")
print(f"SiLU 最大绝对误差: {diff_silu:.2e}")
print(f"GELU (tanh近似) 最大绝对误差: {diff_gelu:.2e}")

# 4. 测试负值区域梯度流动
test_val = torch.tensor([-2.0], requires_grad=True)

# ReLU 在 -2 处的梯度
out_relu = my_relu(test_val)
out_relu.backward()
grad_relu = test_val.grad.item()

# SiLU 在 -2 处的梯度
test_val.grad.zero_()
out_silu = my_silu(test_val)
out_silu.backward()
grad_silu = test_val.grad.item()

print(f"x = -2.0 时，ReLU 的梯度: {grad_relu} (硬截断，梯度消失)")
print(f"x = -2.0 时，SiLU 的梯度: {grad_silu:.4f} (保留微小梯度，避免坏死)")