每日基础课

一句话定义：语音增强（Speech Enhancement, SE）就是利用算法从带噪声、混响的退化语音中，把纯净的人声“提纯”出来的技术。

生活类比： 这就像手机修图时的“背景杂物消除笔”。照片里有你（纯净语音）和杂乱的背景路人（背景噪声）。语音增强算法就是给背景打上马赛克或直接抹去，同时保证你的五官边缘不模糊、不失真。

核心数学公式： 在时域上，最基础的加性噪声模型表示为： $$y(t) = s(t) + n(t)$$

在时频域（经过短时傅里叶变换 STFT 后），公式变为复数频谱相加： $$Y(t, f) = S(t, f) + N(t, f)$$

深度学习最经典的做法是时频掩码（TF Masking）： $$\hat{S}(t, f) = M(t, f) \odot Y(t, f)$$

符号逐个拆解： - $y(t)$ / $Y(t, f)$：麦克风录到的带噪语音（时域波形 / 时频图）。 - $s(t)$ / $S(t, f)$：我们梦寐以求的纯净人声（Clean Speech）。 - $n(t)$ / $N(t, f)$：环境中的噪声（如风声、空调声、键盘敲击声）。 - $M(t, f)$：神经网络预测出的时频掩码（Mask），取值通常在 $[0, 1]$ 之间。数值接近 1 代表该时频格主要是人声，保留；接近 0 代表主要是噪声，压制。 - $\odot$：逐元素相乘（Hadamard 积）。 - $\hat{S}(t, f)$：算法估计出的提纯人声频谱，后续做逆短时傅里叶变换（iSTFT）就能变回能听的声音。

它解决什么问题？没有它会怎样？ - 解决的问题：提升语音的信噪比（SNR）、可懂度（Intelligibility）和主观听感质量（Quality）。 - 没有它的后果： 1. 在语音识别（ASR）中，背景噪音会导致错字率（WER）飙升。 2. 在说话人日志（Diarization）中，噪声会污染说话人特征向量（Speaker Embedding），导致聚类算法把“同一个人在不同噪声下”误判为两个人，或者把空调底噪聚类成一个新说话人。 3. 在音视频多模态理解中，杂音会导致音视频对齐失败，模型无法精准捕捉视频动作与人声语义的关联。

学习资源建议： 建议通过 Hugging Face Audio Course 按章节补齐音频数据表示与模型结构基础；配合 TorchAudio Tutorials 跑通音频特征提取与基础变换流程。

一句话记忆口诀： 加性噪声频域拆，掩码一点人声来；宁可微噪留细节，莫让失真毁声纹。

实现思路： 1. 生成假数据：用正弦波合成模拟纯净语音（基频和谐波），加上随机高斯白噪声，合成带噪音频。 2. 时频变换：用 `torch.stft` 将波形转换为复数频谱，分离出幅度谱（Magnitude）和相位谱（Phase）。 3. 微型掩码网络：构建一个 2 层全连接/卷积的小网络，输入带噪幅度谱，输出 $[0, 1]$ 的增益掩码（Mask）。 4. 理想目标监督：计算理想比率掩码（IRM: $\frac{|S|}{|S| + |N|}$），作为网络训练目标（MSE Loss）。 5. 波形重构：网络预测的 Mask 乘以带噪幅度谱，拼接原始带噪相位，通过 `torch.istft` 重构时域声音。

完整可运行 PyTorch 代码：

import torch
import torch.nn as nn
import torch.optim as optim

# 保证实验可复现
torch.manual_seed(42)

# -------------------------------------------------------------
# 1. 构造合成音频数据 (模拟人声 + 噪声)
# -------------------------------------------------------------
sample_rate = 16000
duration = 1.0  # 1秒
t = torch.linspace(0, duration, int(sample_rate * duration))

# 模拟人声：基频 200Hz + 谐波 400Hz
clean_speech = torch.sin(2 * torch.pi * 200 * t) + 0.5 * torch.sin(2 * torch.pi * 400 * t)
clean_speech = clean_speech.unsqueeze(0)  # [Batch=1, Time=16000]

# 模拟噪声：高斯白噪声
noise = 0.8 * torch.randn_like(clean_speech)

# 带噪混合语音
noisy_speech = clean_speech + noise

# -------------------------------------------------------------
# 2. 时频分析 (STFT)
# -------------------------------------------------------------
n_fft = 512
hop_length = 128
window = torch.hann_window(n_fft)

# 计算复数频谱: 输出形状 [Batch, Freq_bins, Frames]
stft_clean = torch.stft(clean_speech, n_fft=n_fft, hop_length=hop_length, 
                        window=window, return_complex=True)
stft_noise = torch.stft(noise, n_fft=n_fft, hop_length=hop_length, 
                        window=window, return_complex=True)
stft_noisy = torch.stft(noisy_speech, n_fft=n_fft, hop_length=hop_length, 
                        window=window, return_complex=True)

mag_clean = torch.abs(stft_clean)  # 纯净幅度谱
mag_noise = torch.abs(stft_noise)  # 噪声幅度谱
mag_noisy = torch.abs(stft_noisy)  # 带噪幅度谱
phase_noisy = torch.angle(stft_noisy)  # 带噪相位谱

# 计算训练目标：理想比率掩码 (Ideal Ratio Mask, IRM)
ideal_mask = mag_clean / (mag_clean + mag_noise + 1e-8)

# -------------------------------------------------------------
# 3. 定义极简掩码预测网络 (Tiny Mask Net)
# -------------------------------------------------------------
class ToyMaskNet(nn.Module):
    def __init__(self, freq_bins):
        super().__init__()
        self.net = nn.Sequential(
            nn.Linear(freq_bins, 128),
            nn.ReLU(),
            nn.Linear(128, freq_bins),
            nn.Sigmoid()  # 约束掩码输出在 [0, 1] 之间
        )

    def forward(self, x):
        # x 形状: [Batch, Freq, Time] -> 转置为 [Batch, Time, Freq] 送入 Linear
        x = x.transpose(1, 2)
        mask = self.net(x)
        return mask.transpose(1, 2)

freq_bins = n_fft // 2 + 1
model = ToyMaskNet(freq_bins=freq_bins)
optimizer = optim.Adam(model.parameters(), lr=0.01)
criterion = nn.MSELoss()

# -------------------------------------------------------------
# 4. 快速过拟合训练 (演示网络如何学会降噪)
# -------------------------------------------------------------
model.train()
for epoch in range(150):
    optimizer.zero_grad()
    pred_mask = model(mag_noisy)
    loss = criterion(pred_mask, ideal_mask)
    loss.backward()
    optimizer.step()

# -------------------------------------------------------------
# 5. 推理与时域信号重建 (iSTFT)
# -------------------------------------------------------------
model.eval()
with torch.no_grad():
    estimated_mask = model(mag_noisy)
    # 核心降噪公式: 估计幅度 = 掩码 * 带噪幅度
    enhanced_mag = estimated_mask * mag_noisy
    
    # 结合原始带噪相位重构复数谱
    enhanced_stft = torch.polar(enhanced_mag, phase_noisy)
    
    # 逆 STFT 变换恢复波形
    enhanced_speech = torch.istft(enhanced_stft, n_fft=n_fft, hop_length=hop_length, 
                                  window=window, length=clean_speech.shape[-1])

# -------------------------------------------------------------
# 6. 验收：计算信噪比提升 (SNR Improvement)
# -------------------------------------------------------------
def compute_snr(clean, est):
    noise_power = torch.sum((clean - est) ** 2)
    signal_power = torch.sum(clean ** 2)
    return 10 * torch.log10(signal_power / (noise_power + 1e-8))

initial_snr = compute_snr(clean_speech, noisy_speech).item()
enhanced_snr = compute_snr(clean_speech, enhanced_speech).item()

print(f"=== 语音增强小练习验收结果 ===")
print(f"输入带噪信号 SNR : {initial_snr:.2f} dB")
print(f"增强处理后信号 SNR : {enhanced_snr:.2f} dB")
print(f"SNR 净提升 (SDR gain) : {enhanced_snr - initial_snr:.2f} dB")