每日基础课

一句话定义：Mel 频率是模拟人耳“低频敏感、高频迟钝”特性的非线性音高刻度；Mel 滤波器组就是把赫兹等间距的线性频谱，聚合成一组“低频密集、高频稀疏”的重叠三角形带通滤波器。

生活类比： 想象买菜称重。 在 100 克（低频）的时候，多加 50 克，你的手立刻能感觉变沉了（人耳对低频微小差异极敏感）。 但在 100 公斤（高频）的时候，多加 50 克，你根本毫无感觉，多加 5 公斤你才感觉得到（人耳对高频差几百赫兹很不敏感）。 普通频谱仪像刻度均匀的钢尺，不近人情；Mel 刻度就像人手，低频刻度密，高频刻度疏。

核心公式与符号拆解： $$m = 2595 \times \log_{10}\left(1 + \frac{f}{700}\right)$$ - $f$：声音的物理实际频率，单位是赫兹（Hz）。 - $m$：映射后的人耳感知主观音高，单位是梅尔（Mel）。 - $700$：拐点频率。当 $f < 700\text{ Hz}$ 时，曲线接近线性；当 $f > 700\text{ Hz}$ 时，对数效应起主导，曲线快速变平缓。 - $2595$：缩放比例系数，保证 $1000\text{ Hz}$ 恰好对应大约 $1000\text{ Mel}$（定义基准点）。

它解决什么问题？没有它会怎样？ 人说话的核心共振峰主要堆在 3000 Hz 以下。如果直接把 16kHz 采样的线性傅里叶频谱（STFT）扔给模型： 1. 维度灾难与算力浪费：高频区（4000~8000 Hz）占了一半频点，里面大部分是没用的背景噪声或泛音，白白消耗大量参数。 2. 特征稀释：最关键的低频元音信息只挤在少量频点里。 没有 Mel 滤波器组，模型必须花费大量容量去“强行学会忽略高频细节”，极易过拟合；有了它，直接做了一层高效率的有损感知压缩。

在主流模型与说话人日志中的实际位置： 在说话人日志（Diarization）和声纹抽取（如 ECAPA-TDNN、Cam++）中，音频处理流水线极其固定： `原始波形 (Waveform) -> 短时傅里叶变换 (STFT) -> 幅度谱平方 (Power Spec) -> 乘以 Mel 滤波器组矩阵 -> 算 Log -> Log-Mel 频谱 (Fbank)` 提取出的 Log-Mel 特征（通常是 80 维）就是声纹 Embedding 提取器或聚类模块的直接输入。想按章节系统补齐这类音频数据与模型基础，可以参考 Hugging Face Audio Course。

实现思路： 1. 设定参数：采样率 16kHz，FFT 点数 512，Mel 组数 40。 2. 根据公式将 0Hz 到 8000Hz（奈奎斯特频率）映射到 Mel 轴。 3. 在 Mel 轴上等间距打点，再转回 Hz 轴，得到各个三角形的顶点。 4. 构建三角形权重并拼成矩阵，形状为 `[n_mels, n_fft // 2 + 1]`。 5. 矩阵乘法：`Mel谱 = 线性谱 @ Mel矩阵.T`。

import torch
import math

def hz_to_mel(hz: torch.Tensor) -> torch.Tensor:
    """按标准公式将 Hz 转换为 Mel"""
    return 2595.0 * torch.log10(1.0 + hz / 700.0)

def mel_to_hz(mel: torch.Tensor) -> torch.Tensor:
    """Mel 反转回 Hz"""
    return 700.0 * (10.0 ** (mel / 2595.0) - 1.0)

def build_mel_filterbank(n_mels: int, n_fft: int, sample_rate: int) -> torch.Tensor:
    """构建三角形 Mel 滤波器组矩阵"""
    f_min = 0.0
    f_max = sample_rate / 2.0  # 奈奎斯特极限频率 8000 Hz
    num_bins = n_fft // 2 + 1  # 线性频点数量 (257)

    # 1. 在 Mel 空间等间距打点 (需要 n_mels + 2 个点来确定 n 个三角形的左中右)
    mel_min = hz_to_mel(torch.tensor(f_min))
    mel_max = hz_to_mel(torch.tensor(f_max))
    mel_points = torch.linspace(mel_min, mel_max, steps=n_mels + 2)
    hz_points = mel_to_hz(mel_points)

    # 2. 将 Hz 顶点映射到 FFT bin 的整数索引
    fft_bins = torch.floor((n_fft + 1) * hz_points / sample_rate).long()

    # 3. 构造三角形权重矩阵 [n_mels, num_bins]
    filters = torch.zeros(n_mels, num_bins)
    for m in range(1, n_mels + 1):
        left = fft_bins[m - 1].item()
        center = fft_bins[m].item()
        right = fft_bins[m + 1].item()

        # 上升沿斜率
        if center > left:
            filters[m - 1, left:center] = (torch.arange(left, center) - left) / (center - left)
        # 下降沿斜率
        if right > center:
            filters[m - 1, center:right] = (right - torch.arange(center, right)) / (right - center)

    return filters

# ====== 验证运行 ======
if __name__ == "__main__":
    sr = 16000
    n_fft = 512
    n_mels = 40

    # 1. 生成 1 秒包含 300Hz 与 4000Hz 的模拟音频
    t = torch.linspace(0, 1.0, sr)
    waveform = torch.sin(2 * math.pi * 300 * t) + 0.5 * torch.sin(2 * math.pi * 4000 * t)

    # 2. 计算短时傅里叶变换与功率谱
    window = torch.hann_window(n_fft)
    stft = torch.stft(waveform, n_fft=n_fft, hop_length=160, win_length=400, 
                      window=window, return_complex=True)
    linear_power_spec = stft.abs() ** 2  # 形状: [Freq_bins=257, Time_frames]
    linear_power_spec = linear_power_spec.T  # 转为: [Time_frames, 257]

    # 3. 生成 Mel 滤波器并应用
    mel_fb = build_mel_filterbank(n_mels=n_mels, n_fft=n_fft, sample_rate=sr)  # [40, 257]
    mel_spec = torch.matmul(linear_power_spec, mel_fb.T)                        # [Time_frames, 40]
    log_mel_spec = torch.log(mel_spec + 1e-6)                                  # 避免 log(0)

    # 4. 打印验证
    print("=== 维度变换验证 ===")
    print(f"线性功率谱形状: {linear_power_spec.shape} (每帧有 257 个线性频点)")
    print(f"Mel 滤波器组形状: {mel_fb.shape} (40 个滤波器覆盖 257 个频点)")
    print(f"Log-Mel 谱形状:  {log_mel_spec.shape} (每帧压缩到了 40 维)")

    print("\n=== 频段压缩特性验证 ===")
    # 观察第 1 个滤波器（极低频）和最后 1 个滤波器（高频）覆盖的频点数
    low_cov = (mel_fb[0] > 0).sum().item()
    high_cov = (mel_fb[-1] > 0).sum().item()
    print(f"最低频滤波器覆盖频点数: {low_cov} (频带极窄，细致区分)")
    print(f"最高频滤波器覆盖频点数: {high_cov} (频带极宽，粗粒度平滑)")