音频时序定位的根本动因是：人类听觉系统天然具备"在连续声流中精确锁定事件边界"的能力，而早期音频模型只能给出全局标签，无法回答"这件事发生在第几秒"——这一缺口催生了整个时序定位研究方向。
早期音频事件检测（Audio Event Detection, AED）以 DCASE 挑战赛为核心舞台。研究者将音频切成固定帧（通常 10–40ms），用 CNN 或 CRNN 对每帧独立分类，再做后处理合并连续帧。这一范式的本质是"滑动窗口分类"，时间分辨率受限于帧率，且无法建模事件的起止边界语义。代表工作是 Cakir et al. 2017 的 CRNN-based SED，奠定了 Sound Event Detection（SED）的基础框架。
标注精确时间戳代价极高，研究者转向弱监督：只知道"这段音频里有猫叫"，不知道具体在哪里。Attention-based Multiple Instance Learning（MIL）成为主流——模型学习对每个时间片段赋予注意力权重，高权重区域即为事件发生处。Google 的 AudioSet（2017）提供了 200 万段弱标注片段，极大推动了这一方向。但弱监督的天花板明显：注意力权重并不等于精确边界。
视觉领域的 Temporal Action Localization（TAL）已有成熟方案：Proposal + Classification 两阶段（如 BSN、BMN），以及单阶段回归（如 AFSD）。音频研究者开始系统性借鉴：将音频特征替换视觉特征，引入边界回归头（start/end offset regression），用 IoU-based 损失监督时间区间预测。这一迁移的关键洞见是：时间边界是可回归的连续量，而非分类问题。
受 Video Grounding（如 2D-TAN、UniVTG）启发，音频时序定位开始支持自然语言查询：给定"一段狗叫之后紧接着有门铃声"，模型需输出对应时间区间。这要求跨模态对齐——音频表示与文本表示在同一语义空间中计算相似度。对比学习（CLIP 风格）成为核心训练范式，AudioCLIP、CLAP 等模型提供了强大的预训练基础。
随着 Qwen-Audio、SALMONN、Audio Flamingo 等 ALLM 崛起，研究者发现：这些模型在整体理解上表现优异，但时序定位能力系统性偏弱——它们倾向于给出"大约在中间"这样的模糊回答。SpotSound（[3]）等工作通过专门构造时序标注训练数据、在模型架构中引入时间戳 token，系统性修复这一缺陷，代表了当前最前沿的方向。
设音频特征序列为 $\mathbf{F} = \{f_t\}_{t=1}^{T}$，其中 $f_t \in \mathbb{R}^d$ 为第 $t$ 帧的特征向量，查询（文本或类别嵌入）为 $\mathbf{q} \in \mathbb{R}^d$。 相关性评分：对每个时间步计算跨模态相似度： $$s_t = \frac{f_t \cdot \mathbf{q}}{\|f_t\| \|\mathbf{q}\|}$$ 区间提议：以每个时间步 $t$ 为中心，预测偏移量 $(\delta_s, \delta_e)$，得到候选区间： $$[\hat{t}_s, \hat{t}_e] = [t - \delta_s, t + \delta_e]$$ 训练损失由两部分组成： 分类损失（判断该时间步是否为事件中心）： $$\mathcal{L}_{cls} = -\sum_t \left[ y_t \log \sigma(s_t) + (1-y_t)\log(1-\sigma(s_t)) \right]$$ 回归损失（对正样本时间步监督边界偏移）： $$\mathcal{L}_{reg} = \sum_{t: y_t=1} \text{smooth-L1}(\delta_s - \delta_s^*, \delta_e - \delta_e^*)$$ IoU-based 质量评估：预测区间 $[\hat{t}_s, \hat{t}_e]$ 与真实区间 $[t_s^*, t_e^*]$ 的时间 IoU： $$\text{tIoU} = \frac{\min(\hat{t}_e, t_e^*) - \max(\hat{t}_s, t_s^*)}{\max(\hat{t}_e, t_e^*) - \min(\hat{t}_s, t_s^*)}$$ 为什么这样定义？因为时间区间的"重叠率"是比端点距离更鲁棒的评估指标——它对区间长度不敏感，且与人类直觉中"找到了多少、多准"直接对应。
音频时序定位系统的整体逻辑是：先将音频编码为时间敏感的特征序列，再通过跨模态对齐找到语义相关区域，最后用回归头精确预测边界——三阶段串联，每阶段解决一个独立子问题。
做什么：将原始波形或 Mel 频谱图编码为保留时间结构的特征序列，而非全局池化的单一向量。 为什么这样设计：全局池化会丢失时间位置信息，而时序定位的核心需求恰恰是"哪个时间步"。因此必须使用不做时间维度压缩的编码器，如 CNN 保留时间轴、Transformer 使用位置编码。 关键细节：音频编码器（如 HuBERT、Wav2Vec 2.0、EnCodec）的输出步长决定了时间分辨率上限。HuBERT 的帧移约 20ms，意味着最细粒度定位精度约为 20ms。若需更细粒度，需在编码器前做上采样或使用更小步长的编码器。
做什么：将文本/类别查询嵌入与音频特征序列在同一语义空间中计算相似度，生成时间维度的相关性热图。 为什么这样设计：不同模态的原始特征空间不兼容，必须通过对比学习（如 CLAP 训练范式）将二者投影到共享空间。相关性热图的峰值区域即为候选事件位置。 关键细节：CLAP（Contrastive Language-Audio Pretraining）使用 InfoNCE 损失在大规模音频-文本对上预训练，使得语义相近的音频片段和文本描述在嵌入空间中距离接近。这一预训练是零样本定位能力的来源。
做什么：对相关性热图中的高响应区域，预测精确的起止时间偏移量，生成候选时间区间。 为什么这样设计：相关性热图只能给出"大致在哪里"，边界往往模糊（事件的开始和结束通常是渐变的）。回归头通过学习"边界的声学特征"（如能量突变、频谱变化）来精确化边界预测。 关键细节：回归头通常是轻量级 MLP，输入为候选中心点的特征，输出为 $(\delta_s, \delta_e)$。训练时使用 smooth-L1 损失而非 MSE，因为 smooth-L1 对异常值更鲁棒。
做什么：对大量候选区间做非极大值抑制（NMS），去除高度重叠的冗余预测，保留置信度最高的结果。 为什么这样设计：模型会在事件附近的多个时间步都生成候选区间，直接输出会导致同一事件被重复报告。时间 NMS 以 tIoU 阈值（通常 0.5）为标准合并重叠区间。 关键细节：在 ALLM 框架中（如 SpotSound），时间戳以特殊 token 形式直接生成（如 `<0.5s>` `<3.2s>`），绕过了传统的 proposal-NMS 流程，但需要专门的时间戳 token 词表和对应的训练数据。
python # 简化的时序定位推理流程 def temporal_grounding(audio_features, query_embed, threshold=0.5): # Step 2: 跨模态相似度 scores = cosine_similarity(audio_features, query_embed) # [T] # Step 3: 边界回归（对高分区域） candidates = [] for t in range(len(scores)): if scores[t] > threshold: delta_s, delta_e = boundary_head(audio_features[t]) candidates.append((t - delta_s, t + delta_e, scores[t])) # Step 4: 时间NMS return temporal_nms(candidates, iou_threshold=0.5)音频时序定位是智能音频分析的核心基础能力，直接支撑会议记录系统（精确定位发言片段）、广播监控（实时检测特定声音事件）、音乐信息检索（定位乐器独奏段落）等工业场景。Google 的 AudioSet 和 DCASE 挑战赛已将其推向工业标准。随着 ALLM 在智能助手、无障碍辅助（为听障用户标注声音事件时间）中的广泛部署，时序定位能力将成为音频 AI 的必备基础能力，其重要性只会持续增长。
当前核心开放问题：①细粒度边界精度：现有模型在事件边界模糊（如渐入渐出）时误差显著增大；②长音频处理：超过 10 分钟的音频中注意力机制的计算复杂度爆炸；③零样本泛化：对训练集未见过的声音类别定位能力仍弱；④多事件同时定位：当多个事件时间重叠时，边界预测相互干扰，尚无优雅解法。