说话人验证系统长期以"黑盒嵌入"为核心，缺乏可解释性，而高风险司法和安全场景要求系统能够说明"为什么认定是同一人"——这一根本矛盾驱动了音素可解释说话人验证方向的诞生。
在自动系统出现之前，法医语音专家依赖频谱图（spectrogram）手工比对特定音素段——尤其是元音共振峰（F1/F2/F3）和摩擦音频谱形状——来判断说话人同一性。这一实践奠定了"音素是说话人身份的局部载体"这一核心直觉：不同音素承载不同维度的声道信息，元音反映声道共鸣腔形状，爆破音反映声门动态，鼻音反映鼻腔耦合。这套方法虽然主观，却具备天然可解释性。
Gaussian Mixture Model–Universal Background Model（Reynolds et al., 1995）将说话人建模为全局声学分布，i-vector（Dehak et al., 2011）进一步将说话人压缩为低维全局向量。这两种方法彻底抛弃了音素级局部结构，用全局统计替代局部证据。优点是鲁棒，缺点是完全不可解释——无法回答"哪段语音、哪个音素贡献了判决"。
Snyder et al.（2018）提出x-vector，用TDNN+统计池化将帧级特征聚合为说话人嵌入；Desplanques et al.（2020）提出ECAPA-TDNN，引入通道注意力和多尺度聚合，性能大幅提升。但这些系统的可解释性更差——深度非线性变换使得任何局部音素贡献都被完全混淆。在EER（等错误率）指标上，系统越来越好；但在法庭质证、医疗认证等场景，"为什么"的问题无人能答。
随着欧盟AI法案（EU AI Act）和美国NIST可解释AI项目的推进，高风险生物特征系统被明确要求提供决策依据。研究者开始探索将说话人验证与音素对齐结合：Tian et al.（2022）尝试用强制对齐标注训练音素感知池化；Pappagari et al.（2023）探索用ASR中间表示作为说话人验证的可解释锚点。PhiNet（2025）则系统性地将音素识别器与说话人嵌入网络联合训练，使每个音素段产生独立的局部嵌入，并通过注意力权重量化各音素对最终判决的贡献，首次实现了"局部+全局"双层可解释性。
设输入语音经强制对齐或CTC解码得到 $P$ 个音素段 $\{s_1, s_2, \ldots, s_P\}$，每段经局部编码器得到音素级嵌入 $\mathbf{e}_p \in \mathbb{R}^d$。 局部嵌入提取： $$\mathbf{e}_p = f_\theta\left(\mathbf{X}_{t_p^{\text{start}}:t_p^{\text{end}}}\right)$$ 其中 $\mathbf{X}$ 为帧级声学特征，$f_\theta$ 为共享编码器（如TDNN或Conformer），$t_p^{\text{start/end}}$ 为第 $p$ 个音素的时间边界。 音素注意力权重： $$\alpha_p = \frac{\exp\left(\mathbf{w}^\top \tanh\left(\mathbf{W}\mathbf{e}_p + \mathbf{b}\right)\right)}{\sum_{j=1}^{P} \exp\left(\mathbf{w}^\top \tanh\left(\mathbf{W}\mathbf{e}_j + \mathbf{b}\right)\right)}$$ $\mathbf{w}, \mathbf{W}, \mathbf{b}$ 为可学习参数。$\alpha_p$ 的设计动机：不同音素对说话人身份的区分力不同——元音通常比停顿或静音更具判别性，注意力机制让模型自动学习这种先验。 全局说话人嵌入： $$\mathbf{e}_{\text{global}} = \sum_{p=1}^{P} \alpha_p \cdot \mathbf{e}_p$$ 验证打分： $$\text{score}(u, v) = \cos\left(\mathbf{e}_{\text{global}}^{(u)}, \mathbf{e}_{\text{global}}^{(v)}\right)$$ 可解释性输出：对于一对语音 $(u, v)$，音素级贡献差异定义为： $$\delta_p = \alpha_p^{(u)} \cdot \alpha_p^{(v)} \cdot \cos\left(\mathbf{e}_p^{(u)}, \mathbf{e}_p^{(v)}\right)$$ $\delta_p$ 越大，说明该音素在两段语音中既被高度关注又高度相似，是支持"同一人"判决的局部证据。
整体逻辑是：用音素对齐将连续语音切割为语言学有意义的局部段，对每段独立提取声纹嵌入，再用可学习注意力加权聚合为全局嵌入，使每一步都可追溯。
做什么：将输入语音切割为音素级时间段。为什么这样设计：音素是语言学定义的最小声学单元，具有跨说话人的语义一致性，以音素为粒度切割比以固定帧窗切割更具语言学意义。实现细节：可用预训练ASR模型（如Whisper+强制对齐工具Montreal Forced Aligner）获得精确边界，或用CTC解码的软对齐作为近似。训练时可用有标注数据监督对齐，推理时用无监督CTC即可。关键参数：音素集大小（英语约40个IPA音素），最短音素段通常设为20ms以保证足够帧数。
做什么：对每个音素段独立运行编码器，得到该段的说话人嵌入。为什么这样设计：共享编码器参数使模型在所有音素上学习统一的声纹表示空间，但每段的输入不同，输出自然反映该音素段的局部声道特征。不共享参数（即为每个音素类别训练独立编码器）会导致参数爆炸且低资源音素数据不足。实现细节：编码器通常为轻量TDNN或2-4层Conformer，输入为该段的Fbank特征，输出经过L2归一化。段内统计池化（均值+标准差）将变长段压缩为固定维度向量。
做什么：计算每个音素段对最终判决的重要性权重 $\alpha_p$，并加权求和得到全局嵌入。为什么这样设计：不同音素的说话人区分力差异巨大——元音（尤其/a/, /i/, /u/）的共振峰模式高度个性化，而停顿、爆破音起始段信噪比低、区分力弱。固定权重（如均匀平均）会引入噪声；注意力机制让模型数据驱动地学习这种区分力分布。关键细节：注意力在推理时可直接输出为可视化热力图，标注哪些音素"撑起了"判决。
做什么：同时优化说话人验证损失和音素识别损失。为什么这样设计：纯说话人损失会让编码器忽略音素边界，导致局部嵌入跨音素混淆；加入音素分类辅助损失（CTC或CE）强制编码器在音素段内保持语言学一致性，使局部嵌入真正对应该音素的声学特征。损失函数：$\mathcal{L} = \mathcal{L}_{\text{speaker}} + \lambda \mathcal{L}_{\text{phoneme}}$，$\lambda$ 通常取0.1–0.3。
做什么：对一对待比对语音，输出音素级证据矩阵 $\{\delta_p\}$ 和全局相似度分数。为什么重要：这使系统输出可直接对应法医报告中的"证据项"——例如"该判决主要基于/i/和/a/音素的高度相似性，而/s/音素因录音质量差贡献较低"。实现细节：可进一步按音素类别（元音/辅音/鼻音）聚合 $\delta_p$，生成类别级证据摘要。
PhiNet类方法在法证语音学、金融声纹认证、医疗语音档案等高问责场景具有不可替代价值。欧盟AI法案第13条明确要求高风险AI系统提供"充分透明度"，使可解释说话人验证从学术探索变为合规刚需。Nuance（微软）、Verint等商业声纹系统已开始在内部研究可解释池化机制。音素级证据框架还天然兼容多语言迁移——不同语言共享IPA音素集，局部嵌入可跨语言复用。
当前开放问题：①无监督音素对齐（无需ASR标注）的质量上限；②音素注意力权重是否真正反映因果贡献（vs. 相关性）——Shapley值方法正被引入验证；③对抗攻击下局部嵌入的鲁棒性；④跨语言音素集统一（IPA vs. 语言特定音素集）的标准化问题；⑤实时流式场景下音素边界的在线估计延迟。