知识讲堂

说话人日志的数学基础涉及嵌入空间度量、图聚类和排列不变优化三个层面。嵌入相似度度量：给定说话人嵌入 $\mathbf{e}_i, \mathbf{e}_j \in \mathbb{R}^d$，使用余弦相似度构建亲和矩阵：$s_{ij} = \mathbf{e}_i^T \mathbf{e}_j / (\|\mathbf{e}_i\| \|\mathbf{e}_j\|)$。在PLDA框架下，相似度替换为对数似然比：$s_{ij} = \log p(\mathbf{e}_i, \mathbf{e}_j | H_{\text{same}}) - \log p(\mathbf{e}_i, \mathbf{e}_j | H_{\text{diff}})$，其中 $H_{\text{same}}$ 和 $H_{\text{diff}}$ 分别表示同一说话人和不同说话人假设。PLDA假设嵌入由说话人因子 $\mathbf{y}$ 和残差噪声 $\boldsymbol{\epsilon}$ 线性生成：$\mathbf{e} = \mathbf{V}\mathbf{y} + \boldsymbol{\epsilon}$，其中 $\mathbf{V}$ 是说话人子空间投影矩阵。谱聚类与说话人数估计：构建归一化拉普拉斯矩阵 $\mathbf{L} = \mathbf{I} - \mathbf{D}^{-1/2}\mathbf{S}\mathbf{D}^{-1/2}$，其中 $\mathbf{D}$ 为度矩阵 $D_{ii} = \sum_j S_{ij}$。对 $\mathbf{L}$ 做特征分解，得到特征值 $0 = \lambda_1 \leq \lambda_2 \leq \cdots$。说话人数量 $K$ 由最大特征值间隙确定：$K = \arg\max_k (\lambda_{k+1} - \lambda_k)$。这利用了谱图理论的核心结论：连通分量数等于零特征值的个数，近似分离的说话人群体对应接近零的小特征值。取前 $K$ 个特征向量 $\mathbf{U} \in \mathbb{R}^{N \times K}$ 的行向量作为低维表示，执行K-means完成聚类。EEND的排列不变训练：EEND输出 $\mathbf{Y} \in [0,1]^{T \times S}$，帧级二元交叉熵损失为 $\mathcal{L}_\phi = -\frac{1}{TS}\sum_{t,s}[\hat{y}_{t,\phi(s)}\log y_{t,s} + (1-\hat{y}_{t,\phi(s)})\log(1-y_{t,s})]$。由于说话人标签的排列是任意的，需要在所有排列中选择最优：$\phi^* = \arg\min_{\phi \in \text{Perm}(S)} \mathcal{L}_\phi$。当 $S$ 较小时（$\leq 4$）可穷举 $S!$ 种排列；$S$ 较大时使用匈牙利算法在 $O(S^3)$ 内求解最优匹配。