知识讲堂

← 返回日报
算法理论 第一讲

流匹配生成原理

流匹配就像GPS导航——给定起点(噪声)和终点(数据),它学习一张"速度地图",告诉你在每个位置每个时刻该往哪走、走多快,沿最短直线路径把你送到目的地。
历史演进

生成模型的核心任务是将简单分布变换为复杂数据分布;扩散模型通过随机过程实现了这一目标,但训练目标复杂、采样步数多,业界需要一种更简洁高效的确定性流框架。

2018
Neural ODE 开启连续归一化流

Chen 等人在 NeurIPS 2018 提出 Neural ODE,证明神经网络可参数化连续时间 ODE 动力学来变换概率分布,首次将连续归一化流(CNF)变为现实。然而训练需要通过伴随方法(adjoint method)求解 ODE 来计算似然梯度,计算代价极高,无法扩展到高维图像或音频生成,CNF 长期停留在低维密度估计的小众应用中。

2020-2021
得分匹配 SDE 统一扩散范式

Song 等人在 ICLR 2021 发表 "Score-Based Generative Modeling through Stochastic Differential Equations",将 DDPM 和得分匹配统一到 SDE 框架下。这一工作揭示了生成建模可以被视为学习随机过程的时间反转,奠定了扩散模型的理论基础。但 SDE 采样引入随机性,需要数百到上千步才能获得高质量样本,推理成本成为实际部署的瓶颈。

2022-2023
流匹配三路突破

2022-2023 年间,三个团队几乎同时独立提出了流匹配的核心思想:Meta AI 的 Lipman 等人(ICLR 2023)提出条件流匹配(Conditional Flow Matching, CFM),证明可以通过回归条件向量场来训练 CNF,完全无需在训练中模拟 ODE;刘啸(UT Austin)等人提出 Rectified Flow,使用直线插值路径并引入 reflow 过程拉直轨迹;Albergo 与 Vanden-Eijnden 提出随机插值(Stochastic Interpolants)框架提供了统一理论。这三项工作的共同洞见是:不需要全局概率路径,只需为每个数据点定义条件路径,用简单回归损失训练即可。这一突破使 CNF 训练从不可扩展变为与扩散模型同等简单,且采样只需 5-20 步 ODE 积分。

2023-2024
流匹配成为工业标准

流匹配迅速被工业界采纳:Meta 的 Voicebox(2023)和 AudioBox(2024)将其用于语音生成;Stability AI 的 Stable Diffusion 3(2024)采用 rectified flow 架构;Black Forest Labs 的 Flux 模型基于流匹配;OpenAI 的 Sora 视频生成系统据报道也采用流式架构。在音频领域,Matcha-TTS、VoiceFlow 等工作证明流匹配在 TTS 中优于传统扩散方法。

2025-2026
蒸馏加速与融合创新

FlashTTS 的 X-pred 均值流蒸馏、BareWave 的波形原生流匹配、以及一致性流匹配(Consistency Flow Matching)等工作将采样步数压缩到 1-4 步,满足实时流式应用需求。流匹配与自回归模型的融合(如 dots.tts 的连续自回归范式)成为新趋势。

核心思想
流匹配通过学习一个向量场,沿确定性ODE路径将噪声分布平滑"搬运"到数据分布,用简单回归损失替代了扩散模型复杂的得分匹配目标,轨迹更直、采样更快。
数学结构

流匹配的数学核心是定义一条时间相关的概率密度路径 $p_t(x)$,从噪声分布 $p_0 = \mathcal{N}(0, I)$ 平滑过渡到数据分布 $p_1 = p_{\text{data}}$。该路径由 ODE $\frac{dx}{dt} = v_t(x)$ 生成,其中 $v_t(x)$ 是待学习的速度场。直接学习边际速度场不可行(需要知道 $p_t$),关键突破在于条件流匹配:为每个数据点 $x_1$ 定义条件路径。最优传输(OT)条件路径选择直线插值:$x_t = (1-t) x_0 + t x_1$,其中 $x_0 \sim \mathcal{N}(0,I)$,$t \sim \mathcal{U}[0,1]$。对应的条件向量场为 $u_t(x_t | x_1) = x_1 - x_0$,即从噪声指向数据的常数方向向量。条件流匹配损失为:$\mathcal{L}_{\text{CFM}} = \mathbb{E}_{t, x_0, x_1} \| v_\theta(x_t, t) - (x_1 - x_0) \|^2$。Lipman 等人证明了核心定理:$\nabla_\theta \mathcal{L}_{\text{CFM}} = \nabla_\theta \mathcal{L}_{\text{FM}}$,即条件损失的梯度等于边际损失的梯度。这意味着虽然每次只监督一个条件向量场,但在期望下网络收敛到正确的边际向量场。为什么选择 OT 路径?因为直线是连接两点的最短路径(Wasserstein-2 最优传输),产生的轨迹最直,ODE 求解器用最少步数即可精确积分。相比之下,扩散模型的前向过程(逐步加噪到纯高斯)产生弯曲轨迹,需要更多步数逆转。与 DDPM 的 $\epsilon$-prediction 对比:DDPM 预测噪声 $\epsilon = x_0$,流匹配预测方向 $v = x_1 - x_0$,两者通过 $v = x_1 - \epsilon$ 对偶关联,但流匹配的 ODE 框架天然支持确定性采样和插值。

工作机制

流匹配的整体工作逻辑是:训练时用回归损失学习时间条件向量场网络,推理时用 ODE 求解器沿该向量场从噪声积分到数据样本。

Step 1构建条件概率路径

为每个训练样本 $x_1$ 采样噪声 $x_0 \sim \mathcal{N}(0,I)$ 和时间 $t \sim \mathcal{U}[0,1]$,通过线性插值构造中间状态 $x_t = (1-t)x_0 + tx_1$。选择线性路径而非其他插值方式(如余弦、指数)的原因是最优传输理论保证直线路径产生最小动能轨迹,使 ODE 求解器的截断误差最小。实践中可引入微小方差 $\sigma_{\min} \approx 10^{-5}$ 避免 $t=1$ 时退化为 delta 分布。对于条件生成(如 TTS),$x_1$ 是语音梅尔频谱或潜在表示,条件信息(文本、说话人 ID)作为额外输入。

Step 2计算回归目标并训练

回归目标为 $u_t = x_1 - x_0$(OT 路径下为常数向量),训练损失 $\mathcal{L} = \|v_\theta(x_t, t, c) - u_t\|^2$,其中 $c$ 是条件信息。这个设计的非显然之处在于:每个 $(x_0, x_1)$ 配对定义了不同的条件向量场,但网络需要学习所有配对的"平均"——即边际向量场。定理保证这种平均在梯度层面是正确的。网络架构通常采用 DiT(Diffusion Transformer)或 U-Net,时间 $t$ 通过自适应层归一化(AdaLN-Zero)注入。学习率、EMA 衰减等超参数与扩散模型训练基本一致。一个实用技巧是对 $t$ 采用 logit-normal 采样(而非均匀采样),在 $t \approx 0$ 和 $t \approx 1$ 附近增加采样密度,因为这些区域的向量场变化最剧烈。

Step 3ODE 推理采样

从 $x_0 \sim \mathcal{N}(0,I)$ 出发,用 ODE 求解器沿学到的向量场积分到 $t=1$。最简单的 Euler 方法:$x_{t+\Delta t} = x_t + \Delta t \cdot v_\theta(x_t, t)$,步长 $\Delta t = 1/N$,$N$ 为总步数。由于 OT 路径产生近似直线轨迹,Euler 方法在 $N=10\text{-}20$ 步时已能获得高质量结果,而扩散模型通常需要 50-1000 步。更高阶的求解器(Midpoint、RK4)可在更少步数下达到同等质量。条件生成中,分类器自由引导(CFG)通过 $\tilde{v}_t = (1+w) v_\theta(x_t, t, c) - w \cdot v_\theta(x_t, t, \varnothing)$ 实现,$w$ 控制条件强度。确定性 ODE 的一个重要优势是支持精确的潜在空间插值:对两个噪声 $x_0^{(a)}$ 和 $x_0^{(b)}$ 做球面插值,ODE 积分后得到语义连续的生成结果。

Step 4蒸馏压缩步数

对于实时应用(流式 TTS、交互式音频编辑),即使 10 步 ODE 仍嫌太慢。蒸馏技术将多步教师模型压缩为少步学生模型。渐进蒸馏(Progressive Distillation):教师用 $2N$ 步生成,学生学习用 $N$ 步匹配教师输出,迭代减半步数。一致性蒸馏(Consistency Distillation):学生学习 ODE 轨迹上任意两点的一致映射 $f_\theta(x_t, t) = f_\theta(x_s, s)$,推理时单步直接映射到 $t=1$。FlashTTS 采用的 X-pred 均值流蒸馏属于后者的变体:学生直接预测最终输出 $\hat{x}_1 = g_\theta(x_t, t)$,用教师 ODE 轨迹的终点作为监督。蒸馏后模型可在 1-4 步内生成高质量音频,延迟降低 5-10 倍。

Step 5流式与自回归融合

在 TTS 等序列生成任务中,流匹配可与自回归框架结合:自回归模型逐帧预测连续潜在向量的分布参数,流匹配在每帧内完成从噪声到潜在表示的精细生成。dots.tts 的 AudioVAE 构建语义结构化潜在空间,使流匹配的预测目标更加平滑可学。这种"自回归提供全局结构 + 流匹配提供局部细节"的分工是 2025-2026 年 TTS 架构的主流趋势。

长远价值

流匹配已成为 2024-2026 年生成式 AI 的核心范式。Stable Diffusion 3、Flux、Meta Voicebox/AudioBox 等标志性产品均采用此架构。相比扩散模型,它训练更简单(纯回归损失)、采样更快(直线轨迹 5-20 步)、理论更清晰(最优传输连接)。对音视频工程师而言,流匹配是理解现代语音合成(FlashTTS、BareWave、VoxCPM2)和视频生成系统的必备知识,其重要性在未来数年只增不减。

前沿动向

当前热点包括:①少步/单步蒸馏(一致性流匹配、快捷模型)将步数压至极限;②离散数据上的流匹配(文本、代码生成)突破连续空间限制;③Mini-batch 最优传输耦合替代独立采样改善训练效率;④流匹配与自回归、Mamba 等序列模型的深度融合;⑤理论层面流匹配与扩散模型的统一框架仍在完善中。

工程·思维 第二讲

浏览器端模型推理

历史演进

机器学习推理长期依赖服务器端GPU,带来延迟、成本与隐私三重负担;浏览器GPU API的持续演进最终使有意义的神经网络推理在客户端成为现实。

2011-2016
WebGL时代的原始探索

Khronos Group于2011年发布WebGL 1.0,将OpenGL ES 2.0能力带入浏览器。它本为3D图形渲染设计,但研究者很快发现片段着色器(fragment shader)可被"劫持"用于并行计算。2014年出现的gpu.js等库将矩阵乘法编码为纹理渲染操作,证明了浏览器GPU通用计算的可能性。然而WebGL的图形导向API极不适合ML:数据必须打包为RGBA纹理,计算必须伪装为渲染pass,没有计算着色器、没有共享内存、没有原子操作,性能比原生CUDA慢50-100倍。这一阶段的核心价值在于证明了"浏览器+GPU+ML"这条路径的存在性。

2017-2019
TensorFlow.js与WebGL后端的工程验证

Google于2017年发布deeplearn.js(后更名TensorFlow.js),这是首个严肃的浏览器ML框架。它以WebGL 2.0为GPU后端,将张量运算编译为GLSL着色器程序。MobileNet、PoseNet等模型首次在浏览器中实现实时推理,引发开发者社区的广泛关注。同期,WebAssembly(WASM)于2017年成为W3C标准,提供接近原生的CPU执行性能,成为GPU不可用时的可靠回退方案。这一阶段暴露了WebGL的根本瓶颈:纹理打包/解包开销、缺乏compute shader、无法精细控制内存布局,使得复杂模型(如Transformer)的推理效率极低。TensorFlow.js团队的工程经验直接推动了下一代API的需求定义。

2021-2023
WebGPU标准诞生与落地

W3C的WebGPU规范借鉴Vulkan/Metal/Direct3D 12的现代GPU API设计理念,为浏览器带来了真正的通用计算能力:显式资源管理(buffer而非texture)、计算管线(compute pipeline)、着色器存储缓冲区(SSBO)支持任意读写、工作组共享内存(workgroup shared memory)。2023年5月,Chrome 113默认启用WebGPU,标志着浏览器正式进入GPU通用计算时代。Apache TVM的web runtime和ONNX Runtime Web迅速添加WebGPU后端,性能较WebGL提升3-10倍。WGSL(WebGPU Shading Language)作为专用着色器语言取代GLSL,提供更安全的类型系统和更清晰的计算语义。

2024-2025
生态爆发与实用化

MLC-LLM(基于Apache TVM的模型编译项目)实现了LLaMA-7B在浏览器中的交互式运行,WebLLM项目让用户无需安装任何软件即可与大语言模型对话。Whisper.cpp被移植到WASM+WebGPU实现浏览器内语音识别。Hugging Face的Transformers.js添加WebGPU加速。今日论坛讨论的Kokoro-82M TTS模型完全在浏览器内运行,实现零服务器成本的实时语音合成。这一阶段的关键突破是模型编译工具链的成熟——开发者不再需要手写WGSL着色器,而是通过TVM或ONNX Runtime自动将PyTorch模型编译为优化的WebGPU计算图。

2026
当前状态

Firefox和Safari陆续支持WebGPU。着色器编译缓存和管线预编译大幅降低冷启动延迟。WebGPU + WASM + SIMD构成完整的客户端ML运行时栈。1B参数以内的模型可在消费级GPU上通过浏览器流畅运行。

核心思想
利用浏览器原生WebGPU计算着色器在用户设备上直接运行神经网络前向传播,实现零服务器成本、零网络延迟、完全数据隐私的AI推理体验。
数学结构

浏览器端推理的可行性受显存和延迟双重约束。设模型参数量为 $P$ 字节、激活内存峰值为 $A$、浏览器可用GPU显存为 $M_{\text{gpu}}$,基本约束为 $P + A \leq M_{\text{gpu}}$。以Kokoro-82M为例,FP16下 $P \approx 82 \times 10^6 \times 2 = 164\text{MB}$,激活内存远小于参数量,在2GB显存设备上轻松满足。对于7B参数模型,INT4量化后 $P \approx 7 \times 10^9 \times 0.5 = 3.5\text{GB}$,需要8GB以上显存的消费级GPU。推理延迟模型为 $T_{\text{total}} = T_{\text{compile}} + \sum_{i=1}^{N}(T_{\text{dispatch}_i} + T_{\text{compute}_i})$,其中 $T_{\text{compile}}$ 是WGSL着色器编译到GPU原生指令的时间(首次可达数秒,缓存后趋近零),$T_{\text{dispatch}_i}$ 是第 $i$ 个计算pass的CPU-GPU调度开销(含浏览器安全验证),$T_{\text{compute}_i}$ 是实际GPU计算时间。与原生CUDA相比,WebGPU的额外开销来自三个层面:①着色器翻译链路(WGSL → SPIR-V/

工作机制
长远价值
前沿动向

往期讲解档案 102 个知识点

2026年06月02日残差向量量化Residual Vector QuantizationAudio TokenizationNeural Codec
2026年05月31日彩色噪声扩散采样Colored NoiseSpectral BiasSDE Solver
2026年05月31日算子融合编译原理Kernel FusionOperator Fusiontorch.compile
2026年05月20日AI生成内容溯源 (7 chars) ✓Content ProvenanceC2PASynthID
2026年05月19日推理委托设计模式 (8 chars) ✓ Let me now write the full content for both topics. Actually, I realize I should double-check: is "Runtime Abstraction" or "Delegate Pattern" too close to any covered keyword? Looking at the list: Cluster Scheduling, Co-design, Collective Communication, Computational Expressiveness, CUTLASS... No, none of these overlap. OK, let me finalize and write everything out. Let me reconsider the engineering topic one more time. The title "推理委托设计模式" is good but maybe I should make it even more specific and interesting. What about focusing on the "graph partitioning" aspect - how ML runtimes decide which operations to delegate to which backend? This is a more specific and technically interesting angle. No, I think the broader "delegate pattern" is better because it covers the full picture and is more useful to the reader. Let me write it all out now. For the engineering topic, let me think about the history: - Early days: frameworks were monolithic (Caffe, early TensorFlow) - TensorRT (2017): NVIDIA's specialized inference engine, initially standalone - ONNX Runtime (2019): Microsoft introduced "Execution Providers" - the first major delegate-like abstraction - TFLite delegates (2018-2019): TensorFlow Lite introduced delegate API for GPU, NNAPI, etc. - ExecuTorch (2023-2024): PyTorch's answer to edge inference with a clean delegate API - 2025-2026: MLX delegate, Qualcomm AI Engine Direct delegate, etc. This is a rich history. Let me write it up. Actually, I want to make sure I have the dates right: - TensorRT was first released around 2016-2017 - ONNX was announced in 2017 - ONNX Runtime was open-sourced in 2018-2019 - TFLite was released in 2017, delegates came later - ExecuTorch was announced at PyTorch Conference 2023 OK, let me write everything now. I'll be thorough. One more thought: for the MATH section of the engineering topic, I could discuss the graph partitioning problem formally, or I could discuss the cost model for deciding whether to delegate. Let me think... The graph partitioning for delegation can be formalized as: - Given a computation graph $G = (V, E)$ where $V$ is the set of operations and $E$ is data dependencies - And a set of delegates $D = \{d_1, ..., d_m\}$ where each delegate supports a subset of operations $S_i \subseteq V$ - Find a partition $P = \{P_0, P_1, ..., P_m\}$ (where $P_0$ is the fallback/CPU partition) that minimizes total execution time - Subject to: each $
2026年05月17日连续批处理异步化
2026年05月10日连续潜在扩散语言模型Continuous Latent DiffusionNon-autoregressive LMDiffusion Language Model
2026年05月10日零样本跨语言语音克隆Zero-shot Voice CloningCross-lingual TTSIPA Phoneme Representation
2026年05月09日最优传输音频距离Optimal TransportFréchet Audio DistanceRiemannian Metric
2026年05月09日推荐系统推理核内广播优化Intra-kernel BroadcastEmbedding TableRecommendation Inference
2026年05月08日扩散Transformer异常值令牌Outlier TokensDiffusion TransformerAttention Sink
2026年05月08日WebRTC低延迟语音工程WebRTCReal-time AudioJitter Buffer
2026年05月07日音素级深度伪造检测原理Phoneme-level Deepfake DetectionSelf-supervised Speech EmbeddingEmotional Speech Synthesis
2026年05月07日AI训练网络协议工程哲学Multi-path Reliable ConnectionRDMA over EthernetCollective Communication
2026年05月05日对抗解纠缠说话人验证Speaker DisentanglementAdversarial TrainingCross-lingual Verification
2026年05月05日LLM推理为何用语言Chain-of-ThoughtLatent ReasoningToken Space
2026年05月01日跨架构知识蒸馏原理Cross-Architecture DistillationDiffusion LMAutoregressive Teacher
2026年05月01日AI评估计算瓶颈工程LLM Evaluation InfrastructureBenchmark SaturationEval Compute Bottleneck
2026年04月29日平衡传输语音增强Schrödinger BridgeStochastic Differential EquationSpeech Enhancement
2026年04月29日深度学习理论形成Deep Learning TheoryLoss LandscapeNeural Tangent Kernel
2026年04月28日语义进度函数原理Semantic Progress FunctionDiffusion TrajectoryNonlinear Denoising
2026年04月28日大模型OCR选型认知OCR BenchmarkModel Selection BiasCost-Performance Tradeoff
2026年04月27日说话人验证核心原理Speaker Verificationd-vectorECAPA-TDNN
2026年04月27日GPU核函数语言选型GPU Kernel EngineeringCuTe DSLCUTLASS
2026年04月26日时长控制TTS原理Duration ModelingProsody ControlAutoregressive TTS
2026年04月26日AI研究价值评估困境Research EvaluationPublication BiasPeer Review
2026年04月25日全双工对话建模原理Full-Duplex DialogueTurn-TakingVoice Activity Detection
2026年04月25日流式TTS文本规范化Text NormalizationStreaming TTSInverse Text Normalization
2026年04月24日离散扩散语言模型原理Discrete DiffusionMasked Diffusion Language ModelAbsorbing Diffusion
2026年04月24日跟进ML研究的认知工程Information OverloadResearch TriageSpaced Repetition
2026年04月23日一致性正则化ASR原理Consistency RegularizationUnified ASRTransducer
2026年04月23日流式TTS文本规范化工程Text NormalizationStreaming TTSInverse Text Normalization
2026年04月22日神经编码器伪影检测Neural Audio CodecArtifact DetectionForensic Residual
2026年04月22日AI研究复现危机工程Reproducibility CrisisML EngineeringExperimental Rigor
2026年04月21日扩散SNR偏差校正原理Signal-to-Noise RatioDiffusion Timestep BiasScore Matching
2026年04月21日论文复现危机根治工程Reproducibility CrisisAblation StudyExperimental Rigor
2026年04月20日音频时序定位原理Temporal GroundingAudio Event DetectionCross-modal Alignment
2026年04月20日论文复现危机根因Reproducibility CrisisBenchmark OverfittingEvaluation Validity
2026年04月19日流匹配对齐原理Flow Matching AlignmentReward Gradient BackpropagationTrajectory Optimization
2026年04月19日分布式训练任务编排Distributed Training OrchestrationCluster SchedulingFault Tolerance
2026年04月18日最优传输信号融合Optimal TransportWasserstein BarycenterTime-Frequency Resolution
2026年04月18日分布式训练任务调度Distributed Training OrchestrationJob SchedulingCluster Resource Management
2026年04月17日扩散语音识别原理Masked Diffusion Language ModelDiscrete DiffusionASR Decoding
2026年04月17日Mel尺度跨文化偏差Mel ScalePsychoacousticsCultural Bias
2026年04月16日音频水印对抗原理Audio WatermarkingSemi-FragilePsychoacoustic Masking
2026年04月16日推测解码草稿树工程Speculative DecodingDraft TreeBlock Diffusion
2026年04月15日对抗流模型原理Continuous Normalizing FlowAdversarial TrainingFlow Matching
2026年04月15日代理状态可观测性工程Agent ObservabilityDistributed TracingState Machine Debugging
2026年04月14日过程奖励模型原理Process Reward ModelStep-level SupervisionReasoning Chain
2026年04月13日离散令牌音源分离Discrete Token ModelingSource SeparationConditional Generation
2026年04月13日超算API工程哲学Distributed Training OrchestrationSupercomputer API DesignFault Tolerance
2026年04月12日信息瓶颈原理演进Information BottleneckVariational IBDisentanglement
2026年04月12日Safetensors格式工程哲学SafetensorsModel SerializationMemory-Mapped IO
2026年04月11日归一化层演进原理Layer NormalizationRMS NormalizationBatch Normalization
2026年04月11日GEMM自调优后端工程GEMM AutotuningTorchInductorCuteDSL
2026年04月10日多令牌预测原理Multi-Token PredictionSpeculative DecodingMedusa Heads
2026年04月10日ML从业者认知校准Calibration BiasCapability IllusionBenchmark Overfitting
2026年04月09日编码器-解码器LM原理Encoder-Decoder LMCross-Attention ConditioningSequence-to-Sequence
2026年04月09日torch.compile归一化优化torch.compileLayerNormRMSNorm
2026年04月08日KV缓存压缩原理KV Cache CompressionRoPE Position EncodingAttention Score Estimation
2026年04月08日音效基础模型工程Sound Effect GenerationFoundation ModelFoley Synthesis
2026年04月07日可验证奖励强化学习Verifiable RewardRLVRProcess Reward Model
2026年04月07日LLM技能退化认知机制Cognitive OffloadingSkill AtrophyDesirable Difficulty
2026年04月06日音素可解释说话人验证Phoneme-aware Speaker VerificationInterpretable BiometricsLocal Acoustic Evidence
2026年04月06日音频幻觉攻击评估Hallucination AttackAudio Language Model ReliabilityAdversarial Probing
2026年04月05日潜在空间推理原理Latent Space ReasoningContinuous RepresentationToken-Free Inference
2026年04月05日mRNA模型极低成本训练Biology Foundation ModelCross-Species TransferLow-Budget Training
2026年04月04日编码器-解码器TTS原理Encoder-Decoder TTSText ConditioningPositional Capacity
2026年04月04日大模型训练的MXFP8工程MXFP8MicroscalingMixed Precision Training
2026年04月03日在线知识蒸馏原理Online DistillationKnowledge TransferStudent-Teacher
2026年04月03日MoE专家并行调度工程Expert ParallelismMixture of ExpertsAll-to-All Communication
2026年04月02日波形潜空间扩散TTSwaveform latent diffusionnon-autoregressive TTSlatent space acoustic modeling
2026年04月02日波形隐空间扩散原理waveform latent spacediffusion TTSVAE audio codec
2026年04月02日LLM量化权重工程weight quantizationLLM compression4-bit quantization
2026年04月02日扩散语言模型离散生成Discrete DiffusionMasked Diffusion Language ModelNon-autoregressive TTS
2026年04月02日LLM后训练库工程演进RLHF engineeringPPO training stabilityreward hacking
2026年04月02日声学证据瓶颈原理Audio Evidence BottleneckAcoustic GroundingAudio Language Model
2026年04月02日状态空间模型音频建模State Space ModelMambaSelective Scan
2026年04月02日实时语音增强工程选型Real-time Speech EnhancementNoise SuppressionStreaming Inference
2026年04月02日对话上下文压缩原理Context CompressionAbstractive SummarizationCross-Attention Fusion
2026年04月02日说话人匿名化工程Speaker AnonymizationVoice ConversionStreaming Inference
2026年04月02日视听语音识别融合Audio-Visual Speech RecognitionLip ReadingViseme
2026年04月02日GPU训练吞吐加速工程MXFP8MoE TrainingExpert Parallelism
2026年04月01日熵驱动多样性生成diversity samplingtypicality biasrepulsion in latent space
2026年04月01日说话人分割工程选型speaker diarizationbenchmark methodologystreaming ASR pipeline
2026年03月31日转向检测联合建模turn-taking detectionvoice activity detectionjoint acoustic-linguistic modeling
2026年03月31日基准测试的系统性失效benchmark contaminationevaluation validityLLM judge reliability
2026年03月31日扩散模型声学生成diffusion modelscore matchingstochastic differential equation
2026年03月31日TTS开源生态竞争open-weight TTStime-to-first-audiomultilingual speech synthesis
2026年03月30日注意力机制变体演进Multi-Head AttentionGrouped Query AttentionMulti-head Latent Attention
2026年03月30日设备端语音推理架构on-device inferenceExecuTorchvoice agent pipeline
2026年03月29日混合自回归流匹配TTSautoregressive semantic tokensflow matching acoustic decoderhybrid TTS architecture
2026年03月29日NCCL超时诊断方法论NCCL watchdog timeoutdistributed training debuggingcollective communication
2026年03月29日混合架构音频表示Mambastate space modelaudio representation learning
2026年03月29日DeepSeek预训练加速工程MXFP8 trainingexpert parallelismMoE pretraining
2026年03月27日说话人验证度量学习speaker verificationmetric learningcurriculum learning
2026年03月27日MX浮点格式加速训练MXFP8microscalingmixed precision training
2026年03月26日TTS模型极限压缩model compressionknowledge distillationTTS on-device
2026年03月26日小模型极限压缩哲学model compressionknowledge distillationquantization
2026年03月25日流匹配生成原理flow matchingrectified flowODE
2026年03月25日神经音频编解码器neural audio codecresidual vector quantizationEnCodec
2026年03月25日推测解码加速推理speculative decodingdraft modeltoken verification