每日练习与编程练习

← 返回日报
任务 第一则

长窗注意力稳健化

任务 94/100

你负责一个长上下文 LLM 推理服务,模型使用 ALiBi 位置偏置,最大上下文从 32K 扩到 512K 后,线上出现“远处证据明明在上下文中但模型完全忽略”的任务。已知每个 head 的注意力 logit 为 `z_ij = q_i·k_j/sqrt(d) - m_h*(i-j)`,推理使用 FlashAttention 类 kernel、KV cache 量化、fp16/bf16 混合精度;不能重新训练模型,首 token 延迟 P99 < 800ms,单 token 解码额外开销 < 5%,显存额外开销 < 3%。 你需要设计一个推理侧方案:在线检测哪些 query/head/key-block 发生了由数值下溢导致的 attention blindness;在不物化完整注意力矩阵的前提下估计被“抹掉”的注意力质量;并给出可落地的缓解策略、复杂度分析、边界条件和线上验证方案。

参考回答

强候选人的思路会先把任务拆成“数值下溢”和“模型本身偏好近邻”两类,不能把所有远距离低权重都当 bug。对每个 query/head,softmax 实际计算的是 `exp(z_j - M)`,其中 `M=max_j z_j`。若某个 block 的最大 logit `a_b=max_{j in block} z_j` 满足 `a_b - M < τ_dtype`,则该 block 内 token 在当前 kernel/dtype 下可能全部被 flush 为 0;`τ_dtype` 需要按实际 kernel 标定,例如 fp16、bf16、fp32 exp、是否 flush-to-zero 都不同。 在线检测可以嵌入 FlashAttention 的 tile 计算。每个 key block 维护两个元信息:`a_b=max z_j` 和 `L_b=logsumexp_{j in block}(z_j)`,全局维护 `M=max_b a_b` 和 `L=logsumexp_b L_b`。不保存完整 `QK^T`,只保存每个 query/head 对 key-block 的少量标量。风险分数可定义为:`R = sum_{b: a_b-M<τ+margin} exp(L_b-L)`,表示理论高精度下本应来自被下溢 block 的注意力质量。若 `R > ε`,或被检索器/引用定位标记为关键证据的 block 被判定下溢,则触发慢路径。 缓解策略分三级。第一层是低成本数值修复:ALiBi bias、logit、block logsumexp 全部用 fp32 计算,禁止把概率中间结果落 fp16;对高风险 head 使用更保守的 softmax kernel。第二层是精确慢路径:对触发的 query/head 做分块 log-domain attention。先在每个 block 内用局部最大值算 block 内归一化输出 `o_b` 和 `L_b`,再用 `w_b=exp(L_b-L)` 聚合 `o=sum_b w_b o_b`。这样避免远距离 block 内所有 token 因相对全局最大值过小而被直接清零。可以两遍扫描 KV,避免存储所有 token 级注意力。第三层是语义层兜底:若高精度下远处质量仍接近 0,说明 ALiBi 偏置本身压制远证据,可使用距离偏置 cap、长距离 slope annealing、摘要/landmark memory、query-aware retrieval 近端重排等方法,但这些会改变模型行为,需要离线评估。 复杂度上,正常路径仍是 FlashAttention 的 `O(HLd)` 解码计算,额外只做 block 级 max/logsumexp 归约,元信息为 `O(H * L/B)` 标量,通常低于 3% 显存;慢路径只对少量高风险 query/head 二次扫描,最坏 `O(HLd)` 额外,但线上要限流,例如每步最多修复 top-k head 或 top-r 风险 block,保证 P99 开销。工程上还要处理 causal mask、全 mask 行、NaN/Inf logit、KV 量化 scale、不同 GPU 的 flush-to-zero 行为、多 query attention head 共享 KV、prefill 与 decode 两种路径一致性。 验证方案包括:构造远距离 needle-in-haystack、长文引用、多跳检索样例;用 fp64 或高精度 log-domain attention 作为 golden,对比 block mass loss、输出 hidden 差异、答案召回率和延迟;线上灰度监控 `R` 分布、触发率、P99 延迟、显存、远证据命中率,并设置回滚开关。关键取舍是:尽量用检测驱动的局部慢路径修复数值任务,不把模型设计缺陷伪装成数值优化。

回答分析

强答应该覆盖:softmax 下溢的数学判据、block 级统计而非完整注意力矩阵、如何估计丢失 mass、如何区分数值任务和真实低权重、分层缓解方案、复杂度和 SLO 控制、kernel/dtype 细节以及线上验证。常见错误包括:只说“改成 fp32”但不分析开销和触发条件;误以为 softmax 减最大值能解决所有下溢;直接裁剪 ALiBi bias 却不承认会改变模型行为;要求保存完整 attention map;忽略 KV 量化和 GPU flush-to-zero。出练习者会继续追问如何选择阈值、如何在 FlashAttention 中拿到 block logsumexp、慢路径最坏情况如何限流,以及如果高精度 attention 也不给远处证据权重该怎么办。

评分
94/100
任务定义 20/20正确性 25/25复杂度 18/20工程取舍 19/20表达 12/15
追问
  • 如果 `R` 很高但答案质量没有变化,如何调整检测指标?
  • 分块 log-domain attention 如何避免二次扫描导致 P99 爆炸?
  • 如果线上只能改 prompt/KV cache 不能改 kernel,你会如何兜底?
类比
像在很长的货架上找证据,近处灯太亮导致远处货架在相机里全黑,先判断是曝光任务还是货物本来不重要,再只给可疑区域补光。
编程练习 第二则

执行操作使数据元素之和大于等于 K

任务 95/100

给你一个正整数 `k` 。最初,你有一个数组 `nums = [1]` 。

你可以对数组执行以下 任意 操作 任意 次数(可能为零):

  • 选择数组中的任何一个元素,然后将它的值 增加 `1` 。
  • 复制数组中的任何一个元素,然后将它附加到数组的末尾。

返回使得最终数组元素之 和 大于或等于 `k` 所需的 最少 操作次数。

示例 1:

输入:k = 11

输出:5

解释:

可以对数组 `nums = [1]` 执行以下操作:

  • 将元素的值增加 `1` 三次。结果数组为 `nums = [4]` 。
  • 复制元素两次。结果数组为 `nums = [4,4,4]` 。

最终数组的和为 `4 + 4 + 4 = 12` ,大于等于 `k = 11` 。

执行的总操作次数为 `3 + 2 = 5` 。

示例 2:

输入:k = 1

输出:0

解释:

原始数组的和已经大于等于 `1` ,因此不需要执行操作。

提示:

  • `1 5`
参考解法

参考解法:枚举最终要复制的“模板值” `x`。

如果先把初始的 `1` 增加到 `x`,需要 `x - 1` 次操作。之后每复制一次 `x`,数组总和增加 `x`。为了让总和至少为 `k`,最终至少需要 `ceil(k / x)` 个值为 `x` 的元素,因此复制次数是:

`ceil(k / x) - 1`

总操作次数为:

`(x - 1) + (ceil(k / x) - 1)`

等价写法:

`(x - 1) + (k - 1) // x`

由于值 `x` 和元素个数本质上形成一个乘积,最优值一定出现在 `sqrt(k)` 附近,因此枚举到 `sqrt(k) + 1` 即可。

python
from math import isqrt


class Solution:
    def minOperations(self, k: int) -> int:
        # 边界:初始 nums = [1],和已经 >= 1
        if k == 1:
            return 0

        ans = k - 1  # 只执行加一操作,把 1 加到 k

        # 枚举最终被复制的模板值 x。
        # 由于 x 和最终元素个数可以互换理解,最优解只需要检查 sqrt(k) 附近及之前。
        for x in range(1, isqrt(k) + 2):
            # 先将 1 增加到 x,需要 x - 1 次
            increase_ops = x - 1

            # 当前已有一个 x,还需要复制若干个 x
            # 需要的最终元素个数为 ceil(k / x)
            # 复制次数 = ceil(k / x) - 1 = (k - 1) // x
            copy_ops = (k - 1) // x

            ans = min(ans, increase_ops + copy_ops)

        return ans


if __name__ == "__main__":
    sol = Solution()

    assert sol.minOperations(11) == 5
    assert sol.minOperations(1) == 0
    assert sol.minOperations(2) == 1
    assert sol.minOperations(5) == 3

    print("OK")
解练习分析

核心思想是把操作序列规范化为“先增大一个模板元素,再复制它”。如果最终模板值为 `x`,那么把初始的 `1` 变成 `x` 需要 `x - 1` 次操作;为了让总和达到 `k`,需要至少 `ceil(k / x)` 个这样的元素,因此复制次数是 `ceil(k / x) - 1`。所以任务转化为最小化 `(x - 1) + ceil(k / x) - 1`。

高质量答案应覆盖以下几点:

1. 为什么可以先加一再复制 因为复制会放大当前元素的值。把加一操作集中到被复制的元素上,再复制它,不会比先复制再分别加一更差。

2. 如何计算复制次数 当模板值为 `x` 时,最终元素个数至少为 `ceil(k / x)`。由于初始已经有一个模板元素,所以复制次数是 `ceil(k / x) - 1`,也就是 `(k - 1) // x`。这里很容易错写成 `ceil(k / x)`,导致多算一次复制。

3. 为什么只需枚举到平方根附近 总和由“模板值 × 元素个数”决定,操作数是两者之和减二。为了让乘积达到 `k` 且和尽量小,两者应尽量接近,因此最优解出现在 `sqrt(k)` 附近。枚举到 `isqrt(k) + 1` 足够安全。

4. 复杂度 枚举范围是 `O(sqrt(k))`,每次计算为 `O(1)`,因此时间复杂度为 `O(sqrt(k))`,空间复杂度为 `O(1)`。在 `k <= 10^5` 的约束下非常充足。

5. 边界条件 当 `k = 1` 时,初始数组 `[1]` 的和已经满足要求,答案为 `0`。

常见错误: - 忘记初始数组已经有一个元素,复制次数多算一。 - 把 `ceil(k / x) - 1` 写错。 - 认为一定要先复制再加一,忽略复制高值元素的收益。 - 枚举范围不包含 `sqrt(k) + 1`,在部分非平方数附近可能漏掉最优候选。

出练习者可能追问: - 能否给出严格证明,说明先加一再复制不劣? - 是否可以进一步优化为只检查 `floor(sqrt(k))` 和附近几个值? - 如果两种操作的代价不同,公式应如何变化?

评分
95/100
思路 25/25正确性 25/25复杂度 20/20工程性 15/15表达 10/15
追问
  • 为什么最优操作可以规范化为先增加再复制?
  • 能否推导只检查平方根附近的 O(1) 解法?
  • 如果增加操作和复制操作代价不同,如何建模?
类比
像先把一个印章刻到足够大的数字,再连续盖章,比盖很多小数字后逐个修改更省事。

往期记录 149 条记录

2026年08月05日必须拿起的最小连续卡牌数codehashmaparrayslidingwindow
2026年08月04日绝对差不超过限制的最长连续子数组codesliding windowmonotonic queuedeque
2026年08月03日证据路由与采样优化interviewRoutingSubmodularLatency
2026年08月01日查询引导长视频采样interviewSubmodularKnapsackTemporalCoverage
2026年08月01日边界元素是最大值的子数组数目codeStackArrayMonotonicStack
2026年07月30日受限内存推理调度interviewLLM-servingKV-cacheScheduling
2026年07月29日技能感知词元压缩interviewTokenCompressionMultimodalKnapsack
2026年07月27日递归验证预算分配interviewAStarBanditSubmodular
2026年07月26日推理早停预算分配interviewOptimalStoppingSequentialTestCalibration
2026年07月26日二叉树中所有距离为 K 的结点codeTreeBFSDFS
2026年07月25日流式同传轨迹调度interviewStreamingMonotonicAlignmentLatencyControl
2026年07月25日分割回文串codepalindromebacktrackingdynamicprogramming
2026年07月24日最大节点价值之和codeGreedyBitManipulationTree
2026年07月23日长音视频工具调度interviewTool RoutingDAG SchedulingSubmodular Maximization
2026年07月20日流式多模态记忆检索interviewStreaming MemoryMultimodal RetrievalTemporal Indexing
2026年07月20日T 秒后青蛙的位置codeTreeDFSProbability
2026年07月20日约束预算模型路由interviewModel RoutingConstrained OptimizationContextual Bandit
2026年07月20日匹配模式数组的子数组数目 IIcodeArrayKMPStringMatching
2026年07月20日受限显存解码调度interviewLLMCompilerKVCacheScheduling
2026年07月20日填充每个节点的下一个右侧节点指针 IIcodeTreeBFSLinkedList
2026年07月02日变分信息瓶颈Information BottleneckVariational BoundRate-Distortion
2026年07月01日CTC序列对齐方法CTCForward-Backward MethodBlank Token
2026年07月01日故障流行病学Core DumpStatistical DebuggingFault Localization
2026年06月30日哈希嵌入压缩Hash EmbeddingFeature HashingEmbedding Compression
2026年06月29日一致性蒸馏Consistency ModelsProgressive DistillationODE Trajectory
2026年06月29日原生推理引擎Native RuntimeggmlInference Engine
2026年06月28日无分类器引导Classifier-Free GuidanceGuidance ScaleScore Interpolation
2026年06月25日MVDR波束成形MVDR BeamformingSpatial FilteringCovariance Estimation
2026年06月24日神经缩放定律Scaling LawsCompute-Optimal TrainingPower Law
2026年06月23日最小贝叶斯风险解码Minimum Bayes RiskDecision TheoryHypothesis Selection
2026年06月23日PID控制与生成调控PID ControllerFeedback ControlClosed-loop Generation
2026年06月22日生成模型评估度量Frechet Inception DistanceGenerative EvaluationFeature Statistics
2026年06月21日浮点量化收缩偏差FP4 TrainingShrinkage BiasLow-Precision Arithmetic
2026年06月21日模型上线仿真Deployment SimulationShadow TestingOffline Evaluation
2026年06月20日现代联想记忆Hopfield NetworkAssociative MemoryEnergy-Based Model
2026年06月19日离散扩散语言模型Discrete DiffusionAbsorbing StateConcrete Score
2026年06月18日循环变换器架构Looped TransformerWeight TyingAdaptive Computation
2026年06月17日韵律建模演进Prosody PredictionF0 ModelingDuration Prediction
2026年06月16日说话人日志Speaker DiarizationSpeaker EmbeddingEEND
2026年06月15日偏好对齐优化Preference OptimizationDPOReward Modeling
2026年06月14日多令牌并行预测Multi-Token PredictionSpeculative DecodingParallel Decoding
2026年06月13日流匹配生成模型Flow MatchingRectified FlowOptimal Transport Path
2026年06月13日实时管线延迟预算Latency BudgetPipeline OrchestrationTime-to-First-Token
2026年06月12日MoE路由机制Mixture of ExpertsSparse GatingRouter Design
2026年06月11日连续自回归生成Continuous AutoregressiveLatent PredictionAudioVAE
2026年06月10日KV缓存压缩KV Cache CompressionToken EvictionAttention Sparsity
2026年06月09日浏览器端模型推理WebGPUBrowser InferenceClient-side ML
2026年06月02日残差向量量化Residual Vector QuantizationAudio TokenizationNeural Codec
2026年05月31日彩色噪声扩散采样Colored NoiseSpectral BiasSDE Solver
2026年05月31日算子融合编译原理Kernel FusionOperator Fusiontorch.compile
2026年05月20日AI生成内容溯源 (7 chars) ✓Content ProvenanceC2PASynthID
2026年05月19日推理委托设计模式 (8 chars) ✓ Let me now write the full content for both topics. Actually, I realize I should double-check: is "Runtime Abstraction" or "Delegate Pattern" too close to any covered keyword? Looking at the list: Cluster Scheduling, Co-design, Collective Communication, Computational Expressiveness, CUTLASS... No, none of these overlap. OK, let me finalize and write everything out. Let me reconsider the engineering topic one more time. The title "推理委托设计模式" is good but maybe I should make it even more specific and interesting. What about focusing on the "graph partitioning" aspect - how ML runtimes decide which operations to delegate to which backend? This is a more specific and technically interesting angle. No, I think the broader "delegate pattern" is better because it covers the full picture and is more useful to the reader. Let me write it all out now. For the engineering topic, let me think about the history: - Early days: frameworks were monolithic (Caffe, early TensorFlow) - TensorRT (2017): NVIDIA's specialized inference engine, initially standalone - ONNX Runtime (2019): Microsoft introduced "Execution Providers" - the first major delegate-like abstraction - TFLite delegates (2018-2019): TensorFlow Lite introduced delegate API for GPU, NNAPI, etc. - ExecuTorch (2023-2024): PyTorch's answer to edge inference with a clean delegate API - 2025-2026: MLX delegate, Qualcomm AI Engine Direct delegate, etc. This is a rich history. Let me write it up. Actually, I want to make sure I have the dates right: - TensorRT was first released around 2016-2017 - ONNX was announced in 2017 - ONNX Runtime was open-sourced in 2018-2019 - TFLite was released in 2017, delegates came later - ExecuTorch was announced at PyTorch Conference 2023 OK, let me write everything now. I'll be thorough. One more thought: for the MATH section of the engineering topic, I could discuss the graph partitioning problem formally, or I could discuss the cost model for deciding whether to delegate. Let me think... The graph partitioning for delegation can be formalized as: - Given a computation graph $G = (V, E)$ where $V$ is the set of operations and $E$ is data dependencies - And a set of delegates $D = \{d_1, ..., d_m\}$ where each delegate supports a subset of operations $S_i \subseteq V$ - Find a partition $P = \{P_0, P_1, ..., P_m\}$ (where $P_0$ is the fallback/CPU partition) that minimizes total execution time - Subject to: each $
2026年05月17日连续批处理异步化
2026年05月10日连续潜在扩散语言模型Continuous Latent DiffusionNon-autoregressive LMDiffusion Language Model
2026年05月10日零样本跨语言语音克隆Zero-shot Voice CloningCross-lingual TTSIPA Phoneme Representation
2026年05月09日最优传输音频距离Optimal TransportFréchet Audio DistanceRiemannian Metric
2026年05月09日推荐系统推理核内广播优化Intra-kernel BroadcastEmbedding TableRecommendation Inference
2026年05月08日扩散Transformer异常值令牌Outlier TokensDiffusion TransformerAttention Sink
2026年05月08日WebRTC低延迟语音工程WebRTCReal-time AudioJitter Buffer
2026年05月07日音素级深度伪造检测原理Phoneme-level Deepfake DetectionSelf-supervised Speech EmbeddingEmotional Speech Synthesis
2026年05月07日AI训练网络协议工程哲学Multi-path Reliable ConnectionRDMA over EthernetCollective Communication
2026年05月05日对抗解纠缠说话人验证Speaker DisentanglementAdversarial TrainingCross-lingual Verification
2026年05月05日LLM推理为何用语言Chain-of-ThoughtLatent ReasoningToken Space
2026年05月01日跨架构知识蒸馏原理Cross-Architecture DistillationDiffusion LMAutoregressive Teacher
2026年05月01日AI评估计算瓶颈工程LLM Evaluation InfrastructureBenchmark SaturationEval Compute Bottleneck
2026年04月29日平衡传输语音增强Schrödinger BridgeStochastic Differential EquationSpeech Enhancement
2026年04月29日深度学习理论形成Deep Learning TheoryLoss LandscapeNeural Tangent Kernel
2026年04月28日语义进度函数原理Semantic Progress FunctionDiffusion TrajectoryNonlinear Denoising
2026年04月28日大模型OCR选型认知OCR BenchmarkModel Selection BiasCost-Performance Tradeoff
2026年04月27日说话人验证核心原理Speaker Verificationd-vectorECAPA-TDNN
2026年04月27日GPU核函数语言选型GPU Kernel EngineeringCuTe DSLCUTLASS
2026年04月26日时长控制TTS原理Duration ModelingProsody ControlAutoregressive TTS
2026年04月26日AI研究价值评估困境Research EvaluationPublication BiasPeer Review
2026年04月25日全双工对话建模原理Full-Duplex DialogueTurn-TakingVoice Activity Detection
2026年04月25日流式TTS文本规范化Text NormalizationStreaming TTSInverse Text Normalization
2026年04月24日离散扩散语言模型原理Discrete DiffusionMasked Diffusion Language ModelAbsorbing Diffusion
2026年04月24日跟进ML研究的认知工程Information OverloadResearch TriageSpaced Repetition
2026年04月23日一致性正则化ASR原理Consistency RegularizationUnified ASRTransducer
2026年04月23日流式TTS文本规范化工程Text NormalizationStreaming TTSInverse Text Normalization
2026年04月22日神经编码器伪影检测Neural Audio CodecArtifact DetectionForensic Residual
2026年04月22日AI研究复现危机工程Reproducibility CrisisML EngineeringExperimental Rigor
2026年04月21日扩散SNR偏差校正原理Signal-to-Noise RatioDiffusion Timestep BiasScore Matching
2026年04月21日论文复现危机根治工程Reproducibility CrisisAblation StudyExperimental Rigor
2026年04月20日音频时序定位原理Temporal GroundingAudio Event DetectionCross-modal Alignment
2026年04月20日论文复现危机根因Reproducibility CrisisBenchmark OverfittingEvaluation Validity
2026年04月19日流匹配对齐原理Flow Matching AlignmentReward Gradient BackpropagationTrajectory Optimization
2026年04月19日分布式训练任务编排Distributed Training OrchestrationCluster SchedulingFault Tolerance
2026年04月18日最优传输信号融合Optimal TransportWasserstein BarycenterTime-Frequency Resolution
2026年04月18日分布式训练任务调度Distributed Training OrchestrationJob SchedulingCluster Resource Management
2026年04月17日扩散语音识别原理Masked Diffusion Language ModelDiscrete DiffusionASR Decoding
2026年04月17日Mel尺度跨文化偏差Mel ScalePsychoacousticsCultural Bias
2026年04月16日音频水印对抗原理Audio WatermarkingSemi-FragilePsychoacoustic Masking
2026年04月16日推测解码草稿树工程Speculative DecodingDraft TreeBlock Diffusion
2026年04月15日对抗流模型原理Continuous Normalizing FlowAdversarial TrainingFlow Matching
2026年04月15日代理状态可观测性工程Agent ObservabilityDistributed TracingState Machine Debugging
2026年04月14日过程奖励模型原理Process Reward ModelStep-level SupervisionReasoning Chain
2026年04月13日离散令牌音源分离Discrete Token ModelingSource SeparationConditional Generation
2026年04月13日超算API工程哲学Distributed Training OrchestrationSupercomputer API DesignFault Tolerance
2026年04月12日信息瓶颈原理演进Information BottleneckVariational IBDisentanglement
2026年04月12日Safetensors格式工程哲学SafetensorsModel SerializationMemory-Mapped IO
2026年04月11日归一化层演进原理Layer NormalizationRMS NormalizationBatch Normalization
2026年04月11日GEMM自调优后端工程GEMM AutotuningTorchInductorCuteDSL
2026年04月10日多令牌预测原理Multi-Token PredictionSpeculative DecodingMedusa Heads
2026年04月10日ML从业者认知校准Calibration BiasCapability IllusionBenchmark Overfitting
2026年04月09日编码器-解码器LM原理Encoder-Decoder LMCross-Attention ConditioningSequence-to-Sequence
2026年04月09日torch.compile归一化优化torch.compileLayerNormRMSNorm
2026年04月08日KV缓存压缩原理KV Cache CompressionRoPE Position EncodingAttention Score Estimation
2026年04月08日音效基础模型工程Sound Effect GenerationFoundation ModelFoley Synthesis
2026年04月07日可验证奖励强化学习Verifiable RewardRLVRProcess Reward Model
2026年04月07日LLM技能退化认知机制Cognitive OffloadingSkill AtrophyDesirable Difficulty
2026年04月06日音素可解释说话人验证Phoneme-aware Speaker VerificationInterpretable BiometricsLocal Acoustic Evidence
2026年04月06日音频幻觉攻击评估Hallucination AttackAudio Language Model ReliabilityAdversarial Probing
2026年04月05日潜在空间推理原理Latent Space ReasoningContinuous RepresentationToken-Free Inference
2026年04月05日mRNA模型极低成本训练Biology Foundation ModelCross-Species TransferLow-Budget Training
2026年04月04日编码器-解码器TTS原理Encoder-Decoder TTSText ConditioningPositional Capacity
2026年04月04日大模型训练的MXFP8工程MXFP8MicroscalingMixed Precision Training
2026年04月03日在线知识蒸馏原理Online DistillationKnowledge TransferStudent-Teacher
2026年04月03日MoE专家并行调度工程Expert ParallelismMixture of ExpertsAll-to-All Communication
2026年04月02日波形潜空间扩散TTSwaveform latent diffusionnon-autoregressive TTSlatent space acoustic modeling
2026年04月02日波形隐空间扩散原理waveform latent spacediffusion TTSVAE audio codec
2026年04月02日LLM量化权重工程weight quantizationLLM compression4-bit quantization
2026年04月02日扩散语言模型离散生成Discrete DiffusionMasked Diffusion Language ModelNon-autoregressive TTS
2026年04月02日LLM后训练库工程演进RLHF engineeringPPO training stabilityreward hacking
2026年04月02日声学证据瓶颈原理Audio Evidence BottleneckAcoustic GroundingAudio Language Model
2026年04月02日状态空间模型音频建模State Space ModelMambaSelective Scan
2026年04月02日实时语音增强工程选型Real-time Speech EnhancementNoise SuppressionStreaming Inference
2026年04月02日对话上下文压缩原理Context CompressionAbstractive SummarizationCross-Attention Fusion
2026年04月02日说话人匿名化工程Speaker AnonymizationVoice ConversionStreaming Inference
2026年04月02日视听语音识别融合Audio-Visual Speech RecognitionLip ReadingViseme
2026年04月02日GPU训练吞吐加速工程MXFP8MoE TrainingExpert Parallelism
2026年04月01日熵驱动多样性生成diversity samplingtypicality biasrepulsion in latent space
2026年04月01日说话人分割工程选型speaker diarizationbenchmark methodologystreaming ASR pipeline
2026年03月31日转向检测联合建模turn-taking detectionvoice activity detectionjoint acoustic-linguistic modeling
2026年03月31日基准测试的系统性失效benchmark contaminationevaluation validityLLM judge reliability
2026年03月31日扩散模型声学生成diffusion modelscore matchingstochastic differential equation
2026年03月31日TTS开源生态竞争open-weight TTStime-to-first-audiomultilingual speech synthesis
2026年03月30日注意力机制变体演进Multi-Head AttentionGrouped Query AttentionMulti-head Latent Attention
2026年03月30日设备端语音推理架构on-device inferenceExecuTorchvoice agent pipeline
2026年03月29日混合自回归流匹配TTSautoregressive semantic tokensflow matching acoustic decoderhybrid TTS architecture
2026年03月29日NCCL超时诊断方法论NCCL watchdog timeoutdistributed training debuggingcollective communication
2026年03月29日混合架构音频表示Mambastate space modelaudio representation learning
2026年03月29日DeepSeek预训练加速工程MXFP8 trainingexpert parallelismMoE pretraining
2026年03月27日说话人验证度量学习speaker verificationmetric learningcurriculum learning
2026年03月27日MX浮点格式加速训练MXFP8microscalingmixed precision training
2026年03月26日TTS模型极限压缩model compressionknowledge distillationTTS on-device
2026年03月26日小模型极限压缩哲学model compressionknowledge distillationquantization
2026年03月25日流匹配生成原理flow matchingrectified flowODE
2026年03月25日神经音频编解码器neural audio codecresidual vector quantizationEnCodec
2026年03月25日推测解码加速推理speculative decodingdraft modeltoken verification