AI 进阶课堂

同一处漏读，可能来自不同环节

先拿原表校对。如果缩小后的图像已经看不清「万元」，从更多历史位置里找也补不回来。如果单位清楚，但模型没有访问那一页，就要查历史的保存与读取。如果两处都能改，接着比较怎样花同样的预算更划算。

三种旗舰路线处理历史的方式不同。Kimi K3 将逐步更新的递推状态与全局注意力分层组合。DeepSeek V4 把多条历史键值合为较少的条目，再按层密集读取或稀疏选择。MiniMax M3 的稀疏注意力（MiniMax Sparse Attention，MSA）先选择原序列的键值块，再读取所选块。

用同一道表格题对照三者时，分别检查状态留下了什么、压缩条目保留了什么，以及关键块是否入选。更省的历史读取如果能让系统处理更清晰的表格，端到端的得分就可能改善。需要下面的四组对照来判断收益来自哪里。

注意力究竟改的是哪一处

把注意力想成查表。查询 Q 表示想找的线索，键 K 用来做匹配，值 V 提供匹配后带走的内容。保持可见位置不变、只重排计算，可能得到同样的结果。删去位置会改变归一化集合，压缩则会改变参与匹配的表示。随后再分清它沿模态、时间还是层读取。

同一文字并不足以复用缓存：还要核对实际前缀、位置编码、可见关系和模型配置。更重要的是，注意力只能读到编码器保留下来的区别，读取策略不能凭空恢复已被合并的证据。

删去位置后，输出通常会变。如果删去部分和保留部分的加权均值恰好相同，输出也可以不变。这个反例说明，访问位置数量和最后答案的变化是两种量。

三种等价与三层验证

代数等价在实数运算中成立；数值接近是指定精度和容差下的结论；任务近似则依赖模型参数、输入分布和评价门槛。精确分块主要讨论前两项。稀疏或压缩重训后能否达标需要任务证据，不能从随机张量误差推出。局部误差可被后续层放大，Lipschitz 界只给保守上界，还需看输出分布和任务敏感方向。

正确性先于性能：改变未来词元，检查确定性模型的同一前缀输出是否在容差内不变。压缩块若在尚未完成时暴露未来摘要，训练损失可能变好，但模型不再符合因果定义。

把总收益拆成可测因果链

先固定分辨率，比较开关稀疏后的变化。板书中的低分辨率行是 72−76=−4 分，高分辨率行是 82−80=+2 分。两行的变化相差 6 分，表示稀疏效果随分辨率而变。只拿低分辨率全量和高分辨率稀疏比较，会把两种变化混在一起。

再分清两类实验。固定数据、训练配方、训练预算和执行环境，只改一个结构开关，可以估计该设置下的局部效应。让各结构在共同预算内分别调优，回答的则是哪套系统更划算。板书同时给出质量和单次服务成本，便于分别回答这两个问题。

例如检验低维缓存是否加速小批解码：先数逻辑缓存量，再测实际显存读取字节、带宽和时延；如果只有末端变快，不能排除新内核或批调度的作用。

验证四格结果时，让同一道题在四个设置各跑一次，先按题计算两种分辨率下的稀疏效应，再汇总交互项。来自同一文档的题可能共享错误，估计不确定性时把整份文档作为重采样单位。若收益主要来自小字表格，再查这些样本是否真读到了正确页码和单位。

从两次计时出发，定位差别发生在哪里

先只记两次耗时 12 秒和 8 秒。可能是第二次命中了缓存，也可能是输出更短、服务负载较低，或者解码配置不同。把这些先列为可能原因，然后用可复查的设置逐项排查。

一次任务可以从四个位置排查。训练会影响模型学到什么，推理会改变本次投入的计算，执行环境决定检索和测试如何运行，访问层决定哪些调用或动作获准。如果两次请求用的是同一模型，先核对本次任务的设置和执行记录。

可以把长任务轨迹和验证结果收进训练数据，下一版模型因此有机会更好地使用工具。一次正确调用只验证了局部动作。跨文件修改还需保留原始约束、理解失败、核对结果并在合适时停止。

给学生两次运行日志，一次查到正确页面却引用错段落，一次因访问受限没有取到页面。两次交付都失败，但诊断不同。前者可复查检索后的证据绑定，后者应单列访问结果。综合成功率仍用全部尝试作分母，才能反映实际体验。

证据能支持哪些结论

若模型卡披露某层采用稀疏混合专家，可以确认该路由层按词元选择部分专家。共享路径仍可能一直启用。专家总数、激活参数量和路由细节要分别找证据。接口提供推理强度设置，只能确认档位可调。质量与成本的变化幅度和方向要做同任务对照。工具日志能记录外部动作的顺序，隐藏推理怎样选择动作仍未知。

厂商自报的成绩要和测试条件一起记录。独立机构能测量外部行为，通常看不到训练细节。某项内容未见于公开模型卡，应记为资料未披露。技术推断可以提出解释和可验证的预测，教学算例则单独标注假设和数字来源。

给比较加上时间和口径

手册核对截至 2026 年 9 月 10 日。Artificial Analysis 在 9 月 9 日的报告称，GPT-6 Astra 与 Claude Fable 5.1 在该机构当时的两项指数上并列领先。智能指数同为 53，测试配置是 Astra max 和 Fable 5.1 max（带回退）。编码智能体指数同为 62，执行框架分别是 Codex 与 Claude Code。把它写进学习笔记时保留报告日期，后续可对照新版本。

读规格时分别记录模型名、接口、输入模态、输出模态、上下文窗口和最大输出。词元是切分后的序列单位，跟汉字、英文单词并非一一对应。窗口和输出上限的计入规则取决于接口，不能将两个标称数字直接相加。

从一个推理画面开始

输入一个文字条件，系统从随机 latent 出发，每次用当前状态、时间和条件询问网络，再按求解器更新；最后由解码器还原图像。一次网络前向给出局部的更新依据，整条数值轨迹才生成样本。封面的速度方程描述的是这条轨迹的抽象形式；有些 DiT 直接预测速度，也有些先预测噪声或其他坐标，再由采样器换算成所需的量。

在黑板左侧画出一族分布 pₜ，在其中某个 t 画一个抽样点 xₜ，再在该点画一支向量箭头。pₜ 是总体，xₜ 是状态，网络近似的是随位置和时间改变的场。只有说清分布、轨迹与预测量的关系，才有资格讨论替换网络会不会改变整个生成过程。

用一维常速流看清三个接口。假设采用噪声到数据的时间方向，当前状态 x=1、模型给出速度 v=2、Euler 步长 h=0.25，则求解器得到下一状态 x+h·v=1.5。保持模型预测和起点不变，若 h 改成 0.1，下一状态就是 1.2。模型给方向和大小，求解器决定怎么走；连续预测量、离散更新后的状态、最终解码像素分别属于不同接口。

四层账本：问清谁负责哪件事

过程层回答“怎样在数据与先验之间连路、训练信号从哪来”。表示层回答“状态是像素还是压缩 latent、哪些细节已被编码器丢掉”。骨干层回答“Transformer 如何交换 token 信息、怎样接收时间和文本”。数值层回答“采样从哪端开始，每次如何推进，是否加条件引导”。把 U-Net 换成 Transformer 只说明骨干变了；把 DDPM 换成线性流路径才涉及过程。

这四层互相约束。缩短 token 序列可以省注意力，但压缩和解码可能牺牲文字边缘；降 NFE 可以少跑网络，却可能引入粗积分误差，也不会减少解码时间。看到一项结果时，把它拆成：改动、控制变量、指标、代价、结论边界。

两小时读法和验收

手册把原理、表示、架构、训练、应用、实验串起来。课程以短总览开场；接着推导 DDPM 后验与 target 换算，算一张图和一段视频的 token 账，再回到训练配方、部署与前沿。第一轮把符号和接口对齐，第二轮动手推导或补做实验。 手册原路线建议数学 35、表示 15、架构 30、系统 25、应用与实验复盘 15 分钟；本组八课重新按课堂段落分配，合计仍是两小时。

验收不靠背模型名：你应能推导前向闭式、反解 ε/x₀/v；计算 1024² 图像的 token 和注意力对；解释 adaLN、cross 与 joint 的数据流；定位 target、schedule、sampler 错配；最后设计一次有控制组的 toy 对照。

重建看起来像，不代表证据还在

文档 A 的数字 12 对应‘万元’，文档 B 对应‘元’。如果压缩后两者表示完全相同，问‘金额是多少’时，下游即使猜得常常对，也无法从同一表示保证区分。背景像素可大量丢弃，单位、实体、列边界与定位坐标却决定答案和可审计性。分别测数值恢复、实体绑定、单位一致性和引用定位，别用图像重建误差或总均分代替。

做一个分级对照：固定同一份原始证据，只改原始采样、视觉分辨率、连接器长度或语言侧读取中的一个，保留无压缩参考。信息存在、能被探针恢复、主模型实际用到，是三个命题；最后一个要对主任务进行干预。

把评测做成一对几乎一样的题。原表里写“12 万元”，改表只把单位换成“元”。两次都问“折算成元是多少，并指出单元格”，正确输出应从 120,000 元变到 12 元，出处位置保持不变。再做一对只换装饰背景、保持表格不动的题，答案和出处都应保持。前一对检验证据敏感性，后一对检验是否受无关像素干扰。

若探针从冻结表示里读得出单位，但主模型没有随单位改变答案，先确认它能否在真实输入下读取该区域，再给同一主模型提供人工定位的证据作为诊断。补证据后答对，说明上游定位、压缩或读取值得查。补证据后仍错，还要检查下游是否会绑定数值和单位、是否会换算。人工提示改了输入条件，只能帮助定位故障。

一次提问与整项工作，最省的表示可能不同

问题无关编码 f(I) 预先保留可复用信息；问题感知编码 f(I,q) 可裁掉当前无关部分，却可能在下一问重新编码或回访原文。先估同一资料被查询多少次、每次是否需要可定位出处，再比较完整成本。

高分辨率让视觉塔处理更多图像块，即便连接器把送给语言模型的长度固定，视觉成本仍增加；增加连接器查询数也补不回视觉塔已遗漏的小字。视频还要分别扫描帧率和空间分辨率，不能同时提高后把收益全归为视觉细节。

联合训练仍然可以有独立视觉塔

K3 报告 v2 的 MoonViT-V2 从头由下一词元预测训练。在报告的对照里，与对比预训练初始化路线相比梯度尖峰较少、视觉评测相近；视觉归一化和偏置等稳定设计也有差别，不能说初始化一项就充分解释全部结果。模型保有独立视觉编码器和轻量 MLP 投影，图像、视频共享参数，通过分开的空间与时间处理及池化控制成本。

对比目标往往鼓励共享语义；生成目标还可能要保留局部文字与结构。共同目标经表示的雅可比传回视觉侧；共享骨干和模态专属模块应分别看梯度范数、夹角和激活，再固定总预算扫描数据配比。局部梯度相斥只说明当前一步的趋势，不等于长期收敛或迁移必然变差。

用可反驳对照验证交错训练

M3 官方说明从训练起点引入混合模态和长交错数据。把同一组图文组织成独立配对、保留顺序的交错上下文、打乱关系的交错上下文，尽量固定数据量和词元预算，再测跨段指代、视觉反馈与时间顺序。只有保留依赖的排列稳定优于其余组，才更支持学习到了跨模态依赖。随后再把同一证据推到长程压缩或历史选择的压力环境，检验短图文任务中可用的细节是否依然可用。

Astra 的接口规格

2026 年 9 月手册所列的 GPT-6 Astra 接收文本和图像，生成文本，标称上下文 105 万词元，最大输出 12.8 万词元。推理强度有 low、medium、high、xhigh、max 五档。GPT 是模型系列名称，不能由这个名字确定层数、参数量或是否使用专家结构。应用可另接图像工具，工具的产物应记在执行环境。

异步工具把等待变成调度问题

官方接口允许工具继续执行时，模型做不依赖其结果的工作，并能在执行中接收新指令。工具仍由应用管理。若一个调用必须等待另一个的结果，依赖边会限制并发。建任务图时应记下调用 ID、依赖和结果所对应的版本。

据工作流分析，模型需要识别哪些步骤可并行、对齐迟到结果、处理指令变化和重复执行。这个分析可指导测试，公开接口未披露内部奖励函数、搜索算法或多智能体配置。可以分开记录工具等待、模型计算和合并用时，再用有依赖的任务检验异步收益是否消失。

在相同输入下做两轮对照。第一轮让两个查询彼此独立，第二轮要求测试使用检索找到的配置。若两轮用时差别很小，先查工具并发是否真正发生、是否共用同一队列，再判断等待时间花在哪个环节。

Fable 和 Mythos 的可用能力

Anthropic 的 2026 年 9 月发布说明称，Fable 5.1 与 Mythos 5.1 共享底层模型，部署保障与访问范围不同。Fable 公开规格列出文本和图像输入、文本输出、100 万词元窗口和 12.8 万输出。Mythos 面向经审核的访问项目。记录评测时把正常作答、拒绝、中止、回退和人工接管分开计数。

Fable 5.1 的自适应思考始终开启。官方文档对部分账号的思考块规定了前缀匹配，改动系统消息、工具定义或更早的消息可能使旧思考块无效。换模型时还要检查兼容性。这是接口提供的有效性规则，隐藏推理表示和键值缓存实现仍待披露。将一轮旧结果接到新版任务前，可先核对历史前缀和版本，再核对结论依赖的工具结果是否变化。

先统一记号和时间方向

令 x₀ 是数据，前向 t 增大时加噪强度增加。手册同用 αₜ 指两种系数，本课记 DDPM 的单步保真为 Aₜ=1−βₜ、累计保真为 Āₜ。若 Ā_T 足够小，终点数据项被压低，q(x_T|x₀) 接近标准正态。到连续插值时才用 aₜ=√Āₜ、σₜ=√(1−Āₜ) 表示幅值。βₜ 是每一步噪声的方差，标准差是 √βₜ。

从 xₜ₋₁ 乘 √Aₜ，再加独立噪声。若已知 xₜ₋₁|x₀ 的均值与方差，代入可见数据项系数相乘、两项独立噪声的方差相加。因 Aₜ(1−Āₜ₋₁)+βₜ=1−Āₜ，闭式成立。用一个 ε 就能直接跳到随机 t，训练无需模拟此前每一步。

两项高斯相乘，得到训练可见的反向后验

按贝叶斯公式，q(xₜ₋₁|xₜ,x₀) 正比于 q(xₜ|xₜ₋₁)q(xₜ₋₁|x₀)。把 xₜ 和 x₀ 当常数，记 y=xₜ₋₁。取对数后，与 y 有关的项来自 −‖xₜ−√Aₜ·y‖²/(2βₜ) 和 −‖y−√Āₜ₋₁·x₀‖²/[2(1−Āₜ₋₁)]。展开并收集同类项，得到 −½τ‖y‖²+ηᵀy，其中精度 τ=Aₜ/βₜ+1/(1−Āₜ₋₁)，η=√Aₜ·xₜ/βₜ+√Āₜ₋₁·x₀/(1−Āₜ₋₁)。配平方后，中心是 η/τ，每个维度的后验方差是 1/τ。

这个后验依赖 x₀，不能在生成时直接调用。采样只有当前 xₜ，于是用 pθ(xₜ₋₁|xₜ) 近似反向转移。在最后一步 t=1，给定 x₀ 的训练后验退化，端点用数据似然项处理，不能继续套一个正方差高斯 KL。

从似然下界走到噪声 MSE

把前向链作为变分分布，负对数似然的上界分解成三类：L_T 把终点 q(x_T|x₀) 对齐先验；Lₜ₋₁ 是真实训练后验与模型反向分布的 KL；L₀ 是最后一步重建数据的负对数似然。中间项是两个高斯，若反向方差固定且与 θ 无关，与均值有关的部分是按方差缩放的平方误差。

用 xₜ 与 ε 反解 x₀，再把后验均值改写成由 ε 决定的形式，就得到时间相关权重下的噪声回归。Ho 等的 simple loss 去掉这些只依赖 t 的权重；它保留了可推导的监督量，但不再等同于完整 ELBO。选择固定或可学习方差、时间采样以及损失权重时，应分别写清它们承担的目标。

先拆开缓存的四个问题

每层每个历史位置保存什么、怎样表示、怎样分配、读取时怎样算，是四个问题。GQA 让多组查询共享较少的键值头；MLA 保存联合潜变量；分页管理处理物理分配、碎片和共享，不改逻辑表示宽度。这些优化都不自动删除历史位置。比较真实部署时要把元数据、缩放因子、对齐和临时展开量另列。

固定线性映射可以从历史侧搬到查询侧

令 cᵢ 为 r 维缓存，kᵢ=Uₖcᵢ、vᵢ=Uᵥcᵢ。固定 Uₖ 下，先算 Uₖᵀq 再与每个 cᵢ 做点积，和逐个展开 kᵢ 代数相同。固定 Uᵥ 可放到加权和之后，所以不用逐位置展开所有高维值。这是同一低维结构的两种实现等价，不代表低维结构与原模型的学习能力相同。

若键先应用历史位置 i 的旋转 Rᵢ，转到查询侧的是 UᵀRᵢᵀq，每个 i 可能不同。若存在相应低维变换 RᵢU=UṘᵢ，可在低维里处理相应部分；另一办法是单独存位置相关分量。别把教学低秩式写成所有 MLA 实现的真实计算路径。

一个反例可手画：一维潜变量沿二维横轴展开，查询也指向横轴。第一个历史位置不旋转，第二个旋转九十度。同一个潜变量会得到不同匹配分数，说明位置相关查询不能无条件提前合并。

把横轴反例代入数字。设 U=(1,0)ᵀ、q=(1,0)ᵀ、cᵢ=2。无旋转时 Ucᵢ=(2,0)，分数是 2。旋转 90° 后 RᵢUcᵢ=(0,2)，分数变成 0。两处 cᵢ 相同，差异全来自位置。若只预算一次 Uᵀq=1 并忽略旋转，两处都会错算成 2。

如果 U 的列空间在每个 Rᵢ 下封闭，可以写成 RᵢU=UṘᵢ，此时先算一次 Uᵀq，后续比较 (Uᵀq)ᵀ(Ṙᵢcᵢ)。高维投影省掉了重复计算，每个位置的低维变化仍要处理。检验方法是分别比较未旋转的显式路径、包含完整旋转的显式路径、以及低维重排路径。先比 softmax 前的分数，再比归一化输出，能区分位置误差和后续汇总误差。

量化和系统表现要沿因果链验收

量化局部误差由查询范数与键误差范数共同界定；排名是否翻转，还取决于两个分数间隔与各自误差。平均重建误差低，不意味着困难样本检索正确。若分数差大于两侧误差上界之和，该对候选的顺序才可保住。

先用小张量对照显式展开和重排，再加位置检验失效条件，再引入量化。按长度、分数间隔和多证据组合分层；在相同质量下并列报告逻辑缓存、实际显存读写、峰值内存、预填充（处理输入）与逐步解码时延。复用还要对齐前缀、模型与位置配置。

Gemini 的结构证据与模式定位

Gemini 3.1 Pro 的模型卡将架构说明指向 Gemini 3 Pro。后者披露稀疏混合专家 Transformer 和原生多模态，训练资料涉及多模态预训练、指令、人类偏好及多步推理相关强化学习。稀疏路由允许总容量与每词元启用的参数分开扩展，专家数量、激活规模、共享专家和视觉编码器细节仍未由这些披露确定。

在 2026 年 9 月的资料中，3.1 Pro 与 3.8 Flash 均支持文本、图像、音频、视频输入，窗口 100 万词元，最大输出 6.4 万词元。3.1 Deep Think 是建立在 3.1 Pro 上的科学与工程推理模式。2025 年 Deep Think 的并行探索与强化学习说明提供历史背景，无法复原后续版本。3.8 Flash 基于 3.7 Flash，强调智能体与效率。产品名和能力排序应分开。

Grok 从示范走向反馈

xAI 披露，Grok 4.6 经补充训练使用筛选的模型生成数据和工程数据，再用 Grok 4.5 重建覆盖多领域、不同推理档位和执行框架的轨迹，并检查轨迹质量。之后在编码、知识工作和专业工程等环境中进行智能体强化学习。监督微调用示范教下一步行动，强化学习用交互回报调整策略。训练规模和具体奖励函数没有由这份说明确定。

Grok 4.6 在手册中的 API 规格为文本、图像输入和文本输出，窗口 50 万词元。搜索、代码执行和可视化由工作环境提供。比较能力时，先确认测试能否覆盖真实失败和恢复，并检查奖励有没有只鼓励表面达标。

Muse Spark 的两种并行与迁移

初代 Muse Spark 的 Contemplating 模式披露了并行智能体推理，Meta 也曾把预训练、强化学习和推理时计算列为三条扩展轴。2026 年 9 月发布的 Muse Spark 1.3 则强调跨多种执行框架训练、长任务和约束保持。增加并行候选改变一次任务的计算方式，增加训练环境改变策略见到的状态分布。能否迁移要用未见环境检验。

AA 在 9 月 2 日报告了 xhigh 版本的文本、图像、视频输入和 100 万窗口，并观察到 max 在部分智能体评测使用更多轮次，科学任务表现并非一律优于 xhigh。Meta 将开放权重列为当时路线图计划。初代的模式、1.3 的训练声明及不同推理档位的测量需分开记录。

可逆的坐标，不等价的优化权重

从上一课的 xₜ = aₜx₀ + σₜε 出发。这里先用 v 表示 VP 的预测坐标。后面写 uₜ 时，指给定一对噪声和数据后的路径速度；PF-ODE 的速度则由扩散过程和 score 合起来决定。三种量分别代入各自的方程。

在 VP 约定 aₜ²+σₜ²=1 下，把 x₀、ε 旋转成 xₜ、v。给定 xₜ，便可反解另外两个量。ε-pred 在 aₜ 很小时反解 x₀ 会放大误差；x₀-pred 在高噪声时仍要推断已经丢失的信息；v-pred 在这套规范下换算不必除以接近零的 aₜ，不能保证任何训练配方都更优。做随机向量往返测试，分开测试端点及不同 dtype。

条件高斯的 score 是 −ε/σₜ。对 pₜ(x) 的混合密度求导，再除以 pₜ(x)，得到给定当前状态时条件 score 的期望。因此最优 MSE 噪声预测器近似 E[ε|xₜ,t]，换成边缘 score 时才可以写 sₜ(xₜ)≈−εθ/σₜ。单个样本抽到的噪声不等于边缘 score。

固定同一个 xₜ，把两种预测各自增加 0.01，看误差如何传到 x₀。ε 路线用 x₀=(xₜ−σₜε)/aₜ，因此误差是 −(σₜ/aₜ)·0.01；v 路线用 x₀=aₜxₜ−σₜv，误差是 −σₜ·0.01。取 aₜ=0.1、σₜ=√0.99，误差幅值约为 0.0995 和 0.00995。这个对照只隔离坐标换算的放大效应。实际训练出来的 ε 与 v 的误差分布不同，比较模型仍需按噪声时间分桶。

拿到 score 之后，扩散可以怎样采样？

前向 SDE 的漂移 f 移动状态、扩散系数 g 注入随机性。对标量、只依赖时间的 g，反向 SDE 以 t 从噪声端走回数据端，漂移出现 −g²sₜ，保留反向布朗噪声；PF-ODE 无随机项，score 修正减半。可以把 Fokker–Planck 方程的扩散项写成概率通量，得到确定性连续方程的同一边缘密度演化。

同边缘分布依赖正确 score 与连续时间假设。同一初值的 ODE 轨迹确定，SDE 轨迹还要抽噪声；离散求解器也会造成不同误差。DDIM 或确定性 ODE 便于研究反演，DPM-Solver 可用高阶近似减少调用。先分清场估错与步长离散误差：高阶求解器不会修复错误的 target 或时间方向。

换一种训练办法：直接回归路径速度

抽数据 x、先验 z、时间 t，构造 xₜ=a(t)x+σ(t)z 并解析求导 uₜ，无需模拟 SDE。平方损失的最优解是 E[uₜ|xₜ,t]；用这个边缘速度运输分布，是把许多隐配对投影到可见位置和时间的同一个场。

Rectified Flow 常写 t=0 为噪声、t=1 为数据：xₜ=(1−t)z+tx，单个配对速度为 x−z。但两条配对线可能在同一位置相交，所以学习到的边缘速度不必沿生成轨迹恒定。Reflow 用已学流产生新配对后再训练，目标是让生成轨迹更直。它并不保证所有样本都能用一步无损生成。

加上条件：CFG 怎样改变当前预测？

训练中随机丢条件，使同一网络能给出 yᵤ 和 y꜀。在相同状态、时间和预测坐标上组合二者；本课 w=1 还原条件预测，w>1 向条件方向外推。有的代码把 w 写成附加系数，使 w=0 才还原条件预测，比较时要先换算。

过强引导可能增加提示对齐、牺牲多样性，并出现过曝和纹理伪影。手册的 DDIM、DPM-Solver、FM ODE、consistency 或蒸馏 NFE 是量级例，不是固定步数。比较时说明 CFG 是否同批合并两个分支，固定模型、AE、分辨率、引导与随机条件，实际测时延、显存及失败切片。 例如手册给的参考量级是 DDIM/ODE 20–100、DPM-Solver 类 10–30、RF/FM ODE 10–40、consistency/蒸馏 1–8 NFE；这些区间既不通用，也不是质量保证。

块是执行单位，不自动意味着稀疏

FlashAttention 分块扫过合法历史，对每块记录分数最大值 m、相对 m 的指数和 ℓ、指数加权值和 u。合并前把各块缩放到共同最大值，最后用 u/ℓ 得到输出。在相同可见集合上，它保留数学定义和全量匹配，只减少大中间矩阵的显存往返；有限精度仍需对照。跳过一块会让它的指数质量从分母消失，归一化集合已改变，输出通常也会变。

同叫长上下文，三种访问对象不同

MiniMax MSA 选择原序列的键值块；V4 的 CSA 先形成压缩键值，再用索引选择压缩项；HCA 使用更强的历史压缩，在该压缩集合上不作同样的稀疏选择。V4 还使用局部窗口照顾近期细节。原块被选中和压缩块被选中不是同一种信息保证，后者可能早已丢失部分原始区别。

主注意力仅读 1/32 历史不意味着整体延迟变 1/32。索引器可能扫描更广历史，和主注意力的宽度、精度或目标不同；还要计压缩和更新、布局、搬运、缓存恢复，分别看预填充与解码。

从删除多少位置改问删除多少权重

固定同一查询、分数和值，设被删集合的原概率总和为 ε；保留和删除集合各自归一化后得到 o_R、o_D。完整输出是两者的加权平均，删除后是 o_R，所以误差同时取决于 ε 和两个集合的内容差。它是固定局部算子的条件结论，不承诺整网络误差小或压缩后的模型质量好。

对比两次同样只删 1/128 的位置。保留项有 127 个，分数均为 0、值均为 0，删除项值为 8。若删除项分数也为 0，它的原概率质量是 1/128，输出从 0.0625 变到 0。若删除项分数是 ln(127)，它独占 1/2 的概率质量，输出从 4 变到 0。删位比例相同，局部误差相差 64 倍。

这两个例子固定分数和向量，只改变可见集合。若先把多条值合并成摘要，键的相似度、softmax 权重和值内容都可能改。此时可以先强制提供同一组原始位置，单独检验摘要带来的误差，再单独关闭部分位置检验选择带来的误差。比较压缩后的索引召回时，要明确命中的是原始证据还是摘要条目。

漏读、压没、不会用：实验分别落在三层

把相同证据分别放在块边界、相似实体旁、强压缩段和近端窗口，记录证据召回、压缩后的可恢复性及最终答案。再给同一后续模型与预算固定真值证据；若仍失败，瓶颈不只是索引。对多证据任务要看关键证据能否同时进入，而非只记命中一项。

检查未来改动是否影响相同前缀，也要覆盖未完成块、滑窗切换、摘要更新时刻和缓存恢复。训练 loss 更低但前缀出现未来依赖时，应先修可见边界。

算力怎样改变一次任务

额外预算可沿同一条路线深入推导，也可并行提出不同假设，还能调用工具补齐证据。三者改善的分别是搜索深度、候选覆盖和信息条件。对缺证据的题，增加推理词元可能只是延长围绕同一前提的讨论。跨厂商比较时要记录实际成本、等待时间和结果，不能把同名的 high 或 max 直接视为同预算。

覆盖率和最终成功率分开计算

若单次候选成功概率为 p，n 次失败独立，则全部失败的概率是 (1 − p)ⁿ。用 1 减去它得到至少一个正确候选的概率。假设选择器只能从已有候选中选一份。候选中已有正确答案时，若平均选对的条件概率为 q，最终正确率等于覆盖率乘 q。pass@k 衡量一题采样 k 次时至少有一份通过的概率，题集分数取各题的平均。实际交付还要通过选择。

现实候选常共享前提、数据与感知错误。给完全相同的失败轨迹换随机种子，未必增加独立机会。若三个候选都复制同一份答案，覆盖率仍等于单次概率。要让多样性有价值，应改变关键假设、证据来源或验证方式。

即使同一题内的抽样相互独立，各题的单次成功率也可能不同。两道题等权，一道每次都能答对，另一道每次都失败，pass@1 和 pass@3 都是 50%。若误把全题集平均的 pass@1 代入单题公式，会得到 1−(1−0.5)³=87.5%。

用独立约束检验选择器

让模型用原来的证据再检查一遍，可能只是重复同样的错误。可以引入受保护的测试、单位与守恒约束、能定位的原文作为独立判断依据。若模型可删断言或修改评分器，测试通过率失去原来的含义。将验证器用于训练时尤其要防止奖励只覆盖表面结果。

科学任务还需记录证据阶段。可检验假设、模拟、实际实验与独立复现各自支持不同结论。单个演示只能确认案例存在。比较可用性还要记录失败率、人工干预和实验总成本。测选择器时可以给一份含已知正确解的候选集，再给一份全错的集合，分别观察能否选对和能否停下来补证据。

先问表示保留了什么

Pixel diffusion 直接建模原始像素，没有 AE 重建损失，却会面对庞大序列。VAE 将图像压成较小空间网格，以重建和先验约束塑造 latent；扩散学习该 latent 分布。更强空间压缩 f 往往节省 token，但小字、细线、局部几何容易被丢掉，解码器也会有纹理偏差。

RAE 把预训练表征 encoder 与训练出的 decoder 组合起来，latent 往往更有语义、也更高维。较高维通道可能抬高 patch 投影、训练统计适配与解码开销。选型要测先验几何、通道尺度、跨分辨率的收敛与重建，不能只比压缩倍数。

把 latent 网格变成 Transformer 序列

像素 H×W 经过空间压缩 f 后得到 H/f×W/f 的 latent 网格；每个 p×p 小块连同全部 C 通道展平到 p²C，再投影到模型宽度 d。假设尺寸可整除，图像序列长度是 (H/(fp))(W/(fp))；不可整除时应按实际裁剪、填充和打包规则计数。相同的 N 不代表投影输入、通道分布或重建质量相同。

二维 p 减半会让 N 乘 4，满注意力两两交互数量乘 16。典型 block 里投影与 4 倍宽 MLP 的计算随 Nd² 增长，QKᵀ 和 AV 随 N²d 增长。FlashAttention 以分块与在线归一化减少 HBM 读写及显存物化；精确满注意力仍计算同一对位置关系。

换两个互相抵消的参数可以看清 f 和 p 的区别。对 1024×1024 输入，f=8、p=4 与 f=16、p=2 都给出 32×32 个 token。假设两套 AE 都用 C=4，每个 patch 投影前分别含 64 和 16 个数，AE 编码前后的网格也从 128×128 变为 64×64。固定 d 后，这两套配置有相同的满注意力位置对数；重建能力、投影输入宽度及解码成本仍需分开测。若想隔离 p 的作用，先固定 AE 和 f，只切换 patch 大小。

做一轮重建与 profiler 验收

冻结 AE，只做 encode→decode。记录 f、通道数、latent scale 以及归一化；比较 PSNR、LPIPS，同时检查文字、细线、小物体和几何重建。重建失败说明这个编码解码回路在这些样本上丢失了信息，应先分离表示问题，再看 DiT 低噪声预测。重建指标是诊断线索，不是无条件样本质量的等价分数。

随后在同分辨率、同 d、同 batch 下测峰值显存、计算热点、内存带宽和多卡通信。d 大时投影/MLP 可能主导，N 大时 attention 快速变重；测到的系统瓶颈才决定先换 p、改 kernel，还是调整并行切分。 按公式两项约在 N=6d 时等大；这只是确定优先测什么的估算，计算量、内存带宽和通信都可能改变最终热点。

把读旧历史改为读和改状态

显式缓存为历史位置保留键和值，递推把它们合入固定形状 S。本课 S 为值维×键维，读出为 Sq；K3 报告采用其转置约定。用当前键预测 Sk，再以 v−Sk 更新 S。单位范数 k、写入强度 β=1、忽略遗忘时，更新后能精确拟合当前键。KDA 还会先按通道遗忘、加入归一化和门控，不能用这个局部式复刻整套实现。

推理状态改变并不是模型权重更新。模型权重在训练中学会生成键、值和门控，推理时按所学规则更新每个请求的状态。固定形状意味着存储不随历史位置数等比例增长，不意味着无限记忆。

相似键产生定向干扰

将更新后的 S 乘一个旧查询 q，减去旧输出，剩下预测误差乘 β 再乘 kᵀq。若 q 与新键正交，忽略遗忘的局部写入不影响该查询；相似时可能改变，幅度还取决于原预测已经错多少。遗忘快适应当前输入，却不利于旧状态保持；重复键和长距离多证据比孤立检索更能测容量。

用最小标量例隔离两个因素。令 β=1，若新目标与当前预测相差 2，旧查询和新键正交时，旧输出仍不动。若两者都是单位向量且内积为 0.8，旧输出变化 1.6。若新目标已经预测正确，误差为 0，即使查询和键完全重合，这一步也不会由写误差改变旧输出。

同一把键重复出现是边界情况。令新键就是旧查询，且 ‖k‖₂=1。更新后 S⁺k=(1−β)Sk+βv。β=1 会把该键读值改为新目标，β=0.25 只向新值走四分之一。若两次写入来自不同事件，同一查询无法同时唯一指定二者，除非键还编码了能区分事件的线索，或由别的通道补回。

有递推依赖，不代表训练只能逐步执行

令遗忘为标量 αₜ，给定输入后的单步可以写成仿射变换。相邻块先左后右相乘时可合成一段，合成具结合律，支持分块、前缀扫描及并行训练。但把每个 A 都显式稠密相乘可能更贵；高效实现还要利用低秩更新、块布局与硬件算子。逐通道遗忘不能直接把标量推导照抄。

混合架构应分别验证两个通道

K3 v2 的重复单元使用三层 KDA 接一层门控 MLA；报告另在骨干末端加全局层。状态层与显式全局读取分工，前缀复用时两类状态须在同一边界恢复。固定任务语义只改变键的正交性、相似度、重复与时间距离；再改变全局层密度或隔离通道，区分局部记忆效率与全局多证据读取。不能把前作单算子速度直接套到 K3 整体。

同一段视频有不同的可用信息

手册快照中的 Gemini 3.1 Pro 与 3.8 Flash 原生接收音频和视频。Astra 与 Fable 5.1 的核心接口接受文本和图像，产品外层可能使用转写或抽帧工具。字幕主要保留说了什么，稀疏帧保留部分画面，音画联合输入还可能保留声明与动作的时间关系。核心接口和外部工具应分列。

接收完整文件只说明输入路径存在。采样率、分辨率、时间表示和训练覆盖会影响内容在内部如何保留。同理，接口接收 PDF 文件也无法单独说明它怎样处理文字、表格与页面图像。若有关键时序问题，应在同一段原始资料上做表示对照。

长上下文有四道关

定位是找到相关证据，绑定是把它配给正确对象、日期与版本，组合是让多条证据共同约束结论，持续使用是修改方案后仍遵守此前条件。只查一个关键词命中，还不能判断绑定或组合能力。把上下文变长时，可以分别移动证据位置、增加同名实体、引入交叉引用、拉长任务历史。

Gemini 3.1 Pro 的模型卡给出 MRCR v2 八目标测试的 128K 平均值和 1M 单点值。这是厂商报告的同类任务两种统计口径，不能直接相减当作通用记忆衰减率。有效上下文要用你在意的长度、证据位置和关系复杂度重新测量。可以先保持文本总长相同，只把关键记录从开头挪到中段，再逐步加长。

压缩历史会改变可用信息

上下文压缩减少后续处理的历史。压缩时删去的限制有时只在任务后期才关键，所以应额外保留原始限制、证据定位信息与未解决的问题。扩大窗口增加可放入的内容，但仍需要判断关系和核对结论。一次诊断改变了输入表示，也改变了分布，结果可以缩小排查范围，不能单独确定内部缺陷。

一个 block，三个时间条件旋钮

图像加噪后的整块 latent 同时可见，标准图像 DiT 用双向自注意力；不会像自回归模型那样屏蔽未来 token。注意力交换空间信息，逐 token MLP 提供非线性与大部分参数容量，pre-norm 与残差帮助深层训练。下一采样步的全部图像状态都变了，因此通常不能沿用自回归 KV cache；未变化的文本编码或独立 cross-attention 的静态键值可另行评估缓存。

把 t 变成 embedding，再与全局条件组合。adaLN 让条件为注意力与 MLP 残差支路产生 shift、scale、gate，分别改变归一化后的输入和残差输出。adaLN-Zero 的调制输出层从零开始，使初始 block 近似恒等，避免深层随机残差一开始就扰动表示；不要把 attention 和 MLP 的权重全部置零。

四种融合，四种信息路径

In-context 把时间、条件、图像 token 拼成同一序列，交互直接，成本进入整条序列的平方项；U-ViT 还用跨层长跳连帮助保留早期局部信息。Cross-attention 让图像 query 从文本 key/value 读信息，文本不用在这一层被图像反向更新；适合长文本和局部匹配，额外交互约 N×M。AdaLN 只调全局向量，成本较小，不能让每个条件 token 与每个图像位置协商。

MMDiT 为图像和文本保留各自的 QKV 投影与 MLP，注意力在拼起来的 token 上计算，使两个模态可深度交互，又不必共享全部参数。可把 adaLN 作为时间或全局信息的通道，再选择 cross 或 joint 承载序列条件。不要仅凭模型名互换接口：先检查模态统计、文本长度和局部控制的目标。

从图像 patch 到连续预测，不是词表分类

训练链是图像→通常冻结的 VAE 编码→按路径加噪→patchify 与位置编码→带时间和条件的 DiT→线性头并恢复网格。头输出每个 patch 的连续张量；原版 DiT 在图像 latent DDPM 中可同时学习噪声和方差参数。采样积分结束才经 AE 解码成像素，通常不在每个训练步把预测值解码。原论文在 class-conditional ImageNet 的受控配方内看到前向 Gflops 更大常伴随更低 FID，不能外推成参数量的普适定律。

用同一张账本比较手册的代表路线：PixArt-α/Σ 是 cross-attention 与高分辨率训练配方；SD3 用 MMDiT 和 rectified flow；Hunyuan-DiT 使用双文本编码和跳连；Lumina-T2X 用流模型支持不同模态和分辨率；SANA/1.5 组合深压缩 AE 与高效 DiT。记录 N、d、层数、真实训练总算力、吞吐和验证指标，比只记参数量更能解释扩展。

视频把空间账本再乘一个时间轴

视频先经 3D AE 按时间和空间压缩，再切 3D patch。Full 3D attention 允许任意时空位置一步通信；space/time factor 先各帧交换空间信息，再在对应位置交换时间信息，要经两个子操作才可连到远处另一帧的位置；window 或 tile 限制局部连接，靠叠层、移窗、跨窗 token 或分层结构传递远程信息。

先为时空网格记账，再根据身份、运动和跨镜头一致性选择信息路径。长帧数只能说明输入或输出更长，不能证明长程物理因果或动作闭环稳定。CogVideoX、HunyuanVideo、Wan 和 Sora 可作为视频论文入口，评估时要另外验证长程身份、交互和物理稳定性。

把跨时空连接缩成两帧两个位置。在先空间、后时间的分解中，第 1 帧的左侧 token 可先把信息传给第 1 帧的右侧，再由右侧沿时间传到第 2 帧的右侧。若只做空间注意力，第二段路缺失；若固定局部窗始终把两点隔开，多叠同样的窗也不会让它们相遇。对运动目标，跨窗结构与沿同一网格位置做时间注意力各自如何传递身份信息，要用移动轨迹和遮挡重现的测试观察。

把专家层拆成参数、路由和执行三张账

MoE 每个词元只派给少量专家，模型可有许多专家权重，但本次激活量更小。一次服务还要选专家、分发特征、做矩阵运算、回传并汇总；共享专家可能始终工作。K3 报告的 Stable LatentMoE 在较低维空间进行专家计算，并配合稳定化和负载均衡；下降的是特征载荷和部分算术，升降维、共享路径及实际等待仍需测。

计算与搬运是否重叠，需要看依赖

若同一算子的计算和数据搬运理想重叠，取两者耗时下界的较大值；如果必须先分发再执行，串行部分要加起来。分发带宽不仅取决于字节，也受消息粒度、网络拓扑和并发影响。相同平均 FLOPs 的单设备模拟，不能验证真正的跨卡全到全，也不能把大批训练结论直接搬到小批解码。

平均负载相同，长尾可能完全不同

在同速设备上，100、60、30、10 和均匀 50、50、50、50 都有 200 次任务，但同步时前者要等最忙设备。异构设备还要按每任务服务时间加权。改路由可能影响模型选专家的质量；复制专家耗显存；填充可改善内核形状，却增加无效算术。均衡指标下降不能自动当作成本改善。

把第 4 台设备设为前 3 台的一半速度。均分 50/50/50/50 会让第 4 台花 100τ。若允许自由分配，可以按容量近似分为 57/57/57/29，最慢结束时间为 58τ。连续模型给出的下界是 200÷(3+0.5)≈57.14τ。同步前要等的是时间最长的设备，所以按速度分配可能比按词元数均分更接近下界。

真实 MoE 中，某个词元通常只能被送到质量允许的专家，专家也不一定能自由迁移。要分开评估两条路径：保持路由不变，复制或搬迁热点专家，测显存与通信代价。改变路由时，在相同服务条件下重新核验任务质量。两种方案都要按请求长度和批量分组，确认尾部等待究竟由负载、通信还是设备速度引起。

在同一质量门槛下追踪瓶颈迁移

保持任务质量门槛，分别记录每设备分配分布、通信字节、专家矩阵时长、共享路径、投影、回传和等待。再按请求长度与并发看吞吐和高分位时延。降维过强可能损失表示能力或需要更多训练补偿；如果吞吐提高但 p99 恶化，要明确目标取舍。

建议用同样的路由日志先重放系统层，再做完整模型对照：前者固定每个词元派往哪里，可以比较载荷、布局和执行；后者允许模型重新学习路由，并在一致质量门槛下比较。若降维后投影从小项变成耗时最大的阶段，应先优化或融合投影，而不是继续只压缩专家输入。

每种状态分别回答什么

模型侧包括上下文、缓存和推理记录，用于恢复计算。证据侧保存出处、输入约束、核验结果及已排除的解释，用于说明决定依据。环境侧记录文件版本、外部调用状态和已发生的变化，用于避免重复操作。仅保留一份会留下其他两类问题。

例如本轮新增了必须保留历史文件的约束，模型需要看到约束内容和生效版本，应用需要检查实际文件及备份。即使上下文能准确复述早前的操作计划，也还须核对哪一步已经真实发生。

思维链、键值缓存和压缩各有用途

思维链是中间推理过程的表达，接口给出的摘要只代表可见部分。键值缓存复用注意力计算中已经得到的键和值，主要影响重复计算。上下文压缩减少需处理的历史并引入信息取舍。看到其中一种能力，不能据此判断另外两种采用了什么内部实现。

Claude 的思考块前缀匹配是接口规则。Astra 的执行中转向能力表示后续行为可以调整。环境中已完成的修改仍需由应用核对或补救。两种接口都应和实际任务的状态管理分开评估。

把失败注入纳入评测

测试顺利完成还不足以评估长任务。可在预定位置模拟工具超时、迟到结果、连接中断和新指令，让系统检查外部状态并决定恢复方式。记录调用 ID、操作状态、版本及是否发生重复副作用。幂等性指同一操作重试不会多做一遍，关键约束应由执行系统、权限和日志共同保障。

恢复记录最好能指到已核对的结果和完成时间，同时区分等待中的动作与已经撤销的动作。测试报告可列出原始约束保留率、重复动作数、过期结果使用次数和需要人工恢复的次数，读者便能看出系统在哪一步失去连续性。

从可运行的最小训练循环开始

读取图像与条件，使用 AE 编码并乘 checkpoint 对应的 scale；按配方冻结 AE 和文本编码器，冻结时不保存反传图。抽 t 与独立 ε，按选定路径得到 zₜ；按约定概率丢弃条件，训练共享的条件/无条件分支。将 zₜ、时间嵌入和文本表征送进 DiT，与 ε、x₀、v 或流速度目标计算损失。先把 token/通道误差平均成每样本值，再乘该样本时间权重，避免广播错位。优化器步完成后再更新 EMA。

切换 DDPM 到 FM 时首先核对路径、时间方向和监督量，还必须同步适配采样器及预测类型；其余 AE、条件、网络与日志框架可复用。写三个小测试：坐标转换的代数闭合、噪声/数据端点、已知 target 回放。保存训练和推理一致的 AE 哈希、scale 与归一化；解码时还原训练缩放。

时间权重和数据版本一起管

均匀抽 t 不代表均匀抽 log-SNR，也不代表每段梯度大小相同。高噪声区通常关乎语义和布局，中噪声学习结构与材质，低噪声偏边缘、纹理以及 AE 误差。记录每个 log-SNR 桶的样本数、loss、grad norm、条件与无条件差距。Min-SNR 试图缓和时间间梯度冲突，其权重必须按 ε、x₀ 或 v 的误差关系推导，确认覆盖求解器使用的时间区间。

Caption 决定监督带宽：短 alt-text 往往只给类别，富描述能提供属性、数量、关系和构图，也可能引入重标注模型的偏见。按宽高比、时长、分辨率等分桶，记录 padding、位置外推、batch 方差和域权重。要保存过滤规则/分数/原因，去重 cluster ID 与代表样本，原 caption 与重写器版本，AE/text cache 的哈希和 scale，以及 domain/bucket 采样概率。评估分开看人像、文字、计数、空间关系、长尾、多语言、画幅、视频运动。

显存按对象记账，并行按瓶颈选择

记录参数、梯度、优化器状态、激活和注意力临时量。手册的 15%/15%/30%/40% 是示意，不是通用配比。普通数据并行分 batch 却复制模型；FSDP 分片参数、梯度及状态，用聚合和归约换显存。张量并行切 attention heads 或 MLP 隐维，层内同步更频繁；序列并行切 token，适合长序列但注意力跨卡复杂；流水线按 block 切，代价是气泡和调度。

优先测混合精度与高效 kernel，再对重 block 做 activation checkpoint，用重算换显存，最后按账本选并行策略。每次都记录 peak memory、samples/s、tokens/s、每卡效率和多机扩展比。若显存下降却吞吐大跌，写明折衷，不把低显存等同于加速。

沿故障树走到上线压测

排查顺序：表示→数学→条件→骨干→求解器。NaN 先按 t、梯度范数、样本 ID 排查权重和溢出，再检查裁剪与关键算子的精度；颜色亮度漂移看训练末端 SNR 是否匹配纯噪声起点；文字对齐差检查 caption、条件 dropout 和条件层；细节糊先测 AE 与低噪声桶；能训练但采样差优先用 oracle target 核对 α/σ、时间方向与 prediction type。记录数据 ID、seed、scheduler、CFG、precision、模型及 AE 哈希，避免只留最终图片。

推理端到端包含文本编码、latent 初始化、迭代更新、AE 解码和后处理。追求吞吐可做动态 batch 与 shape/steps 分桶；追求延迟可试高阶少步、蒸馏和编译热路径；编辑反演偏确定性 ODE。报告 warm/cold latency、吞吐、峰值显存及长 prompt、不同画幅和后处理，并注明 CFG 是分别前向还是合批。锁定 seed、scheduler、AE 与精度有助于复现，同 seed 不保证跨设备完全一致。 把 ancestral 或朴素 ODE 留作研究对照；手册给出质量优先 20–40 NFE、在线交互 1–8 NFE 的预算示例，选型仍以实际延迟和质量阈值为准。

做一次可手算的 oracle（已知正确目标）回放。给定线性流的已知配对 z=−1、x=1，xₜ=−1+2t，目标速度是 2。从 t=0.25 的 xₜ=−0.5 出发，向数据端走 Δt=0.25，输出应为 0。若代码得到 −1，先查步长符号；若直接回放正确速度也出错，优先定位时间、单位和更新式。这个测试只校准接口，随后仍需用学习到的场检查误差在何处开始积累。

残差的恒等通路只是局部保障

常规层有 hₗ₊₁=hₗ+Fₗ(hₗ)，局部雅可比是 I+J_F。恒等支路让信号有直接路径，但多层连乘可能放大或衰减特定方向；深层也未必能找回浅层特征。序列注意力选择时间位置，MoE 按输入选参数，残差讨论深度信息流，不应混为同一类注意力。

AttnRes 解决读取选择，mHC 约束混合映射

AttnRes 学习从历史层或块的表示汇总，权重沿深度归一化。全量保留提供更细的选择，也增加状态保留与聚合开销；分块把部分层汇总为块表示，调整粒度和成本。K3 v2 可用作深度选择的实证案例。

mHC 从多条残差流出发，把特定流间映射限制在非负、行列和为 1 的双随机集合；V4 报告采用这一路线。它约束的是一块映射，不保证全部投影和非线性路径都服从同一个界。这与 AttnRes 学读谁不是同一个问题。

谱范数不增，仍可能擦掉差分

理想双随机矩阵是置换矩阵的凸组合，因此谱范数不超过 1；这一类矩阵相乘仍为双随机。对称两流混合 H 的平均方向保持，差分方向按 0.6 的幂衰减。若任务需要区分两个流，这个衰减方向就可能是有用信息；其他路径必须保留或恢复。

若夹入未约束映射 G，不能继续套用同一上界。有限次归一化、低精度与舍入还会引入约束残差，建议测负值、行和、列和与敏感方向；轻微偏离并不必然导致任务失败。

把两流想成左、右两路证据，比较输入 (1,0) 与 (0,1)。两组平均值都是 0.5，但差分符号相反。连续混合 6 次后，差分只剩原来的 0.6⁶≈0.0467。均值任务还能读到原信号。若问题是“证据来自左路还是右路”，读出就得辨别两条越来越接近的轨迹。

这个教学矩阵在精确算术下仍可逆。把 6 次混合后的差分恢复到原尺度，需要约 21.4 倍放大，同时也会放大该方向的误差。讨论“信息保留”时先说清楚是数学上可逆、有限精度下可恢复，还是后续模型在任务中实际用到了这份区别。

用两套指标区分两种研究假设

训练是否更稳：对照失败率、激活尺度、梯度范数与收敛。历史信息是否用得更好：检查浅层特征能否恢复，再冻结、打乱、限制读取范围或干预某层表示，看同一任务如何改变。高权重可能来自冗余，或被后续支路抵消；权重可视化本身不是因果证据。

还可以保持同一模型与样本，交换两个浅层特征的角色，观察输出是否对任务需要的区别产生相应变化；这比仅看权重热图更接近检验读入的信息是否真的参与决策。

榜单名称相同，实验条件仍要对照

2026 年 9 月 9 日，AA 报告 Astra 在智能指数中的 Terminal-Bench v4.0 设置得 59%，另一套编码智能体指数中配合 Codex 的相应成绩为 56%。同一文章里的数值也可能来自不同执行框架。执行框架负责调度工具、上下文、消息、状态和循环。比较前记下模型快照、任务版本、推理预算、工具权限、执行框架、重复次数、失败处理与人工介入。

手册所述 2026 年 9 月智能指数更新至 v4.3，并调整组成测试，主要测英语文本任务。多语言与多模态能力需要另外的评测。Anthropic 在发布说明给部分科学终端测试的标准误约为 3.5–4.5 个百分点，几分的差距要结合重复性和测量噪声解读。厂商自报结果和独立测量分别注明。

从用量还原一次任务账单

长任务可能在多轮重复读取历史，生成隐藏推理与可见回答，还会调用收费工具。把未缓存输入、缓存读取、缓存写入、计费输出和工具费用分项记录。有音频、图片或长请求阶梯价时再按接口账单补齐。词元账单描述服务费用，不能当成计算复杂度或实际算力。

手册中的 2026 年 9 月规格为 Astra 和 Fable 5.1 标准文本输入每百万词元 10 美元、输出 50 美元，缓存读取分别为 1 美元和 0.25 美元。Astra 超过 272K 输入的请求适用整单阶梯费率。举例或比较时注明档位、价格日期和实际用量。

重试和人工接管也要进账

廉价尝试可能频繁失败。以独立且条件相同的重复尝试为教学假设，直至首次成功的期望尝试次数是 1/p，含成功的那次。真实任务里，失败常因同一前提而相关，重试还可能改变提示或引入人工，不能直接套公式。实践中应报告总花费、成功数、人工工时与等待时间，并写明拒绝、回退和取消的计数口径。

例如 10 个任务共花 60 元，其中 8 个达标，实际花费对应每项成功 7.5 元，达标率是 80%。计算单位成功成本时，分子含失败任务已经花掉的钱，分母只数达标交付。若没有成功样本，就报告总花费与 0 次成功，留空单位成功成本。

先确定要控制哪一块信息

文本主要给语义、风格、布局；参考图提供身份或材质；结构条件提供 depth、pose、框；mask 与布局指定局部。若目标只是局部几何，可从独立条件编码器与残差注入试起；需要提示词、对象、图像 token 深度协商时，才比较 cross 或 joint。源图可以直接加噪、走确定性 ODE 反演或作为 reference token 输入；三者的保真、可编辑性与依赖条件不同。

适配从 prompt/embedding、LoRA/adapter、只改 attention 与 modulation 到全量微调，参数和数据成本逐级加大。少样本角色训练容易记住场景或损害底座，保留 prior 或正则数据，对照同 seed 的底座。分别测概念保真、未见 prompt 泛化和无关概念退化；不要只挑最好看的一张。

四个训练方向改的是不同接口

RAE 改表示空间：预训练语义 encoder 与 decoder 组成新 latent，更高维的通道统计与解码器要付成本。REPA 改训练监督：在噪声状态的 hidden 上做投影，与干净视觉教师表征对齐；教师、辅助损失、对齐层和权重都是额外变量。更容易学到语义不代表每个细节都变好，教师的表征偏差也可能被带入。

Min-SNR 调时间权重，针对多个噪声区间的梯度冲突；不是换掉 AE 或主干。μP 规定宽度缩放下的参数化、初始化与更新尺度，使小宽度搜到的超参数有机会迁移到大宽度。更换 AE、路径、条件或训练尺度后，不能假定迁移仍成立。要用同数据与算力控制做跨规模消融，报告教师成本、通道成本、训练步和真实吞吐。

少步方法改的是哪种误差

高阶 solver 提升局部积分精度，通常不改 checkpoint；RF/FM 改路径几何，让学习出的场更容易积分，但仍需数值求解；渐进蒸馏或 consistency 把多步教师能力转给少步模型，付出额外训练成本，极少步时需要看多样性与质量。MeanFlow 等直接建模区间平均速度的方向为极低 NFE 提供另一种学习对象，需要检验适用范围与公平基线。

极少步的难点是离散误差、曲率、模型误差和 CFG 放大叠加。单一 FID 不足以度量现代应用：视觉质量、文本关系和属性、重复率/多样性、编辑区域保持、时序一致性、效率和失败率应分开报告。把多个 seed 和提示词作为独立采样单位，报告波动或置信区间，并公布预算与采样配置。

设计少步消融时，先拿同一 checkpoint 比两个求解器，给两者相同的网络前向次数并记下实际耗时，这组只回答数值方法的收益。再把经过路径重训或教师蒸馏的新 checkpoint 放进另一组，补一条同质量延迟对照，并单独记录新增训练成本。若 CFG 每步用条件与无条件两次预测，表中同时写求解步数、模型调用数和是否合批，避免把不同实现都叫作同样的八步。

不同应用有不同的合格线

文生图检查细节、计数、布局与文字；补全或编辑还要保护未改区域；姿态/布局需要量化与目标骨架、深度、框的偏差；视频分别检查运动、时序、身份和镜头变化。交互世界模型还要在动作输入下维持可预测状态、因果和闭环稳定。能生成长视频或接收动作 token，并不足以证明这些能力。

读新论文时按过程、表示、骨干、求解器定位改动，写一句可证伪的收益假设：在什么条件下，什么指标会变好；再列出可能恶化的指标和测量成本。预算允许时同时报告等预算对照和等质量效率，而不是让不同版本使用不同提示词、分辨率和引导。

长程训练为什么是状态与预算的动态系统

监督微调 SFT 学示范，DPO 从偏好对提供相对监督；常见固定数据覆盖哪些前缀，决定能直接教到哪些错误。在线 RL 的样本由策略产生，模型更新后访问的状态分布也改变。轨迹越长，完成时行为策略可能越旧；重要性比率需要目标分布的相关支持集被旧分布覆盖，整条序列的比率相乘容易偏离 1。裁剪可控方差，却改变估计，不能无限复用旧轨迹。

RLVR 描述奖励是否可核验，GRPO 是一种策略优化方法，组内标准化只是教学近似。普通策略梯度中，与当前动作无关的基线不改变期望梯度；同组均值含当前样本，不能把二者逐字等同。分别检查奖励曲线、更新稳定和新任务泛化。

预算和部署精度在后训练中也会影响行为

只奖任务完成，模型可能不断加候选、推理和工具轮次；过度罚成本又可能提前结束。预算策略应训练出不同质量—成本点，而不是只在服务侧截断。K3 v2 报告用领域与预算专门化策略作教师，在学生自己访问的状态上进行多教师同策略蒸馏（MOPD），再把部署量化条件纳入后训练。蒸馏增加的是学生访问状态上的教师反馈；服务侧不必继续调用这些教师。

先识别不确定性再分配预算：证据模糊可增加回访或裁剪，算术易错可借助确定性计算，候选互相冲突可加强验证，工具故障应测恢复。多生成并不补足缺失证据，相关错误也会让更多候选价值递减。

推测采样保分布，速度要另外测

草稿 q 提案、目标 p 验证：对 q(x)>0 的提案，按 min(1,p/q) 接受；拒绝时按正剩余质量归一化采样。接受质量 min(p,q) 与拒绝修正质量逐项补齐成 p；如果 p=q 无拒绝，无需采剩余分布。序列还要正确处理首个拒绝位置后的前缀、丢弃失效草稿与缓存，不能任意换一个候选。

它减少的可能是目标模型串行调用：接受率、接受长度分布、目标批量验证摊销和草稿占用设备共同决定时延。草稿成本太大，即使大多接受也不划算。多词元预测 MTP 是训练时增加后续位置预测信号，可以提供草稿但不等于推测解码算法。

沿一次拒绝走完整链。草稿提议 x₁、x₂、x₃，目标接受 x₁，拒绝 x₂ 后在同一位置采到 y₂。原 x₃ 是以 x₁、x₂ 为前缀提出的，实际前缀已经变成 x₁、y₂。后续步骤应以实际前缀为准，缓存只可保留与该前缀一致的部分；拒绝位置之后已经算出的草稿和状态不能作为已接受结果。

用秒表比较同样的输出数量。假设目标模型独自每生成一个词元需 4 毫秒，一轮草稿加验证共 13 毫秒。若本轮最终交付 4 个词元，对照是 16 毫秒，省了 3 毫秒。若只交付 2 个词元，对照是 8 毫秒，反而多用 5 毫秒。这个教学账暂不计回滚与排队，实际验收要对每轮交付长度和完整请求的长尾同时测量。

覆盖、选择与总成本是三本账

候选集中至少有一个正确答案，只是交付成功的前提；验证器仍可能挑错。记录覆盖率、覆盖条件下的选择率、错误放行和整项成功率。给不同故障分组投入同等成本的操作，比较质量—成本曲线；超时、拒绝、重试和失败请求同样算入成本，不只报告成功样本的均值。

制作一张可以复查的模型卡

先写模型家族、精确版本或快照、资料日期和访问日期。分别填原生输入、原生输出、窗口与输出上限、推理设置、工具环境、访问限制和计费规则。每个字段附出处并标记为官方规格、厂商自报、独立测量、教学算例或待验证推断。开发者文档会变，保留更新前的记录，后来可逐字段对照。

本系列依据 2026 年 9 月 10 日的手册截面，讨论通用理解、推理与智能体，独立音频、视频和图像生成另有范围。手册未自行运行商业模型实测，也说明 Anthropic 最新系统卡正文当时未取得。这一缺口应留在来源记录。公开材料仍不足以确定 Astra、Fable 5.1、Grok 4.6 和 Spark 1.3 的完整参数、层间布局、专家配置或训练算力。

把新资料归入能解释的环节

结构与训练这一格可放 Gemini 的稀疏专家和 Grok 的轨迹训练。预算与验证可放 Deep Think、Muse 的早期并行模式和选择器证据。输入这格记录原生模态与实际保留的时序关系。连续性这格放 Astra 的异步工具和 Claude 的前缀规则。可用能力这格记录访问、拒绝和回退，例如 Fable 与 Mythos 的部署差异。

看新模型时依次问学到了什么、保留了什么证据、尝试了什么、怎样判断正确、如何完成任务。每格另写一个待做对照，例如不同环境的迁移、候选相关性、证据位置、验证器误判、超时恢复。这样后续补一篇资料时能改进具体判断。

快速复习术语与单位

GPT 是 Generative Pre-trained Transformer（生成式预训练 Transformer），API 是 Application Programming Interface（应用程序编程接口），AA 是 Artificial Analysis（独立评测机构），PDF 是 Portable Document Format（便携式文档格式）。K 与 M 分别表示千与百万。模型名中的数字属于版本命名。

MoE 是 Mixture of Experts（混合专家），SFT 是 Supervised Fine-Tuning（监督微调），RL 是 Reinforcement Learning（强化学习）。CoT 是 Chain of Thought（思维链），KV cache 是 Key-Value Cache（键值缓存），MRCR 是 Multi-Round Coreference Resolution（多轮指代消解）。reasoning effort 是推理强度，agent harness 是智能体执行框架，context compaction 是上下文压缩。pass@1 与 pass@k 分别记录一次和多次候选中至少一次通过的概率。

0–45 分钟：定义任务，别先扩大模型

课内先走验收路线，90 分钟 Lab 可另做。0–10 分钟：生成两个月牙或八高斯的二维训练样本，标准化并画数据和独立先验 z 的散点；留出固定评测样本与 seed。10–25 分钟：取 t∈[0,1]，构造线性 xₜ=(1−t)z+tx 与 target u=x−z，有限差分核对速度，画 t=0、0.5、1 的截面。

25–45 分钟：搭小 Transformer 和时间 embedding，把两个坐标或小块作为有位置标识的 token，输出二维速度。只有单个 token 时 self-attention 不做跨 token 交换，可作为 sanity check，并加小 MLP 对照；这里先验证动力学，不宣称证明大 DiT 的扩展收益。

45–90 分钟：看清训练、采样与消融

45–60 分钟：训练 MSE 速度回归，按 t 分桶记录 loss、样本数和梯度，确认整条路径有覆盖。60–75 分钟：用相同 seed 从先验积分到数据端，Euler 分别跑 10、30、100 步，画轨迹、终点分布和速度箭头；用解析场做 solver 测试，以区别数值实现错误与模型近似误差。

75–90 分钟：只改一个因素，依次试弯曲路径、time sampling、类别条件及 CFG toy。固定数据、模型容量、训练更新数和评测 seed，报告 NFE、耗时、轨迹误差、簇覆盖和失败例；加引导时注明是否需两次条件分支。最后再迁移到图像 latent：增加 AE 和 patchify，重新核对形状、尺度与成本。

给实验加一个故意有偏的场。正确场是 dx/dt=x，初值 x(0)=1，连续终点为 e≈2.71828；模拟学习误差后把场换成 dx/dt=0.9x，它的连续终点只有 exp(0.9)≈2.45960。两条场各用 Euler 10 步和 100 步。近似场加步数后更接近自身的解，却依旧离正确终点很远。这个二乘二对照能分开「数值上更准地解了当前方程」和「学对了应该求解的方程」。

六题口头复盘：答案也要能演示

① 为什么后验均值是两项线性组合？把对数密度写成 −½τ‖y‖²+ηᵀy。两段高斯的精度相加得到 τ，来自 x₀ 和 xₜ 的线性系数相加得到 η，配平方后均值为 η/τ。② ε、x₀、v 为什么可逆？VP 旋转矩阵正交，逆为转置；随机取 x₀/ε/t 往返验证。③ 1024²、f=8 时 p=2→4 呢？N=4096→1024，N² 降 16 倍，实际 block 还有 Nd²。

④ CFG 为什么过冲？引导系数 w>1 时走出无条件到条件的线段。⑤ Full/factorized/window 视频注意力如何通信息？一步全连；先后跨空间与时间；局部靠跨窗机制扩大可达。⑥ 如何公平比 sampler？固定 checkpoint、AE、分辨率、条件、CFG、seed 与硬件；报告真实 NFE、时延、显存、质量和失败切片。

读原文时按问题选，不必顺着模型名背

主干优先读手册 [P1] DDPM、[P4] Score SDE、[P8] Flow Matching、[P11] DiT。要读训练方差与采样，看 Improved DDPM、DDIM、EDM、DPM-Solver 与 Progressive Distillation；比较路径与骨干时看 SiT、SD3。

要读具体架构，可从 U-ViT、PixArt-Σ、SANA 1.5、CogVideoX、HunyuanVideo / 1.5、Wan 进场；要理解训练与效率，回到 RAE/REPA、Min-SNR、μP、FlashAttention、Consistency 与 MeanFlow。把每篇摘要缩成四层中的改动位置、已证实收益、隐藏成本、仍需验证的边界。

让两种机制解释产生不同的预测

声称视觉压缩更好，就在相同原图与语言预算下比较实体、单位、出处可恢复性；声称历史选择更高效，就移动证据位置、加相似干扰，并记录召回和索引成本。声称后训练更可靠，留出奖励未覆盖模板并测错误放行；声称恢复更稳，就固定故障时刻看重复动作和恢复计算。用固定真值证据及相同后续预算对照真实读取，可以定位检索或下游瓶颈；真值输入改变分布，是诊断不是产品总分。

验证器要四格统计：正确放行、错误拒绝、正确拦截、错误放行。通过率高可能只是放过更多错误；如果验证器被当成奖励，训练还可能扩大这一缺口。

先问错误率的分母。假设 100 个结果经独立核对，20 个正确、80 个错误。验证器放行 18 个正确结果和 8 个错误结果。正确结果放行率是 18/20=90%，错误结果放行率是 8/80=10%。实际交付给用户的 26 个结果里却有 8 个错误，约 30.8%。在正确候选本来就少的分布里，低错误放行率仍可能带来较多坏交付。

如果收紧验证后只放行 14 个正确结果和 2 个错误结果，交付中的错误比例降为 2/16=12.5%，正确交付却从 18 降至 14。选择阈值前应把被拒绝后的重试、人工核验和放行错误的代价纳入同一评测。比较阈值时固定同一批候选，并另测部署中的拒绝后续动作和端到端成本。

配对、切片和留出让评测可解释

对同一基础任务比较两系统，记录双方都对、双方都错及各自独有成功。差异主要由不一致的任务贡献；同题多次采样反映随机性，不能当作新增独立任务。按基础样本拆训练/测试，保留长程、多证据和信息缺失切片。观察到长题更差还不够：在内容和问题尽量相同的成对任务中只加无关上下文，才更接近检验长度效应。

失败样本保留输入版本、预算、证据位置、工具响应和所有重试。拿失败案例改过提示或阈值后，这一批已用于开发，最终结论需新的留出集。机制小样本和真实分布评测互补，不互相替代。

恢复一个 Agent，至少要对齐三份记录

模型记录：前缀、缓存、模型版本与采样配置；证据记录：原文位置、实体、单位和核验结果；环境记录：操作标识、实际结果、恢复点。能从缓存续写不等于外部环境回滚，也不等于摘要还保留出处。若服务已完成写入但回执丢失，重放旧前缀可能产生第二次副作用。

记录唯一操作 ID 只是起点：标识和业务写入若分离，崩溃时仍可能不一致。明确可原子提交的边界，超时先查询真实状态，依赖服务端识别重复身份，在不同系统之间设计经授权的补偿或等待人工确认。单步成功概率高，也可能在无恢复的长链中累积失败；真实的重试图要单独测量。

故障注入闭环，再做六个迁移问题

只在沙盒、只读或可回滚环境测试：未执行就失败、已经执行但丢回执、恢复时缓存过期。固定任务与重试预算，检查重复、漏动作及过期证据；再逐项移除来源位置、操作记录和版本，量化额外存储和恢复计算的成本。

最后让学员口述六条迁移结论：位置旋转让查询重排依赖历史位置；删块误差取决于概率质量和内容差；Delta 写入的干扰含 kᵀq；专家降维后瓶颈可迁移到投影、共享、通信或等待；推测采样保分布所以不是提升推理能力的证据；恢复缓存不能替代真实动作与证据的一致性核对。