每日练习与编程练习

我会把任务拆成“候选召回 + 预算化工具选择 + DAG 调度 + 结果验证”四层。首先离线把视频切成固定窗口，例如 5s 或按 VAD/镜头切分，预计算轻量音频、视觉、文本 embedding、时间戳、说话人粗标签和质量分数，建立向量索引和倒排索引。在线 query 到来后，先用轻量检索取 top-K 片段，并做相邻片段扩展，避免证据跨窗口被截断。K 不能太大，通常按延迟预算自适应，例如 50 QPS、3s P95 下，假设昂贵工具可用预算是 B GPU-ms，则 K 由历史 cost profile 和当前队列长度动态确定。

工具选择可以建模为带依赖约束的预算最大化任务。对片段 i、工具 t 定义收益 u(i,t)，表示调用该工具后提升正确回答或证据召回的期望增益；定义成本 c(i,t) 和依赖边 dep(t)。目标是在预算 B 和 deadline D 下最大化期望收益：max sum u(S)，s.t. sum c(S)≤B 且满足依赖 DAG。真实收益不是独立的，所以更合理地用近似子模函数：新增工具对已覆盖证据的边际收益递减。线上可以用贪心近似：每次选择满足依赖且边际收益/成本最高的工具调用，直到预算耗尽或置信度达到阈值。若工具之间强相关，可以先按片段打包成 action，例如“ASR+speaker”或“OCR+zoom”，把任务转为多选择背包，使用小 K 下的 DP 或 beam search。复杂度大致是 O(KT log(KT)) 的贪心，若做 DP 则 O(KB|A|)，工程上预算离散化到 10ms 或 20ms 桶。

DAG 调度层要同时考虑依赖和异构资源。每个工具调用是一个节点，边表示依赖，节点有预计运行时间和资源类型。调度策略可以是 deadline-aware list scheduling：维护 ready queue，优先执行关键路径长、边际收益高、deadline 近的节点；GPU 工具做 micro-batching，但给在线请求设置最大 batch wait，例如 20ms，避免吞吐换延迟过度。对于低置信度但成本高的分支，使用 early exit：如果 ASR 已经给出强证据并且验证器置信度足够，就不再调用视觉放大；反之若语音质量差，则转向 OCR/视觉路径。

缓存分三层：片段级工具结果缓存、query-aware 证据缓存、模型中间特征缓存。片段级缓存最稳定，例如某段视频的 ASR/OCR/说话人结果可复用；query-aware 缓存命中率高但要带版本号、工具版本、切窗策略和权限信息，避免离线更新后线上读到不一致结果。缓存淘汰不能只用 LRU，应结合访问频率、计算成本和片段热度，近似用 value = hit_prob * recompute_cost / size。对长视频首次访问可后台补全高价值片段的工具结果，平滑尾延迟。

为了保证召回率，离线训练一个 tool policy 或 calibrator，输入 query、片段粗检索分数、模态质量、历史工具输出，预测每个工具的边际收益和不确定性。训练标签来自离线 oracle：在完整调用所有工具的情况下，哪些片段和工具对最终答案有贡献。线上用校准后的概率做决策，并保留探索流量，防止数据漂移导致某些工具长期不被调用。离线评估不仅看 QA EM/F1，还要看 evidence recall、tool cost、P95/P99 latency、cache hit rate、不同语言/说话人/噪声条件下的分桶指标。

边界条件包括：证据跨多个远距离片段，需要允许多跳检索和二次扩展；ASR 错误会污染后续推理，所以验证器不能只信文本，应保留音频/视觉证据；多说话人重叠时 diarization 不确定性要向后传播；直播流场景不能等全量索引完成，需要滑动窗口增量索引；当队列拥塞时，应降低 K、跳过低收益工具或返回带置信度的部分答案，而不是超时。核心取舍是召回、成本和延迟三者平衡：召回靠高 K 和多工具，延迟靠 early exit、缓存和动态预算，稳定性靠校准、监控和降级策略。