你要为一个长视频问答系统设计“查询引导视觉采样”模块:单个视频最长 6 小时,离线已抽取每秒 1 帧的视觉 embedding、OCR、ASR 片段和镜头边界;在线输入一个自然语言 query 后,最多只能送入 VLM 4096 个视觉 token,端到端 P95 延迟要求 800ms。每帧 i 有 query 相关分数 r_i、token 成本 c_i、时间戳 t_i、镜头 id,以及与其他帧的相似度可近似计算。 请你建模“选择哪些帧/片段送入 VLM”的优化目标,要求兼顾 query 相关性、时间覆盖、去冗余和预算约束;给出一个可落地方法,说明复杂度、近似性或最优性、边界条件,以及线上如何保证稳定性和离线/在线一致性。
我会先把任务建模成预算约束下的单调子模最大化,而不是简单取 top-K 相关帧。top-K 容易集中在同一个镜头,导致长视频问答漏掉关键前后文。候选集合先通过 ANN 从视觉、OCR、ASR 三路召回,得到规模为 M 的候选帧/片段,例如 M=500~2000,再在候选集上做预算选择。目标函数可以定义为:F(S)=α·Σ_g max_{i∈S∩g} r_i + β·Σ_{u∈C} w_u max_{i∈S} sim(u,i) + γ·Σ_b min(1, |S∩b|),其中第一项是按时间桶或事件簇做 capped relevance,避免重复高分帧堆叠;第二项是 facility-location coverage,让被选帧代表候选集中的视觉变化;第三项鼓励覆盖不同时间段或镜头。约束是 Σ_{i∈S} c_i≤B、|S|≤K,并可加每个镜头最多 m 帧的 partition matroid 约束。这个 F 基本是单调子模函数,适合用贪心近似。 在线方法:第一阶段多路召回,文本 query 分别检索 ASR/OCR/视觉 embedding,合并去重,并按时间扩展邻域,例如命中帧前后各取 1~2 个关键帧,防止只取到结果帧而缺少过程。第二阶段在候选集上做 lazy greedy,每次选择单位成本边际收益 ΔF(i|S)/c_i 最大的帧,直到 token 预算耗尽;若候选成本差异很大,保留 best singleton 与 greedy 结果取优。对单 knapsack 约束有常数近似,纯 cardinality 下经典贪心有 1-1/e 近似;加镜头上限时工程上用贪心加可行性检查,理论上可提到 matroid+knapsack 的连续贪心更强但线上成本高。复杂度方面,召回 ANN 约 O(log N) 或亚线性;候选集 M 上若预先只计算候选间近似相似度,lazy greedy 约 O(L log M · cost_delta),L 是选中帧数,通常几十以内。coverage 的 max sim 可以增量维护,每选一帧更新每个候选 u 当前最大覆盖值,朴素 O(ML),M=1000、L=64 可接受。 工程上会做几件事:一是 token 成本 c_i 要用真实 VLM patch/token 估计,不用固定帧数;二是按 query 类型动态调参,例如“什么时候发生”更重时间覆盖,“画面里有什么文字”提高 OCR 召回权重;三是给高置信短视频走简单 top relevance,以降低延迟;四是对低相关 query 或无命中情况回退到均匀分层采样;五是线上记录 selected frame、score、budget、VLM answer attribution,用于离线 replay 保持一致。边界条件包括:大量相似镜头时需要去冗余;稀有事件只有一两帧时不能被 coverage 淹没,应设置 relevance 下限或强制保留 top 相关帧;ASR/OCR 与画面错位时需要时间窗口对齐;多段答案任务要避免只选一个峰值区域。最终输出给 VLM 时应携带时间戳、来源模态和局部上下文,便于答案溯源。
强答应该先指出该任务不是排序任务,而是“相关性—覆盖—预算”的组合优化任务;能把去冗余和时间覆盖表达成子模或近似子模目标;能说明为什么 top-K、均匀采样、单路检索都有缺陷;能给出可在线运行的两阶段方案:离线建索引、在线多路召回、候选重排、预算化选择、失败回退。复杂度上要区分全视频 N 与候选集 M,不能在 6 小时视频全量两两算相似度。常见错误是只说用 embedding 检索 top-K,不考虑 token 成本、镜头重复、长程覆盖和 query 类型;或者给出复杂 ILP 但没有在线延迟可行性。出练习者会追问近似保证、非单调 diversity penalty 怎么处理、ASR/OCR/视觉分数如何校准、线上 P95 抖动如何控制。
- 如果 r_i 来自不同模态且分布漂移,如何做在线校准?
- 如果 query 需要连续动作理解而不是离散关键帧,采样目标如何改?
- 如何设计离线评测集来证明该采样器优于 top-K 和均匀采样?