视频多模态模型怎么解决超长视频的 token 膨胀？帧采样、token 压缩和高分辨率切图怎么做？

一句话速记：处理长视频 Token 膨胀通常采用「帧级粗筛-空间压缩-时空汇聚」分层方案：前端通过场景切分或基于 Query 的检索筛选关键帧；中端避免粗暴的多尺度切图，改用动态分辨率结合 3D 卷积或 2×2 Patch Merge 减少 Token 数量；后端引入 3D-RoPE 与 KV Cache 压缩机制支持长序列建模。

视频理解、长上下文

同章节的其他八股

• LLaVA 类多模态大模型的结构和训练流程？
• CLIP 是怎么训练的？
• ViT 的原理？图像 token 数怎么计算？
• 扩散模型的基本原理？DiT 是什么？
• BLIP-2 的 Q-Former 是什么？
• Qwen-VL 系列有哪些关键设计？M-RoPE 是什么？
• Flow Matching 和扩散模型有什么关系？
• Stable Diffusion 的结构？
• SAM 和 SAM2 的结构有什么区别？SAM2 的记忆注意力怎么做视频分割？