BLIP-2 的 Q-Former 是什么?
一句话速记:Q-Former 用一组可学习的查询向量通过交叉注意力从冻结的图像编码器中提取固定数量的视觉特征,再喂给冻结的 LLM。
视觉语言
同章节的其他八股
LLaVA 类多模态大模型的结构和训练流程?
CLIP 是怎么训练的?
ViT 的原理?图像 token 数怎么计算?
扩散模型的基本原理?DiT 是什么?
Qwen-VL 系列有哪些关键设计?M-RoPE 是什么?
Flow Matching 和扩散模型有什么关系?
Stable Diffusion 的结构?