GQA：GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints

arXiv · Google Research

提出分组查询注意力与通过均值池化和5%算力Uptrain的方案，以接近MQA的推理速度取得接近MHA的生成质量。