分组查询注意力 GQA / MQA

大模型手撕 · 中等 · Attention、推理优化、KV Cache

实现带因果 mask 的 Grouped-Query Attention:

数据范围

在 RagCodes 上用 Python / C++ / Java 在线编写并提交,核心代码模式与 ACM 模式均可评测。