MQA：Fast Transformer Decoding: One Write-Head is All You Need

arXiv · Google

让所有注意力头共享同一组 Key 和 Value，消除解码访存瓶颈并提速十倍以上。

arXiv:1911.02150