Mistral 7B:Mistral 7B

arXiv · Mistral AI

通过分组查询与滑动窗口注意力,在7B参数下全面超越Llama 2 13B,显著优化长序列推理成本。

arXiv:2310.06825