Mistral 7B:Mistral 7B
arXiv · Mistral AI
通过分组查询与滑动窗口注意力,在7B参数下全面超越Llama 2 13B,显著优化长序列推理成本。
arXiv:2310.06825