NSA：Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention

arXiv · DeepSeek-AI

通过三分支分层稀疏设计与硬件对齐的算子实现，使稀疏注意力支持原生端到端预训练，并在 64k 长度下取得大幅加速与性能超越。