FlashAttention：FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness

NeurIPS 2022 · Stanford

按 GPU 存储层级分块计算注意力，避免把 N×N 注意力矩阵写回显存，精确计算且更快更省。