FlashAttention-2：FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning

arXiv · Princeton University, Stanford Universit

通过减少非GEMM算力开销、重构序列维并行与Warp划分，将Attention在A100上的算力利用率推至73%。