vLLM / PagedAttention：Efficient Memory Management for LLM Serving with PagedAttention

SOSP 2023 · UC Berkeley

借鉴操作系统分页，把 KV Cache 切成固定大小的块按需分配，显存浪费从 60%~80% 降到 4% 以下。