SGLang：SGLang: Efficient Execution of Structured Language Model Programs

arXiv · Stanford University, UC Berkeley

提出协同设计的前端语言与运行时，利用 RadixAttention 和压缩状态机大幅加速多调用与结构化 LLM 程序的执行。