大模型推理服务部署与性能优化
把一个 32B 模型部署成高并发服务:选引擎、量化、调参、压测,给出 TTFT / TPOT / 吞吐的完整优化报告。
技术栈:vLLM、SGLang、AWQ、Prometheus、Locust
目录
一、目标
二、方案与架构
三、优化步骤(每步都压测记录)
四、压测方法
五、结果示例(以你的实测为准)
六、简历怎么写
七、面试高频追问