一句话速记:SLI 是系统服务质量的量化度量指标,SLO 是工程团队设定的内部稳定性目标(用于指导发布节奏与稳定性治理),SLA 则是对外承诺的服务等级协议(伴随违约赔偿责任)。大模型服务核心监控首字延迟(TTFT)、每 Token 生成耗时(TPOT/ITL)、KV Cache 显存占用率与请求排队深度;告警多采用多时间窗口消耗率(Burn Rate)与分位数监控,注意甄别流式 SSE 状态码与实际输出脱节的伪成功现象以及长输入引起的长尾波动。
可观测性