大模型应用上线后怎么监控和迭代?

一句话速记:监控四类指标:性能(TTFT、TPOT、吞吐、错误率)、成本(token 用量、每次请求花费)、质量(抽样评估、用户反馈、转人工率)、安全(违规输出、注入攻击)。迭代靠「线上 bad case → 归类 → 加进评测集 → 改 prompt / 检索 / 模型 → 离线回归 → 灰度 A/B」的闭环。

评测、上线

同章节的其他八股