一句话速记：大模型系统评测通常采用分层验证：结构层使用 Schema 或正则表达式进行规则断言，语义层借助 Embedding 相似度与 LLM-as-a-Judge 在基准数据集上评测。性能压测需将 Prefill 阶段（计算密集，关注 TTFT）与 Decode 阶段（显存带宽密集，关注 TPOT）解耦分析，核心关注并发场景下的 KV Cache 显存容量瓶颈与系统有效吞吐。
测试、压测