困惑度(PPL)是什么?有什么局限?

一句话速记:PPL = exp(平均 token 负对数似然),衡量模型对文本的“惊讶程度”,越低越好。

指标

同章节的其他八股