KL 散度

大模型手撕 · 简单 · 损失函数、信息论

给定两组 logits plogits, qlogits(形状 (N, C)),分别经过 softmax 得到分布 Pi, Qi。计算每行 KL 散度的平均值:

数据范围

在 RagCodes 上用 Python / C++ / Java 在线编写并提交,核心代码模式与 ACM 模式均可评测。