交叉熵、MSE、InfoNCE 三种损失的原理和适用场景？InfoNCE 的温度系数起什么作用？

一句话速记：MSE 假设误差服从高斯分布，对异常值敏感，适用于连续回归与扩散模型去噪；交叉熵假设多项分布，在常见激活下梯度不易饱和，广泛应用于离散分类与大语言模型生成；InfoNCE 本质是以样本对相似度构建多分类交叉熵，可视为互信息下界，温度系数 τ 用于调节对困难负样本的敏感度，τ 越小模型越关注困难负例，但过小容易受假负例干扰而影响训练稳定性。

损失函数、对比学习

同章节的其他八股

• ReLU、GELU、SwiGLU 有什么区别？大模型为什么偏爱门控激活？
• BatchNorm 和 LayerNorm 的区别？为什么 NLP 用 LayerNorm？
• Adam 和 AdamW 的区别？
• Warmup 的作用是什么？
• 梯度消失和梯度爆炸怎么解决？
• L1 和 L2 正则化有什么区别？
• 交叉熵损失怎么推导？二分类为什么不用 MSE？
• 训练中 loss 出现 NaN 怎么排查？
• 梯度累积的原理是什么？
• 余弦相似度、点积、欧氏距离有什么关系？
• KMeans 的流程、缺点和改进？
• Xavier 初始化和 Kaiming 初始化有什么区别？大模型怎么初始化？