Embedding 模型是怎么训练的?难负例怎么挖?

一句话速记:对比学习:同一批里正样本对拉近、其他样本当负例推远,损失是 InfoNCE。分两阶段:大规模弱监督的文本对预训练,再用高质量标注数据加难负例微调。难负例用检索模型找「排名靠前但不相关」的文档,要过滤掉其实是正例的假负例。

Embedding

同章节的其他八股