一句话速记:对比学习:同一批里正样本对拉近、其他样本当负例推远,损失是 InfoNCE。分两阶段:大规模弱监督的文本对预训练,再用高质量标注数据加难负例微调。难负例用检索模型找「排名靠前但不相关」的文档,要过滤掉其实是正例的假负例。
Embedding