Warmup + 余弦退火学习率

大模型手撕 · 简单 · 训练、学习率

实现大模型训练常用的学习率调度(step 从 0 开始):

数据范围

在 RagCodes 上用 Python / C++ / Java 在线编写并提交,核心代码模式与 ACM 模式均可评测。