Chinchilla：Training Compute-Optimal Large Language Models

NeurIPS 2022 · DeepMind

计算最优时参数量和训练 token 数应同比例增长，约每个参数对应 20 个 token。