Scaling Laws：Scaling Laws for Neural Language Models
arXiv · OpenAI
损失与参数量、数据量、计算量之间呈幂律关系，可以用小模型实验预测大模型表现。
arXiv:2001.08361