ZeRO：ZeRO: Memory Optimizations Toward Training Trillion Parameter Models

arXiv · Microsoft

提出ZeRO技术，通过切分优化器状态、梯度与模型参数并消除残差显存冗余，在不增加过多通信下大幅突破单卡显存限制。