ZeRO

DeepSpeed ZeRO 训练大模型实战

DeepSpeed ZeRO-1/2/3 显存优化原理与实战配置，助力在有限 GPU 资源下训练十亿级参数模型。