微软更新DeepSpeed 开源库 让模型训练变得更普及

作者:张伟 来源:原创 2020-09-16

  今年2月时,微软发布了名为DeepSpeed 开源库,而近日微软对这一开源库进行了更新,附加的4项DeepSpeed技术能够同时提高存储器、吞吐量和网络的运作效率。无论是在超级计算机上还是在单个GPU上,都能够缩短训练时间。

  此次更新的3D平行化技术,是ZeRO支持的数据并行性(ZeRO-DP),管道并行性和张量切片模型并行性这三种并行性方法的组合,其能使DeepSpeed可以使用多达800个NVIDIA V100 GPU训练具有一万亿个参数的语言模型。

  DeepSpeed的第二个附加组件ZeRO-Offload,主要侧重于GPU资源有限的深度训练人员。其背后关键技术ZeRO-2能够同时利用CPU和GPU来训练大型模型。以单个V100 GPU的计算机为例,DeepSpeed用户能够执行高达130亿个参数的模型,这个可执行的模型参数量,是当前其他方法的10倍。

  微软提到,这些功能性扩展,将使得数十亿参数模型的训练更加普及,让许多深度学习研究人员,能够以更低的成本,训练更大的模型。

发布
X
第三方账号登录
  • 微博认证登录
  • QQ账号登录
  • 微信账号登录