题目 ID: q-12267

Deepspeed的zero1、zero2、zero3中混合精度的使用方式及其它显存优化方法

频次 2
机器学习系统

当前状态:未收藏、未完成

常见追问

  • ③Deepspeed( zero1、zero3),问是否了解混合精度(很具体,哪些部分用什么精度)除了这些还有什么减少显存占用的办法
  • Deepspeed( zero1、zero2、zero3),问是否了解混合精度(很具体,哪些部分用什么精度)除了这些还有什么减少显存占用的办法

常见公司

百度