题目 ID: q-11769

Pytorch中DP、DDP、TP、PP的区别?ZeRO 1/2/3的具体切分逻辑?

频次 2
深度学习

当前状态:未收藏、未完成

常见追问

  • Pytorch中DP、DDP、TP、PP的区别?ZeRO 1/2/3的具体切分逻辑?
  • 5.Pytorch中DP、DDP、TP、PP的区别?ZeRO 1/2/3的具体切分逻辑?

常见公司

字节跳动