题目 ID: q-12197

提及使用DeepSpeed开展SFT训练,请说明DeepSpeed ZeRO Stage 1 - 3的不同之处,以及何种情况下使用FSDP更为合适。

频次 5
机器学习系统 高频

当前状态:未收藏、未完成

常见追问

  • 你提到用DeepSpeed做SFT训练,请讲一下DeepSpeedZeROStage1-3的区别,以及什么时候用FSDP会更好?

常见公司

阿里巴巴字节跳动