题目 ID: q-12197 提及使用DeepSpeed开展SFT训练,请说明DeepSpeed ZeRO Stage 1 - 3的不同之处,以及何种情况下使用FSDP更为合适。 频次 5 机器学习系统 高频 收藏 标记完成 当前状态:未收藏、未完成 常见追问 你提到用DeepSpeed做SFT训练,请讲一下DeepSpeedZeROStage1-3的区别,以及什么时候用FSDP会更好? 常见公司 阿里巴巴字节跳动