← 返回题库 查看进度看板

题目 ID: q-12199

ZeRO 的三个阶段分别是什么及其优化目标

频次 5
机器学习系统 高频

当前状态：未收藏、未完成

常见追问

  • 了解 DeepSpeed 吗， ZeRO -1, ZeRO -2和 ZeRO -3分别做了哪些优化
  • 了解 DeepSpeed 吗，ZeRO -1, ZeRO -2和 ZeRO3分别做了哪些优化(1优化优化器状态，2优化梯度，3切分参数，全面节省显存)
  • 3.了解 DeepSpeed 吗， ZeRO -1, ZeRO -2和 ZeRO -3分别做了哪些优化

常见公司

阿里巴巴字节跳动