题目 ID: q-12400

场景题：训练一个模型，一张卡放不下去怎么办，可以使用多张卡。如果使用zero3，既然一张卡存放不下模型训练时候参数，那么模型参数更新的时候是怎么做的，使用什么方式能够让单卡更新模型参数？