题目 ID: q-6999 在训练 grpo 时候应该更新rollout 的 mllm 吗？（ref model） 频次 1 NLP与大模型 收藏 标记完成 当前状态：未收藏、未完成 常见追问 暂无追问变体。 常见公司 美团