题目 ID: q-6313

如果训练了多个评测类型的reward model，比如针对3H评测的3个模型，在RLHF阶段怎么用它们？是直接加权还是分阶段用？