题目 ID: q-4386

问RLHF的流程，问到RM的训练的时候突然问RLHF的loss是什么，顺势就以为问的是RM的loss，答交叉熵，说不对？？？不是吗？后面想了一下他可能是想问PPO的loss