题目 ID: q-5754 讲-下 RLHF 的流程，写-下 PPO和 DPO的 Loss表达式(训练奖励模型后用PPO/DPO优化策略:PPO Loss: policy ratio + KL 约束/ DPO Loss: logit preference diff + sigmoid binary loss) 频次 1 NLP与大模型 收藏 标记完成 当前状态：未收藏、未完成 常见追问 暂无追问变体。 常见公司 阿里巴巴