题目 ID: q-4909

PPO、DPO、GRPO、DAPO等RL算法的原理和区别。