题目 ID: q-6644

介绍下 dpo ppo 区别什么的 没什么逻辑的说了一下ppo 老说不好 我说我能说一下loss 不过漏说了一个部分 然后又从loss角度说了一下dpo