题目 ID: q-6189

ppo损失函数，解释，各部分是什么，ratio、advantage怎么理解，大模型advantage怎么计算，returns是什么