题目 ID: q-4496

如果DPO训练的过程中发现loss不降，如何定位原因？从数据构造和训练参数两个角度分析。