题目 ID: q-11753

RMSNorm与其他正则化区别:BN依赖批量(适配CNN),LN算均值方差(开销大);RMSNorm跳过均值,开销低、不依赖批量,适配大模型长序列,美团常用其替代LN。

频次 2
深度学习

当前状态:未收藏、未完成

常见追问

暂无追问变体。

常见公司

美团字节跳动