题目 ID: q-4944

深入聊了MoE架构:DeepSeek V2/V3/R1中的Auxiliary Loss计算方式?如何解决专家负载均衡(Load Balancing)?

频次 2
NLP与大模型

当前状态:未收藏、未完成

常见追问

  • 深入聊了MoE架构:DeepSeek V2/V3/R1中的Auxiliary Loss计算方式?如何解决专家负载均衡(Load Balancing)?
  • 1.深入聊了MoE架构:DeepSeek V2/V3/R1中的Auxiliary Loss计算方式?如何解决专家负载均衡(Load Balancing)?

常见公司

字节跳动