题目 ID: q-4341

12.说一下 vllm 部署8*7B的 MOE 模型每秒大概能推多少 token

频次 4
NLP与大模型

当前状态:未收藏、未完成

常见追问

  • 说-下 vm 部署8*7B的 MOE 模型每秒大概能推多少token
  • 12.说-下 vm 部署8*7B的 MOE 模型每秒大概能推多少token

常见公司

阿里巴巴