题目 ID: q-5073

vLLM部署中如何实现2k tokens/s的吞吐?

频次 2
NLP与大模型

当前状态:未收藏、未完成

常见追问

  • vLLM 部署:如何实现 2k tokens/s 的吞吐?
  • vLLM 部署方面:如何实现 2k tokens/s 的吞吐?

常见公司

美团