题目 ID: q-4362

你说你服务部署在 vLLM 上,为何选择它?KV-cache 如何帮助推理加速?你自己做过哪些优化?

频次 4
NLP与大模型

当前状态:未收藏、未完成

常见追问

  • 你说你服务部署在 vLLM 上,为何选择它?KV-cache 如何帮助推理加速?你自己做过哪些优化?

常见公司

蚂蚁集团通用题库百度