题目 ID: q-4960

大模型推理加速主流方法对比(量化 / 蒸馏 / KV Cache / 连续批处理)

频次 2
NLP与大模型

当前状态:未收藏、未完成

常见追问

  • 大模型推理加速全方案(量化 / 蒸馏 / KV Cache / 连续批处理)
  • 大模型推理加速主流方法对比(KV Cache / 量化 / 蒸馏)

常见公司

阿里(阿里云 / 达摩院)字节跳动