题目 ID: q-5078

Attention计算中有哪些显存优化策略?

频次 2
NLP与大模型

当前状态:未收藏、未完成

常见追问

  • 八股:Attention 计算中有哪些显存优化策略?(如 KV Cache 复用、batch 拼接)
  • Attention 计算中有哪些显存优化策略?(如 KV Cache 复用、batch 拼接)

常见公司

美团通用题库