题目 ID: q-5448

对于Qwen-72B模型,Batch Size=1,输入长度=1024,输出长度=1024,使用FP16,KV Cache需要多少显存?

频次 1
NLP与大模型

当前状态:未收藏、未完成

常见追问

暂无追问变体。

常见公司

阿里巴巴