题目 ID: q-5448 对于Qwen-72B模型,Batch Size=1,输入长度=1024,输出长度=1024,使用FP16,KV Cache需要多少显存? 频次 1 NLP与大模型 收藏 标记完成 当前状态:未收藏、未完成 常见追问 暂无追问变体。 常见公司 阿里巴巴