题目 ID: q-4761

八股:KV Cache 的空间复杂度是多少?如何估算一个 7B 模型在 batch=1、seq_len=2048 下的显存占用?

频次 2
NLP与大模型

当前状态:未收藏、未完成

常见追问

暂无追问变体。

常见公司

字节跳动