题目 ID: q-4622

传统KV Cache预分配显存导致碎片化和浪费。

频次 2
NLP与大模型

当前状态:未收藏、未完成

常见追问

暂无追问变体。

常见公司

阿里巴巴