题目 ID: q-4916

Self-Attention和Cross-Attention中Q、K、V的来源有何不同?

频次 2
NLP与大模型

当前状态:未收藏、未完成

常见追问

  • Cross-Attention 的 Q 来自一个序列,K/V 来自另一个序列(如 Encoder-Decoder)
  • Self-Attention 的 Q/K/V 来自同一序列;Cross-Attention 的 Q 来自一个序列,K/V 来自另一个序列(如 Encoder-Decoder)

常见公司

通用题库