在MHA、GQA中大量存在于keysvalues中的KV缓存（带阴影表示），MLA

多头潜在注意力（MLA）机制能够将显存占用降至传统 Transformer 模型的 5%-13%，降低了对硬件资源的需求。MHA（多头注意力）通过将输入向量分割成多个并行的注意力“头”，每个头独立地计算注意力权重并产生输出，然后将这些输出通过拼接和线性变换进行合并以生成最终的注意力表示。MLA（多头潜在注意力）的是 MLA 将多头注意力机制与潜在表示学习相结合，解决 MHA 在高计算成本和 KV缓存方面的局限性。多头潜在注意力（MLA）通过低秩联合压缩键值缓存（KVCache）技术，能够将显存占用降至传统 Transformer 模型的 5%-13%。这种显著的显存优化使得模型在处理大规模数据时更加高效，同时也降低了硬件资源的需求。此外，MLA机制还结合了旋转位置编码（RoPE）技术，这一技术使得模型能够支持 32K 以上长文本的处理，极大地拓展了模型的应用范围。在实际应用中，这种结合方式还能够进一步减少内存占用，最高可减少 50%。这使得模型在处理长文本任务时，不仅能够保持高效，还能有效降低硬件资源的负担。