Deepseek基座：Deepseek-v2核心内容解析
| DeepSeek原创文章 | |
| 1 | DeepSeek-v3：基于MLA的高效kv缓存压缩与位置编码优化技术 |
| 2 | Deepseek基座：DeepSeek LLM核心内容解析 |
| 3 | Deepseek基座：Deepseek MOE核心内容解析 |
| 4 | Deepseek基座：Deepseek-v2核心内容解析 |
| 5 | Deepseek基座：Deepseek-v3核心内容解析 |
| 6 | DeepSeek推理能力（Reasoning） |
DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model
Deepseek v2可以看作是上面那一篇paper的scale up，不过也有一些非常重要的技术。从论文名字可以看出来“A Strong, Economical, and Efficient”，他们提出了进一步降低成本的技术
DeepSeek-V2 是236B的混合专家模型（MoE），每个 token 激活21B，极大降低了推理成本 。相比第一代的 DeepSeek 67B，虽然模型规模更大（接近其4倍），但激活参数更少，推理效率更高 。
训练与推理成本优化
- 训练成本降低 42.5%：相比 DeepSeek 67B，DeepSeek-V2 在保持更强性能的同时，显著减少了训练所需的计算资源 。
- KV 缓存减少 93.3%：通过引入新的注意力机制 Multi-head Latent Attention（MLA），大幅压缩了 KV 缓存需求，从而降低了部署和推理成本 。
- 生成速度提升 5.76 倍：在相同硬件条件下，DeepSeek-V2 的输出速度远超前代模型，提升了实际应用中的响应效率 。
Multi-head Latent Attention（MLA）
- 这是 DeepSeek-V2 引入的一项关键技术，用于替代传统的多头注意力机制
- MLA 通过引入潜在空间（latent space）进行注意力计算，减少了计算复杂度和内存占用，进一步提升了推理效率
- 它不仅降低了 KV 缓存的需求，还使得模型能够支持更大的 batch size，从而提升整体吞吐量
DeepSeek-V2还支持 最长 128K tokens 的上下文长度
MLA
- MLA 引入了一个 潜在空间（latent space），将原始的高维 Key 和 Value 向量映射到一个低维空间中进行存储。
- 具体来说，模型先计算一个低秩的“压缩表示”
，然后在需要时通过矩阵变换恢复出 Key 和 Value：
- 这种方法被称为 Low-Rank Key-Value Compression，大幅减少了存储需求，从而降低了 KV Cache 的占用 。
MLA 与其他注意力机制的对比
| 方法 | 头数 | Key/Value 存储方式 | KV Cache 占用 | 性能影响 |
|---|---|---|---|---|
| MHA（多头注意力） | 多头 | 每个头独立存储 | 高 | 最佳 |
| GQA（Grouped Query Attention） | 多组共享 | 组内共享 Key/Value | 中等 | 稍有下降 |
| MQA（Multi-Query Attention） | 单头 | 所有头共享 Key/Value | 低 | 明显下降 |
| MLA（Multi-Head Latent Attention） | 多头 | 压缩后的潜在向量 | 极低 | 接近 MHA |
- MLA 在保持多头注意力灵活性的同时，通过低秩压缩实现了接近 MQA 的显存效率，且性能损失极小 。
KV Cache
- 在传统的 Transformer 模型中，多头注意力机制（MHA） 需要存储大量 Key 和 Value 向量（即 KV Cache），以加速生成过程中的自回归推理。
- 这些向量的存储会占用大量 GPU 显存，尤其是在处理长上下文时，成为部署成本的主要瓶颈。
- DeepSeek-V2 提出 Multi-Head Latent Attention（MLA），旨在通过压缩 KV Cache 来显著降低推理时的显存占用和计算开销。
KV Cache 压缩效果 - 实验表明，MLA 可将 KV Cache 减少 93%，使得模型在长文本生成任务中更加高效。 - 例如，在生成 128K token 的任务中，MLA 显著降低了内存占用，提升了吞吐量和响应速度 。
说一下为什么kv cache不cache q，q不是也包含历史信息了吗，怎么不把q缓存一下？
因为transformer是自回归模型，每一次的结果都被当成新的q，所以缓存起来没意义，它只用一次，是动态变化的。而k和v则是需要经常复用，所以每次模型输出结果后，只需要把最新的token向量拿出来，进行权重矩阵计算后，直接和缓存后的k和v拼接在一起， 而不像以前需要每个token进行权重矩阵的重复计算。所以kv cache节约的是，k和v与对应权重矩阵的计算。
与 GQA 的对比
- 传统的 GQA通过共享部分head来减少 KV Cache 的大小。例如，16 个头分成 4 组，每组共享 K/V。
- MLA 相当于使用了 约 2.25 个 group 的 GQA，但性能远优于同等 group 数量的 GQA，即在更小的显存消耗下保持了更高的模型效果 。
小结
| 方面 | DeepSeek 的做法 |
|---|---|
| 注意力机制 | 提出 MLA，显著压缩 KV Cache，提升推理效率 |
| MoE 架构 | 使用大量专家（如 160 个），提升稀疏性和模型表达能力 |
| 平衡策略 | 注重专家和设备间的负载均衡，提高训练效率和资源利用率 |
| 原创文章 | |
| 1 | FFN前馈网络与激活函数技术解析：Transformer模型中的关键模块 |
| 2 | Transformer掩码技术全解析：分类、原理与应用场景 |
| 3 | 【大模型技术】Attention注意力机制详解一 |
| 4 | Transformer核心技术解析LCPO方法：精准控制推理长度的新突破 |
| 5 | Transformer模型中位置编码（Positional Embedding）技术全解析(二) |
| 6 | Transformer模型中位置编码（Positional Embedding）技术全解析(一) |
| 7 | 自然语言处理核心技术词嵌入（Word Embedding），从基础原理到大模型应用 |
| 8 | DeepSeek-v3：基于MLA的高效kv缓存压缩与位置编码优化技术 |
| 9 | 【Tokenization第二章】分词算法深度解析：BPE、WordPiece与Unigram的原理、实现与优化 |
| 10 | Tokenization自然语言处理中分词技术：从传统规则到现代子词粒度方法 |
| 11 | [预训练]Encoder-only架构的预训练任务核心机制 |
| 12 | 【第一章】大模型预训练全解析：定义、数据处理、流程及多阶段训练逻辑 |
| 13 | (第一章)深度学习标准化技术综述: 从BatchNorm到DeepNorm的演进与实战 |
| 14 | Transformer架构解析：Encoder与Decoder核心差异、生成式解码技术详解 |