Engram模块

DeepSeek团队在梁文锋等署名论文中提出为Transformer加入“条件记忆”范式，并给出Engram模块实现：通过N-gram哈希查表以O(1)速度检索静态实体与短语，并用上下文门控缓解冲突与歧义。实验在固定计算量下，将稀疏参数在MoE专家与记忆间重新分配，显示约20%—25%预算分给记忆时效果最优；在27B规模上，知识与推理/代码数学等任务较同规模纯MoE均有提升，且表征显示“有效深度”增加。工程实现支持推理时将百亿级记忆表卸载到CPU并异步预取，吞吐额外开销约3%，论文将其视为下一代稀疏模型关键原语。