跳到正文
Back to Feed

总结

DeepSeek于12日晚发布新论文《Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models》,由北京大学与DeepSeek共同完成,合著者署名中出现梁文锋。论文提出“条件记忆”思路:引入可扩展查找的记忆结构,作为大模型稀疏性的新维度,在参数规模与算力条件相当时,提升知识调用、推理、代码与数学等任务表现。同日,DeepSeek在GitHub开源相关记忆模块Engram,供社区复现与进一步开发。

正文

DeepSeek发布梁文锋署名新论文,开源相关记忆模块Engram DeepSeek于12日晚发布新论文《Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models》(基于可扩展查找的条件记忆:大型语言模型稀疏性的新维度)。该论文为北京大学与DeepSeek共同完成,合著作者署名中出现梁文锋。论文提出条件记忆(conditional memory),通过引入可扩展的查找记忆结构,在等参数、等算力条件下显著提升模型在知识调用、推理、代码、数学等任务上的表现。同时,DeepSeek开源相关记忆模块Engram。 财联社 | Github 🍀 在花频道 🍵 茶馆聊天 📮 投稿
发布时间: