Back to Feed
总结
新年第一天，DeepSeek发布新论文，提出名为mHC（流形约束超连接）的新架构，旨在解决传统超连接在大规模模型训练中因破坏恒等映射属性而引发的数值不稳定与信号爆炸，同时保持性能增益。论文将Transformer的单一残差流扩展为多流并行，并用Sinkhorn-Knopp算法把连接矩阵约束到双拟随机矩阵流形上以稳定训练。论文第一作者为解振达、韦毅轩、Huanqi Cao，创始人兼CEO梁文锋亦在作者名单中。
正文
DeepSeek元旦新论文要开启架构新篇章 新年第一天，DeepSeek 发布了一篇新论文，提出了一种名为mHC(流形约束超连接)的新架构。该研究旨在解决传统超连接在大规模模型训练中的不稳定性问题，同时保持其显著的性能增益 。简单来说，论文提出的mHC通过将传统 Transformer 的单一残差流扩展为多流并行架构，并利用Sinkhorn-Knopp算法将连接矩阵约束在双拟随机矩阵流形上，成功解决了超连接(HC)在大规模训练中因破坏恒等映射属性而导致的数值不稳定和信号爆炸问题。这篇论文的第一作者有三位：解振达、韦毅轩、Huanqi Cao 。DeepSeek 创始人兼CEO梁文锋也在作者名单中。 -- 华尔街见闻 、 彭博社
发布时间：