DeepSeek发新成果 稀疏注意力机制NSA显著提升长上下文处理速度

2月18日，DeepSeek团队发布了一篇新论文，介绍了一种改进的稀疏注意力机制NSA，适用于超快速的长上下文训练与推理。NSA以性价比极高的方式在训练阶段应用稀疏性，在训推场景中均实现速度的明显提升，特别是在解码阶段实现了高达11.6倍的提升。

DeepSeek创始人兼CEO梁文锋出现在了合著名单之中，位列倒数第二，表明他作为项目管理者参与了一线研究工作。这篇论文的第一作者Jingyang Yuan是在实习期间完成的研究。

NSA具有三大核心组件：动态分层稀疏策略、粗粒度token压缩和精粒度token选择。这些组件协同工作，既提升了效率，也保留了模型对全局长上下文的感知能力和局部精确性。NSA专门针对现代硬件进行优化设计，支持模型训练，加速推理并降低预训练成本，对性能无明显影响。采用NSA机制的模型在通用基准、长上下文任务和基于指令的推理上，与全注意力模型相当或表现更优。

在8卡A100计算集群上，NSA的前向传播和反向传播速度分别比全注意力快9倍和6倍，由于减少了内存访问量，NSA在长序列解码时相较于全注意力模型速度显著提升。