推荐:Kimi与DeepSeek开始换打法了吗 稀疏注意力机制引入

今日凌晨，月之暗面在Hugging Face公开了Kimi K3.1 Pro的模型权重及完整架构信息，该模型在Agent Arena榜单上位列开放模型第一名。这款总参数量达到2.8万亿的模型，在延续前代核心架构的基础上，进一步优化了长上下文处理效率。

Kimi K3.1 Pro引入了DeepSeek提出的稀疏注意力机制DSA（DeepSeek Sparse Attention），将原有24层全注意力结构替换为Gated DSA。具体来看，Kimi K3.1 Pro采用69层Kimi Delta Attention（KDA）与24层Gated DSA组成的混合注意力结构，共93层，注意力隐藏维度为7168，配置96个注意力头。KDA通过压缩历史信息的状态表示，减少处理长序列时的存储开销；Gated DSA则通过稀疏检索，在部分注意力层中保留对重要历史Token进行精确计算的能力。两者结合，让模型既能高效处理长序列，又能在需要时从大量历史信息中找出关键内容。

根据vLLM团队的技术分析，在长上下文解码场景下，Kimi K3.1 Pro采用DSA后，相关注意力层的内存读取量可降至原有稠密MLA方案的约23%。除了引入DeepSeek DSA，Kimi K3.1 Pro还延续了月之暗面在超大规模模型计算效率上的优化设计。模型采用混合专家架构（MoE），总参数量达到2.8T，但每个Token实际激活约104B。具体来看，模型配置了896个路由专家，每个Token选择16个专家参与计算，同时设置2个共享专家。MoE潜在维度为3584，每个专家的隐藏维度为3072。