小米MiMo推出HySparse 新一代注意力架构

2026年2月6日，小米MiMo大模型团队宣布推出HySparse——一种面向 Agent 时代的混合稀疏注意力架构，创新使用“极少的全注意力（Full Attention）+ 稀疏注意力（Sparse Attention）”核心设计，为 Agent 时代的超长文本处理提供了高效精准的技术解决方案，也为大模型高效注意力结构的研究与落地提供了全新参考。

随着Agent 模型与应用的爆发式发展，精准高效处理超长文本正在成为模型必不可少的基础能力。Agent时代的“富贵病”问题，已经变得极为突出。Agent 不仅需要在超长上下文中完成稳定的检索、推理与多轮规划，还必须在推理阶段保持足够快的响应速度，目前最大的挑战已经不只是 “能不能算”，而是 “算不算得起”。

为此，小米MiMo提出了全新的HySparse架构，以解决上述行业难题。在多项通用、数学、代码和中文评测中，HySparse 在 7B Dense 和 80B MoE 两种规模均带来稳定提升。其中，在总共 49 层的 80B-A3B MoE 模型实验中，仅保留 5 层 Full Attention 仍能保持甚至提升模型能力，带来了接近 10×的 KV Cache 存储降低，实现效果与效率的兼顾；RULER 长文测试表明，HySparse 即便将 Full Attention 层压到极少，也能稳定保持长距离关键信息访问，充分展现了其混合稀疏结构的优势。

HySparse的推出，标志着大模型在“能不能算”向“算不算得起”的关键转变中，正迈出重要一步。

作为小米MiMo 在混合注意力架构上的重要技术迭代，HySparse 是对 MiMo-V2-Flash 的 Hybrid SWA 结构的又一次全新升级。HySparse 可以视为在 Hybrid SWA 的基础上，为 SWA 增加了全局的、更重要的 token 信息补充，实现 “兼容且互补”。这一改进不仅提升了性能，还没有增加 KV Cache 存储，也没有显著增加计算开销。

小米MiMo表示，计划在更大规模模型上进一步验证HySparse的极限和潜力，并持续探索降低Full Attention层数量的可能性，让超长上下文更高效，并为学术界和工业界在混合稀疏注意力方向的研究提供一些参考和启发。