美团LongCat-2.0开源推理代码 大模型总参数达1.6万亿

来源：环球网

【环球网科技报道 记者 李文瑶】7月6日，美团码大模型美团宣布其万亿参数大模型 LongCat-2.0正式开源，源推并同步发布针对国产算力芯片深度优化的理代推理代码。该模型总参数量高达 1.6万亿，总参平均激活参数约 48B，数达专为复杂的美团码大模型 Agentic Coding（智能体编程）任务量身打造，标志着国产算力在超大模型推理领域取得重大突破。源推

架构创新：LSA与N-gram Embedding双轮驱动

LongCat-2.0在底层架构上进行了深度革新，理代核心引入了 LongCat稀疏注意力机制（LSA）与 N-gram Embedding两大关键技术：

• LongCat稀疏注意力机制（LSA）：通过流感知索引、总参跨层索引等先进策略，数达显著提升了百万级长上下文场景下的美团码大模型训练与推理效率，解决了超长文本处理中的源推性能瓶颈。
• N-gram Embedding：该模块投入 135B参数，理代在MoE（混合专家）稀疏度接近 97%的总参高压缩背景下，进一步强化了模型对代码语义的数达理解与生成能力。

在后训练阶段，模型采用 多教师在线蒸馏技术，将专家网络细分为 Agent（智能体执行）、推理（逻辑推导）和 交互（人机协同）三类，实现了自主执行能力、自适应推理效率与安全对齐机制的完美平衡。

算力突破：业界首个五万卡国产集群推理实践

值得关注的是，LongCat-2.0是 业界首个在五万卡国产算力集群上完成推理的万亿参数模型。

美团团队从模型架构、芯片适配到部署策略进行了全链路深度协同优化，通过以下技术手段有效缓解了显存与带宽瓶颈：
1. Super Kernel：大幅减少算子启动开销，提升计算密度。
2. Weight Prefetch：通过预取权重隐藏I/O延迟，优化数据吞吐。
3. PD分离部署与KV-cache切分：优化内存管理，实现百万上下文在国产芯片上的稳定、高效推理。

开源生态：多精度版本助力国产算力盘活

此次开源，美团同步提供了 BF16、FP8及INT8等多精度版本，全面覆盖不同算力平台的部署需求。

官方表示，此举旨在以开源为纽带，盘活存量国产算力资源。通过降低部署门槛，让更多国产显卡（包括老旧型号）能够流畅运行万亿级大模型推理服务，从而释放国产算力生态的长期价值，推动AI基础设施的自主可控与普惠化发展。

很赞哦!（6）