昇腾A2芯片立功！华为首次公开美团LongCat-2.0部署细节：推理仅20ms

快科技7月6日消息，昇腾华为CANN（昇腾AI异构计算架构）团队首次公开披露了美团万亿参数大模型LongCat-2.0在昇腾A2芯片上的芯细节完整部署方案，展示了国产算力在超大规模模型推理领域的片立突破。

LongCat-2.0总参数量高达1.6万亿，功华原生支持100万Token超长上下文窗口。为首作为业界首个完全基于国产算力完成训练与推理全流程的开美万亿参数模型，其技术含金量备受瞩目。团L推理

集群架构与并行策略

此次公开的部署部署细节显示，LongCat-2.0基于昇腾Atlas A2 192卡集群进行部署，昇腾单机配置为16卡。芯细节针对模型不同阶段的片立特性，采用了差异化的功华并行策略：

• Prefill阶段：采用64张昇腾A2进行协同调度。
• Decode阶段：采用128卡超大规模专家并行（EP）部署。为首

昇腾A2单卡内置高速网卡，开美提供200Gbps传输带宽，团L推理有效支撑了大规模分布式推理的数据交换需求。

系统级深度优化

CANN推理团队针对LongCat-2.0的MoE（混合专家）超稀疏架构与百万级长序列场景，实施了多维度的系统级优化：

1. Prefill阶段优化：
2. 融合流水线并行与序列并行双重策略，将模型划分为8个独立计算Stage。
3. 通过优化通信机制，将MoE通信耗时压缩10倍。

4. 算法层面采用FlashComm算法，显著降低Vector算力消耗。

5. Decode阶段优化：

6. 根据序列长度实施差异化切分：短请求采用DP128+EP128方案，超长序列采用DP16CP8+EP128方案。
7. 利用A2芯片超大L2 Cache优势，实现模型权重异步预取，加速矩阵运算。

8. 最终实现TPOT（Time Per Output Token）时延仅20ms。

9. 计算流调度：

10. 实现计算与通信双流并行。
11. 将MoE专家计算与Dense层计算拆分为独立计算流，最大限度利用芯片带宽与算力资源。

行业意义

LongCat-2.0是美团继1月发布LongCat-Flash-2601后的又一次重磅开源。目前，其测试版本在OpenRouter平台的总调用量已跻身全球前三。

业内人士指出，华为首次公开昇腾A2完整部署方案与技术细节，标志着国产芯片已具备承载万亿参数大模型推理任务的能力。这一成果为AI算力国产替代提供了可复用、可验证的技术范本，进一步夯实了国产AI基础设施的生态基础。

很赞哦!（2257）