近日,记忆张量联合商汤大装置宣布,在国产GPGPU上率先跑通业内首个以“记忆—计算—调度”一体化为核心的PD分离商用推理集群。相比传统仅依赖硬件隔离的方案,本次落地将PD分离与记忆张量旗下核心产品MemOS(以下简称 MemOS)的激活记忆体系深度耦合,使Prefill批量化可调度、Decode前台低抖动成为可能。
集群在真实C端负载下实现单卡并发效率提升20%、吞吐提升75%,综合推理性价比达到同代NVIDIAA100的150%。这一成果标志着国产算力体系在大模型商业化路径上首次具备“体系级”竞争力,为高性能模型的大规模落地打开了全新的降本增效空间。

MemOS与PD分离深度耦合,打破性能上线
过去一年中,“PD分离”几乎成了大模型推理优化里最热的技术关键词之一,但一个被反复忽略的现实是:如果只在算力层面做PD分离,而不去重构上层业务路径,那么它能带来的收益其实是有天然上限的。
随着DeepSeek-R1等高性能模型从B端试水走向C端大规模落地,“记忆”已经成为C端产品体验与成本结构的核心变量。只有当PD分离与记忆结构深度耦合,重构“记忆—计算—调度”整体体系,它才有机会真正超越传统意义上的性能上限。
MemOS作为业内唯一一个以记忆为中心,覆盖从底层推理、到记忆模型,再到应用工程进行系统设计的记忆基础设施,它将大模型的认知结构划分为三类记忆:参数记忆、激活记忆、明文记忆。这三类记忆形成了一条跨时间尺度的调度链路,可以进行精细地决策:哪些计算应该前移到Prefill,哪些必须留在Decode,以及任务的保留、降级或淘汰等。
显然,MemOS更适合和PD分离进行结合——它拥有一整套可以“决定如何用这条通道”的调度逻辑,从而把PD分离原本有限的收益空间尽可能压榨到极致。
正因此,本次记忆张量与商汤大装置在某国产GPGPU上的解决方案,真正跑出一版带完整业务语境的R1满血推理集群——不仅在单机和小规模集群实验中有效,而且在严格SLA约束下,可以在12台4P8D架构的商用集群上稳定运行,将PD分离变成“可以被商业化复现的工程范式”。
结构共振,让 PD 分离从优化技巧走向推理范式
在本次联合方案中,商汤大装置提供了让 MemOS 三层记忆结构拥有物理载体的顶层系统级基础设施。依托大装置IaaS的高效算力池、智能算力调度等为模型推理提供稳定的基础设施支撑;并借助Ignite框架提供多后端推理适配、KVCache管理优化、关键算子加速、跨节点通信调优等性能增强,形成体系化的推理优化链路;同时,商汤万象MaaS平台的统一调度策略确保Prefill与Decode服务在高并发场景下始终稳定运行。
集群的底层算力方面, 则由算丰信息提供核心支撑,算丰信息在此次集群中承接管理了所有高性 GPGPU 计算资源、大规模文件对象存储以及高速互联网络服务,为 PD 分离架构的高效稳定运行提供了不可或缺的鼎力支持。