首页 > 读书写作 > 读书写作 > 记忆张量 × 商汤大装置:国产 GPGPU 推理成本反超 A100!

记忆张量 × 商汤大装置:国产 GPGPU 推理成本反超 A100!

发布时间:2025-12-04 21:18:37来源: 18811119908

近日,记忆张量联合商汤大装置宣布,在国产GPGPU上率先跑通业内首个以“记忆—计算—调度”一体化为核心的PD分离商用推理集群。相比传统仅依赖硬件隔离的方案,本次落地将PD分离与记忆张量旗下核心产品MemOS(以下简称 MemOS)的激活记忆体系深度耦合,使Prefill批量化可调度、Decode前台低抖动成为可能。

集群在真实C端负载下实现单卡并发效率提升20%、吞吐提升75%,综合推理性价比达到同代NVIDIAA100的150%。这一成果标志着国产算力体系在大模型商业化路径上首次具备“体系级”竞争力,为高性能模型的大规模落地打开了全新的降本增效空间。



MemOS与PD分离深度耦合,打破性能上线

过去一年中,“PD分离”几乎成了大模型推理优化里最热的技术关键词之一,但一个被反复忽略的现实是:如果只在算力层面做PD分离,而不去重构上层业务路径,那么它能带来的收益其实是有天然上限的。

随着DeepSeek-R1等高性能模型从B端试水走向C端大规模落地,“记忆”已经成为C端产品体验与成本结构的核心变量。只有当PD分离与记忆结构深度耦合,重构“记忆—计算—调度”整体体系,它才有机会真正超越传统意义上的性能上限。

MemOS作为业内唯一一个以记忆为中心,覆盖从底层推理、到记忆模型,再到应用工程进行系统设计的记忆基础设施,它将大模型的认知结构划分为三类记忆:参数记忆、激活记忆、明文记忆。这三类记忆形成了一条跨时间尺度的调度链路,可以进行精细地决策:哪些计算应该前移到Prefill,哪些必须留在Decode,以及任务的保留、降级或淘汰等。

显然,MemOS更适合和PD分离进行结合——它拥有一整套可以“决定如何用这条通道”的调度逻辑,从而把PD分离原本有限的收益空间尽可能压榨到极致。

正因此,本次记忆张量与商汤大装置在某国产GPGPU上的解决方案,真正跑出一版带完整业务语境的R1满血推理集群——不仅在单机和小规模集群实验中有效,而且在严格SLA约束下,可以在12台4P8D架构的商用集群上稳定运行,将PD分离变成“可以被商业化复现的工程范式”。

结构共振,让 PD 分离从优化技巧走向推理范式

在本次联合方案中,商汤大装置提供了让 MemOS 三层记忆结构拥有物理载体的顶层系统级基础设施。依托大装置IaaS的高效算力池、智能算力调度等为模型推理提供稳定的基础设施支撑;并借助Ignite框架提供多后端推理适配、KVCache管理优化、关键算子加速、跨节点通信调优等性能增强,形成体系化的推理优化链路;同时,商汤万象MaaS平台的统一调度策略确保Prefill与Decode服务在高并发场景下始终稳定运行。

集群的底层算力方面, 则由算丰信息提供核心支撑,算丰信息在此次集群中承接管理了所有高性 GPGPU 计算资源、大规模文件对象存储以及高速互联网络服务,为 PD 分离架构的高效稳定运行提供了不可或缺的鼎力支持。

读书写作更多>>

荣耀Power2发布:10080mAh大电池+2699元起,户外党狂喜 iQOO新机炸场,ROG退场,游戏手机只剩一家? 折叠屏手机领衔 摩托罗拉2026年全系手机型号遭曝光! 2026年了,iPhone se3使用体验分享 苹果上新马年手机壳,售价449元 刷新纪录!智己汽车2025全盘点:销量口碑双丰收,领跑新势力 ​卢放:岚图L3级有条件自动驾驶进入实车测试 沃尔沃汽车12月销量达16063辆,全新XC70蝉联品牌销冠 比亚迪狂销460万完胜!日产破60万,理想意外大跌 全新一代丰田汉兰达曝光!外观风格更运动 内饰调整,搭载混动四驱 宝马中国2026年首轮大规模调价:30万最高降幅背后的市场博弈 新世代宝马3系内饰谍照 采用全新数字化座舱设计 保时捷Panamera技术演进:豪华性能轿车的工程解构 深蓝 S07 华为版,座舱舒适感拉满 售价12.58万起 威麟捷想者部分现车到店 苹果官网上线3小时快送服务:iPhone免运费 苹果M5 MacBook Pro体验评测:足够好用的“五边形战士” 狼途推出T87系列灯箱三模机械键盘:12000mAh电池,可选8kHz 真我15 Pro《权力的游戏》限定版开售!致敬维斯特洛大陆传奇史诗 三星确认家用机器人Ballie发售延期:正优化技术以提升用户体验 周星驰《鹿鼎记》重映首日票房仅18万! 高得房率+四电机四驱+47.26%热效率,银河V900能否搅动高端MPV市场? 丰田卡罗拉凭啥成家用神车?省心、省油、大空间背后真相 体验别克至境L7安全日 一个假人1000万 轴距超2米,四座布局,不到5万买代步车看看它! 2026年将至!日产全新新能源SUV N8公告图亮相 动力配置亮点多 雪铁龙轿跑SUV海外上市!起售价约6.8万元,搭载悬浮式中控屏 全新五菱宏光MINIEV申报图来袭!外观焕新,双门四门可选,配置升级 阿里云腾讯云战略合作:万象生态实力,观麦难以匹敌 华硕ROG龙鳞2 Ace电竞鼠标新增Lave Red“熔岩红”配色