华潮新闻网
科技

商汤杨帆:解析国产异构混合算力从落地到规模化商用的务实路径

来源:华潮新闻网
商汤杨帆:解析国产异构混合算力从落地到规模化商用的务实路径

商汤科技联合创始人、大装置事业群总裁 杨帆

出品|搜狐科技

作者|郑松毅

今年的WAIC展会逛下来,风向变了。除了往年一直火出圈的“人工智能”和“具身智能”,冒出来一个存在感极强的新词——Token工厂。

啥是Token?它是AI时代最底层的算力单元。不管推理还是交互,全得靠它撑着。所谓Token工厂,就是靠规模化手段,低成本地生产出这些算力和推理能力,它是整个体系的底座。

随着Agent智能体开始大规模落地,全网对Token的消耗量直接炸裂。中国信通院副院长魏亮给了一组数据:国内AI日均Token调用量,从2024年初的1000亿,一路狂飙到2026年3月的140万亿。两年时间,涨幅超过千倍。这说明什么?Token经济这摊子事,算是彻底成了。

中国工程院院士郑纬民也提到一个现象:跑一套Agent任务消耗的Token,是传统聊天模型的百倍甚至千倍。眼下国内高端算力不够用,需求一暴涨,供需失衡更严重了。行业卡在中间挺难受:低端算力在那儿闲置,高端产能却紧缺得不行。

就在大家头疼的时候,2026WAIC期间,商汤大装置在上海搞了个“算创·无限——Agentic时代AI基础设施创新发展论坛”,专门聊国产算力怎么规模化落地的问题。

活动结束后,商汤科技联合创始人、大装置事业群总裁杨帆,大装置事业群CTO宣善明,首席科学家张行程等高管,跟搜狐科技等媒体坐下来,深聊了几个大众关心的话题:国产算力怎么差异化破局?太空算力又该怎么看?

以下是对话精编:

媒体:商汤大装置为啥非要死磕国产异构混合算力?

杨帆:单卡性能硬拼,性价比太低。毕竟国产芯片跟海外高端芯片比,还有差距。

所以我们换了个更务实的路子,叫PD分离异构混合推理。不指望单张国产卡能追上国外顶尖水平,而是把AI推理拆成两半干:吃算力、适合国产芯片发挥的上下文读取,交给国产卡;吃显存、要求低延迟的Token生成,交给高端芯片。各展所长,互补短板。

媒体:这套方案实际效果咋样?怎么证明不是纸上谈兵?

杨帆:在我们上海临港智算中心实测,这种混搭打法能把国产芯片利用率最高拉高152%。跟国产同构方案比,推理性价比达到了NVIDIA H系列的1.25倍,目前已经是正毛利状态。

媒体:今年WAIC上满大街都是“Token工厂”,不少创始人喊已经红海了。你们怎么看这个市场?

宣善明:做Token工厂的企业确实多,而且类型五花八门。有老牌的传统企业转型做的,也有刚起步、一二十人就能拉起一个Token工厂的新团队。情况各不相同。

媒体:会担心自家策略被别人复制吗?商汤的技术壁垒到底在哪?

杨帆:商汤的优势不只是技术。我们搭建的是“技术-生态-商业”闭环。从“性价比、适配性、能效比”三个维度系统性地解题,推动国产算力从能用变成规模盈利。

媒体:前阵子Kimi发了K3大参数模型,自己也承认算力短缺。模型越来越大还是趋势吗?这对Token工厂有啥挑战?

张行程:我们跟头部模型厂商交流频繁。目前看,模型越来越大,万亿级甚至几万亿参数的模型,依然是主流趋势。

大参数旗舰模型给算力服务出了新难题:虽然单次计算只有少量专家参与,总量增加有限,但巨量参数加上上下文长度暴增,对存储要求极高。不仅需要由显存、内存、高速存储组成的大规模KV Cache,还得配大显存GPU搭建PD分离分布式推理系统。

另外供应链也是瓶颈。高端芯片供给紧,上下游必须深度绑定,把从技术到供应链的全链路把控住,才能接得住需求。

媒体:很多企业对国产算力还是不放心,你们怎么一步步打消顾虑?

杨帆:客户顾虑主要在三点:硬件性能、综合成本、使用信任。

硬件短板没法一夜补齐,得联动软硬件产业链,慢慢缩小跟海外产品的差距。成本方面,Token需求暴涨带来集中采购,加上异构调度把硬件利用率拉高了,Token生产成本一直在降。全国一体化算力网建成后,跨区域协同调度还能进一步摊薄运营开销。

过去半年,我们跑出了日均万亿级Token的服务能力。这正在扭转行业对国产算力的刻板印象,愿意主动尝试的客户明显变多了。

媒体:商汤这次官宣布局太空算力,卷到了马斯克的领域。短期没收益的前沿领域,为啥要提前布局?

杨帆:太空算力和量子计算属于长期战略储备。真正商业化最快也得三年后。现在提前布局,一是抢技术先发优势,二是占稀缺的低轨太空资源。

未来有两个落地场景:一是配合自身遥感业务,比如为东南亚国家提供服务,解决应急救灾问题;二是覆盖地面网络够不着的偏远地区,通过星上算力直接输出Token和各种AI应用服务。

媒体:长远看,AI基础设施赛道终局拼的是什么?Token工厂以后会变成什么样?

杨帆:短期行业还会陷入比拼硬件规模的内卷。但长期拉开差距的,一定是系统整合与全链路优化能力,这需要构建相当复杂的体系。

算力、AI基础设施,大家都当成未来智能时代的水电煤,是个长周期持续高增长的大行业。但也正因为需求太大、增长太快,入场玩家专业度参差不齐——大量不具备持续经营能力的低效厂商扎堆进来,最后会在竞争中被逐渐淘汰。

眼下产业链上下游还在快速迭代,基础设施服务商很难给出稳定成熟的方案。行业改善有两条路:一是国产算力体系经过三至五年发展逐步成熟,产业链迭代波动会明显收窄;二是伴随头部专业厂商市场份额提升,低效落后产能会被持续挤出,行业供给结构进一步优化。

相关推荐