立即联系我们
提交成功!
你所提交的信息已经成功提交,会有专业人员在48小时内跟您联系!谢谢。
提交失败!
抱歉,提交失败,请重新校准信息提交,谢谢。
CN EN
产品
解决方案
开发者资源
中文

智算中心该换一把尺子了:从“GPU 利用率”到“有效 Token 产能”

产业实践探讨

2026.09.04
0251bf4fb8c6c21406cc2b6f56daeeb8.jpg
 
一座投资数十亿元建设的智算中心,一天究竟能够稳定生产多少真正可用的人工智能服务?这个问题看似简单,却是很多智算中心无法回答的问题。

过去几年,我们已经建立起一套相当成熟的智算中心评价体系:机架数量、算力规模、GPU 数量、PUE、网络带宽、设备利用率……但现在,GPU 只是生产资料,真正被持续交付、计量和消费的,是模型产生的 Token,以及由此形成的 AI 服务。因此,智算中心也需要一把能够衡量真实 AI 产出的新尺子,从“以资源规模为中心”,转向“以有效 Token 产出为核心”。

01

GPU 忙

不代表智算中心产能高

在大模型推理时期,“把 GPU 跑满”已经不是第一要务。

从推理链路来看,一个请求进入之后,需要经过智能路由、Prefill、KV Cache、Decode 等一系列环节,最终才能形成 Token 输出。因此,“把 GPU 跑满”已经不能解决关键问题。在这种情况下,GPU 利用率只能告诉我们设备是不是繁忙,却无法完整告诉我们设备“忙得有没有价值”。这和工业生产非常相似:两座拥有同样设备的工厂,一座机器昼夜不停运转,却存在大量等待、返工和低质量产品;另一座通过优化工艺和生产节奏,在更低能耗下持续生产更多合格产品。如果评价体系只统计设备开机率,很难判断哪座工厂真正具有更高的生产效率。

所以,GPU 利用率依然重要,但现在的智算中心真正需要回答的问题是:在满足延迟、可靠性、模型质量和安全要求的前提下,每单位算力资源究竟能够稳定产生多少有效的 AI 输出?

02

新的核心指标是

“有效 Token 产能“

如果不能只看 GPU 利用率,是不是以后直接比较 Tokens/s 就可以?同样不够。

一个系统通过牺牲延迟疯狂提高吞吐,和另一个系统在严格 SLA 下稳定提供服务,显然不是同一种产能;一个系统生成大量最终失败或无法被用户正常消费的请求,也不能被简单计入有效产出。因此,未来真正值得关注的是“有效 Token”。所谓有效 Token,可以理解为:在规定模型、服务质量、安全约束和 SLA 条件下,成功完成用户请求所形成的 Token 产出。这一概念也将智算中心的关注重心从硬件资源转移到了应用效果。

在此基础上,可以针对智算中心建立三层评价体系:

第一,是产能指标。即一座智算中心在给定条件下,每秒、每小时或者每天能够稳定提供多少 Token,包括持续吞吐、高并发场景下的稳定吞吐,以及峰值和持续产能之间的差距。

第二,是效率指标。同样生产一亿个有效 Token,需要多少 GPU 小时?消耗多少电?占用多少机架?设备投资是多少?最终每百万 Token 的综合成本是多少?这些指标真正反映的是智算基础设施把“资源”转化为“产出”的效率。

第三,是质量约束指标。包括 TTFT、TPOT、P95/P99 延迟、服务可用性、请求成功率、模型质量、安全合规以及故障恢复能力等。

最终评价的,就不再是一个孤立的 Tokens/s,而是:在什么样的服务质量下,以多少资源和成本,能够持续稳定地生产多少有效 Token。这样一来,智算中心就拥有了类似工业体系中的“产量、良率和单位成本”指标。

03

智算中心的运营逻辑

正在改变

在这个过程中,智算中心的运营目标发生了变化。过去的智算中心运营更关注“资源有没有被使用”,未来则需要进一步关注“同样的资源能够生产多少 Token”。

目前,行业其实已经开始使用 Token 这门“语言”。在广西,「DaoCloud 道客」助力打造了首个以 Token 为计量单位的智算服务平台“润道星算”,把五象云谷 AI 智算产业园的 5000P 算力资源进一步转化为区域内可按需获取的 AI 服务。这不只是把计量单位从“卡”变成“Token”,而是开始将智算中心的运营对象从底层硬件资源,进一步延伸到最终 AI 服务产出。

这里需要明确的一点是,同样的 GPU 数量,并不意味着同样的 Token 产能。一旦以 Token 产能作为运营目标,优化对象也不再只是 GPU,而是包含 GPU、网络、存储、模型、调度平台、推理引擎、缓存、路由在内的完整生产系统。「DaoCloud 道客」正在通过这方面的优化努力提高 Token 产能。在 NVIDIA GPU 运行 DeepSeek R1 的场景中,通过系统优化,Token 产量最高提升 24 倍;在围绕 GLM 5.1 模型的实测中,相较行业优化水平,吞吐量提升 60%,首 Token 响应时间减少 70.7%,Token 生成时间减少 70%,单位 GPU Token 产量达到 2.78 万 tok/s,单卡投产比最高达到 8 倍。

随着评价体系的变化,运营团队的目标进一步变成了“持续提高单位资源的 Token 产量、降低单位 Token 成本”。智算中心也因此不再只是一个计算设施,而更接近一座持续生产 AI 服务的“智能工厂”。

04

建立标准化的

Token 产能评价体系

当产业开始从资源规模走向实际产出,下一步的问题就是:如何让不同芯片、不同模型、不同智算中心之间的产能真正可比较?这已经体现在了现有算力标准体系的变化中。

《算力标准体系建设指南(2025 版)》明确,算力测试评估应覆盖性能、效率、服务、资源利用能力等多个维度;在应用需求分析中,也提出依据并发请求量、模型复杂性以及大模型吞吐量制定性能指标。相关标准框架还覆盖算力设施智能运维、设备运营管理、算力服务能力评估以及行业算力服务智能运营等领域。这意味着,算力评价本身已经在政策标准上向效率、服务和应用效果靠近。

在此基础上,整个产业完全可以进一步探索面向大模型推理时代的智算中心 Token 产能评价标准。其中最难解决的问题,是不同模型之间如何比较。70B 模型和更大规模模型产生的一个 Token,并不具有完全相同的“智能价值”;不同场景对准确率、延迟和可靠性的要求也不同。因此,Token 很难天然成为像千瓦时一样完全统一的计量单位。

因此第一步,科研机构、产业联盟、智算中心运营企业、芯片厂商、云厂商和基础软件企业可以先在统一模型、上下文长度、输入输出比例、并发水平和 SLA 的条件下建立标准测试环境,实现不同芯片、不同系统和不同智算中心之间的横向比较。进一步,如果希望实现跨模型、跨场景的产能比较,还可以探索“标准 Token 当量”或类似的等效产能指标,对不同模型和任务进行统一折算。这里的关键并不在于一开始就建立一个适用于所有场景的绝对单位,而是先形成一套有明确测试边界、有统一服务条件、有质量约束的产能评价方法。

只有这样,有效 Token 才能够从单纯的推理性能指标,进一步成为衡量智算中心生产效率、运营能力和经济性的共同语言。

从“拥有多少算力”到“生产多少有效 Token”,改变的不只是一套评价指标,更是智算中心从资源建设走向精益运营的方式。建立这样一把能够衡量真实 AI 产出的新尺子,或许正是中国智算产业迈入下一阶段需要补上的关键一环。「DaoCloud 道客」通过技术创新与产业实践,推动“有效 Token 产能”从理念走向落地,正在成为这把新尺子的积极建设者和先行探索者。

上一篇:没有了