
过去几年,我们已经建立起一套相当成熟的智算中心评价体系:机架数量、算力规模、GPU 数量、PUE、网络带宽、设备利用率……但现在,GPU 只是生产资料,真正被持续交付、计量和消费的,是模型产生的 Token,以及由此形成的 AI 服务。因此,智算中心也需要一把能够衡量真实 AI 产出的新尺子,从“以资源规模为中心”,转向“以有效 Token 产出为核心”。
在大模型推理时期,“把 GPU 跑满”已经不是第一要务。
从推理链路来看,一个请求进入之后,需要经过智能路由、Prefill、KV Cache、Decode 等一系列环节,最终才能形成 Token 输出。因此,“把 GPU 跑满”已经不能解决关键问题。在这种情况下,GPU 利用率只能告诉我们设备是不是繁忙,却无法完整告诉我们设备“忙得有没有价值”。这和工业生产非常相似:两座拥有同样设备的工厂,一座机器昼夜不停运转,却存在大量等待、返工和低质量产品;另一座通过优化工艺和生产节奏,在更低能耗下持续生产更多合格产品。如果评价体系只统计设备开机率,很难判断哪座工厂真正具有更高的生产效率。
所以,GPU 利用率依然重要,但现在的智算中心真正需要回答的问题是:在满足延迟、可靠性、模型质量和安全要求的前提下,每单位算力资源究竟能够稳定产生多少有效的 AI 输出?
如果不能只看 GPU 利用率,是不是以后直接比较 Tokens/s 就可以?同样不够。
一个系统通过牺牲延迟疯狂提高吞吐,和另一个系统在严格 SLA 下稳定提供服务,显然不是同一种产能;一个系统生成大量最终失败或无法被用户正常消费的请求,也不能被简单计入有效产出。因此,未来真正值得关注的是“有效 Token”。所谓有效 Token,可以理解为:在规定模型、服务质量、安全约束和 SLA 条件下,成功完成用户请求所形成的 Token 产出。这一概念也将智算中心的关注重心从硬件资源转移到了应用效果。
在此基础上,可以针对智算中心建立三层评价体系:
第一,是产能指标。即一座智算中心在给定条件下,每秒、每小时或者每天能够稳定提供多少 Token,包括持续吞吐、高并发场景下的稳定吞吐,以及峰值和持续产能之间的差距。
第二,是效率指标。同样生产一亿个有效 Token,需要多少 GPU 小时?消耗多少电?占用多少机架?设备投资是多少?最终每百万 Token 的综合成本是多少?这些指标真正反映的是智算基础设施把“资源”转化为“产出”的效率。
第三,是质量约束指标。包括 TTFT、TPOT、P95/P99 延迟、服务可用性、请求成功率、模型质量、安全合规以及故障恢复能力等。
最终评价的,就不再是一个孤立的 Tokens/s,而是:在什么样的服务质量下,以多少资源和成本,能够持续稳定地生产多少有效 Token。这样一来,智算中心就拥有了类似工业体系中的“产量、良率和单位成本”指标。
在这个过程中,智算中心的运营目标发生了变化。过去的智算中心运营更关注“资源有没有被使用”,未来则需要进一步关注“同样的资源能够生产多少 Token”。
目前,行业其实已经开始使用 Token 这门“语言”。在广西,「DaoCloud 道客」助力打造了首个以 Token 为计量单位的智算服务平台“润道星算”,把五象云谷 AI 智算产业园的 5000P 算力资源进一步转化为区域内可按需获取的 AI 服务。这不只是把计量单位从“卡”变成“Token”,而是开始将智算中心的运营对象从底层硬件资源,进一步延伸到最终 AI 服务产出。
这里需要明确的一点是,同样的 GPU 数量,并不意味着同样的 Token 产能。一旦以 Token 产能作为运营目标,优化对象也不再只是 GPU,而是包含 GPU、网络、存储、模型、调度平台、推理引擎、缓存、路由在内的完整生产系统。「DaoCloud 道客」正在通过这方面的优化努力提高 Token 产能。在 NVIDIA GPU 运行 DeepSeek R1 的场景中,通过系统优化,Token 产量最高提升 24 倍;在围绕 GLM 5.1 模型的实测中,相较行业优化水平,吞吐量提升 60%,首 Token 响应时间减少 70.7%,Token 生成时间减少 70%,单位 GPU Token 产量达到 2.78 万 tok/s,单卡投产比最高达到 8 倍。
随着评价体系的变化,运营团队的目标进一步变成了“持续提高单位资源的 Token 产量、降低单位 Token 成本”。智算中心也因此不再只是一个计算设施,而更接近一座持续生产 AI 服务的“智能工厂”。
当产业开始从资源规模走向实际产出,下一步的问题就是:如何让不同芯片、不同模型、不同智算中心之间的产能真正可比较?这已经体现在了现有算力标准体系的变化中。
《算力标准体系建设指南(2025 版)》明确,算力测试评估应覆盖性能、效率、服务、资源利用能力等多个维度;在应用需求分析中,也提出依据并发请求量、模型复杂性以及大模型吞吐量制定性能指标。相关标准框架还覆盖算力设施智能运维、设备运营管理、算力服务能力评估以及行业算力服务智能运营等领域。这意味着,算力评价本身已经在政策标准上向效率、服务和应用效果靠近。
在此基础上,整个产业完全可以进一步探索面向大模型推理时代的智算中心 Token 产能评价标准。其中最难解决的问题,是不同模型之间如何比较。70B 模型和更大规模模型产生的一个 Token,并不具有完全相同的“智能价值”;不同场景对准确率、延迟和可靠性的要求也不同。因此,Token 很难天然成为像千瓦时一样完全统一的计量单位。
因此第一步,科研机构、产业联盟、智算中心运营企业、芯片厂商、云厂商和基础软件企业可以先在统一模型、上下文长度、输入输出比例、并发水平和 SLA 的条件下建立标准测试环境,实现不同芯片、不同系统和不同智算中心之间的横向比较。进一步,如果希望实现跨模型、跨场景的产能比较,还可以探索“标准 Token 当量”或类似的等效产能指标,对不同模型和任务进行统一折算。这里的关键并不在于一开始就建立一个适用于所有场景的绝对单位,而是先形成一套有明确测试边界、有统一服务条件、有质量约束的产能评价方法。
只有这样,有效 Token 才能够从单纯的推理性能指标,进一步成为衡量智算中心生产效率、运营能力和经济性的共同语言。
从“拥有多少算力”到“生产多少有效 Token”,改变的不只是一套评价指标,更是智算中心从资源建设走向精益运营的方式。建立这样一把能够衡量真实 AI 产出的新尺子,或许正是中国智算产业迈入下一阶段需要补上的关键一环。「DaoCloud 道客」通过技术创新与产业实践,推动“有效 Token 产能”从理念走向落地,正在成为这把新尺子的积极建设者和先行探索者。
沪公网安备31011002001590| 上海市杨浦区江湾城路 99 号 6 号楼 7F