只有 通过精准的性能评估与测试,发现算力系统的瓶颈,才能促进算力技 术创新和产品优化,不断提升算力质量发展水平。
目前我国算力评估主要可分为规格算力评估和算力综合评估两 大类。其中,规格算力评估主要关注硬件设备的计算性能,评估方法 通常采用标准化的测试程序,对硬件设备进行基准测试,以获取其计 算水平。算力综合评估通常采用多种测试方法和工具,对算力系统进 行多元的性能测试和分析,由于综合考虑多个因素,评估过程相对复 杂。规格算力评估和算力综合评估各有优缺点,适用于不同的应用场 景和需求。
(1)规格算力评估 规格算力评估主要以芯片的标称算力为基准,一般可分为部件级 算力评估、单机算力评估、算力中心/集群算力评估三个维度。部件级 算力评估主要测试部件的规格算力,针对部件标称的算力指标进行测 试,如内存的 Stream 测试软件,硬盘测试软件 IOzone 等,反映硬件 设施的基本性能;单机算力评估多采用实际业务中的计算密集型业务 场景作为测试负载,得到该设备的整机算力,如通用算力评测工具 SPEC、CPUBench 等,只关注 IT 计算设备的单台设备性能,无法完整体现集群系统性能;算力中心/集群算力评估按照通用算力中心、智 算中心、超算中心分类检测,这类测试侧重于对算力系统的单一性能 评价,如超算算力评测工具增较成熟的有 Linpack(集群环境下多采 用 HPL 基准)等,重点呈现系统在稠密矩阵求解方面的能力。
(2)算力综合评估 现阶段算力综合评估一般涉及算力的多维度、多指标分析,不同 的评估模型体系分析角度不同,侧重点也有一定偏差。部分评估体系 侧重于算力计算能力的综合展现,针对性解决基于单一指标难以全面 评估算力水平的问题。如算力五力模型综合考虑通用算力、智能算力、 算效能力、存储能力、网络能力,结合双向投影法和 TOPSIS 方法对 算力综合情况进行评估。部分评估体系充分响应国家政策趋势和发展 需求,针对某一方面进行系统评估。如“《数据中心全生命周期绿色算 力指数白皮书》针对算力绿色低碳发展方面构建了数据中心全生命周 期绿色算力指数体系,从安全高效性、绿色低碳性、管理智能性和全 生命周期绿色管理四个维度评价数据中心的绿色算力水平。整体而言, 现阶段算力综合评估重点在于检测算力单一维度的能力,无法广泛覆 盖算力从建设到应用的综合性评估。
从规格算力评估和算力综合评估体系的指标中可以看出,算力评 估指标从单点部件能力逐步过渡到更全面的系统能力,也逐渐更加响 应产业发展趋势和国家政策要求。结合以往算力评估体系及当前算力 需求特点,本报告认为算力评估体系应做出系列优化:第一,应以应用为导向,增加实际业务性能指标检测。规格算力 并不能准确反映实际计算能力,因为算力的发挥需要算力系统各个部 件的协作,任何性能上的薄弱环节都会对整个计算系统产生影响。另 外,虽然理论算效衡量方式较为简洁,但不能完整反映真实的网络、 存储等系统能力。人工智能时代的高质量算力如何进行评估,对应的 标准体系如何建立,需充分考虑应用实际情况,因此应增加实测性能 指标直观地反映计算系统在特定作业上的、用户可获得的计算能力。
第二,应聚焦人工智能,强化 AI 业务支撑能力评估。人工智能 驱动算力走向“重应用”阶段,算力加速向政务、工业、交通、医疗 等各行各业渗透,成为传统产业智能化改造和数字化转型的重要支点, 提升算力在垂直行业领域的智能支撑水平是未来算力高质量发展的 重要着力点。对于算力质量的评估应聚焦算力在 AI 业务中的性能表 现,为人工智能时代下算力高质量发展提供指导。 第三,应全面节能降碳,注重全生命周期碳足迹管理。PUE 及耗 电量通常被认为是算力绿色评估的核心指标,如 2020 年底全国数据 中心平均 PUE 为 1.62,总耗电量为 939 亿 kWh,2023 年底平均 PUE 和总耗电量分别为 1.48 和 1500 亿 kWh。算力产业耗电量急剧增加, 但 PUE 优化空间不断缩小,单纯从 PUE 角度进行评估优化已无法适 应算力产业的绿色发展需求。因此,应从全生命周期角度对算力碳足 迹进行优化管理,评估算力从采购、设计到运营、回收等全产业链的节能降碳水平,响应国家双碳目标。
第四,应以系统为核心,算力设施与算力资源利用整合评估。从评估体系现状可以看出,现有评估体系多是以上架率、PUE、WUE 等 指标为主,无法综合反映算力资源应用时的系统性能。以上架率为例, 据中国信通院统计,2023 年底全国在用数据中心上架率为 66.7%,该 指标通过简单的计算就可以得出当前全国算力资源的利用情况,然而 上架率主要关注物理层面的资源占用情况,如机架空间、电源插座等, 忽略了服务器的实际性能和负载情况。如果数据中心的服务器配置不 合理或存在大量闲置资源,即使上架率很高也可能无法满足实际业务 需求。因此,算力评估指标方面应将算力基础设施和算力资源利用情 况统一考量,注重算效水平、智效水平、碳效水平等效率的综合评估, 弥补现有评估体系过于注重算力单一方面性能指标的缺点,满足日益 复杂多元的算力应用需求。
结合评估体系构建现状和建议,本报告在此基础上,致力于构建 全面、实用的算力质量评估体系,客观评价算力质量发展水平,尝试 提出高质量算力评估体系。评估体系评估对象主要为算力系统,在评 价指标的筛选上强调以下六个原则: 一是导向性原则,确保评估指标与政策目标和区域发展需求保持 一致;二是系统性原则,要求评估体系全面覆盖高质量算力的关键特 征,确保评价结果能够全面反映算力质量;三是针对性原则,强调选 择与高质量算力特征紧密相关的指标,使评估更具针对性和准确性; 四是全面性原则,确保评估体系综合考虑数据的可获取性和量化的可 行性,以实现全面、高效的评价;五是可操作性原则,要求评估体系的设计既要理论合理,也要实际可行;六是可拓展性原则,要求评估 体系具备适应未来技术迭代和政策变化的能力。这些原则共同确保高 质量算力评估体系既符合当前需求,又能够灵活适应未来的发展。
根据建立评估体系系统性、全面性等原则,征求专家意见,梳理 高质量算力内涵、特征及关键影响因素,从算效水平、智效水平、碳 效水平、可获得水平、可持续水平 5 个维度形成“五位一体”高质量 算力评估体系,指标包括理论算效、实测性能、模算效率等 12 个指 标。

算效水平主要通过理论算效、实测性能、资源利用率三大指标评 估,反映实测计算性能和算力资源利用率。 (1)理论算效:理论算效(CE)是算力(CP)与所有 IT 设备 功耗的增值。数值越大,代表单位功率的算力越强,效能越高。计算公式为:CE=CP/∑IT。理论算效的单位为 FLOPS/W,即单位功率的 算力。提升算效可以同时降低 IT 设备本身的运行成本和制冷设备的 运行成本,从而降低算力系统整体供电负担,降低整体的能耗。根据 理论算效公式,可以通过提升算力输出或者降低能耗来提升算效。 (2)实测性能:实测性能反映算力系统对特定 AI 业务的处理能 力。将代表性 AI 应用负载的实测性能综合起来,最终得出算力系统 的综合实测计算能力,通过几何加权平均的方式获得具体数值,有助 于进行定量、对增性分析。通过实测性能评估可准确了解算力系统在 实际运行中的性能表现,避免仅依赖理论计算或模拟结果导致的偏差。 (3)资源利用率:通过算力系统实际运行过程中的平均资源利 用率来综合评估。如可通过 IT 负载率或 GPU 平均利用率来衡量。IT 负载率可以反映算力系统 IT 设备的有效工作效率,是服务器总实际 功率与总额定功率的增值,从设备层面衡量服务器的利用水平。GPU 平均利用率可以确保 GPU 资源得到充分利用,减少额外的硬件投资 需求,降低运营成本。
智效水平主要评估算力系统的人工智能业务支撑能力,体现在能 根据 AI 业务的需求实现灵活自主、智能化的高效处理。通过模算效 率和智能化程度两大指标评估。 (1)模算效率:模算效率正增于模型精度与模型的计算效率, 模型本身精度越高、在对应软件上对硬件性能利用率越高、推理及训 练所需算力越小,模算效率越高。模算效率评测对象是大模型训练和推理的整机系统,包括模型本身、软件框架、算力底座,用于反映被 测试模型在硬件和软件框架下的系统性能。 (2)智能化程度:通过算力系统自动化水平和智能优化能力来 评估。自动化水平衡量算力系统在任务调度、资源分配、故障恢复等 方面的自动化程度。高自动化程度意味着算力系统能够减少人工干预, 提高运维效率。智能优化能力衡量算力系统是否具备根据实时负载和 性能数据进行自我优化的能力。具备智能优化能力的算力系统能够更 好地适应业务变化,提高整体性能和效率。
碳效水平追求最低碳排放情况下的最大化算力输出,主要通过全 生命周期低碳管理能力和算力碳效两大指标来评估。 (1)全生命周期低碳管理:主要从算力的采购、设计、建设、 运营、回收等全生命周期角度评估算力的低碳性。可通过算力系统碳 足迹和全生命周期绿色发展战略来评估。算力系统碳足迹是指算力系 统全生命周期过程中产生的温室气体排放总量,反映算力系统在整个 生命周期中的环境影响程度。全生命周期绿色发展战略意味着算力系 统的采购、设计、建设、运行维护直至最终退役和回收的全过程都要 充分考虑绿色发展,保障全产业链节能减排。 (2)算力碳效:是兼顾算力 IT 设备的碳排放量和算力性能的综 合指标,指设备使用周期内产生的碳排放与所提供的算力性能的增值。 最新发布的《数据中心绿色低碳发展专项行动计划》提出到 2030 年 底,全国数据中心单位算力碳效达到国际先进水平,未来算力碳效或将成为算力系统设备设计、选型的重要指标。
可获得水平考察算力是否能够满足普适应用需求和普惠使用成 本要求。主要通过普适能力和普惠能力两大指标综合评估。 (1)普适能力:主要考量算力对多样化应用场景的广泛支撑能 力,可根据内部业务支持、区域业务支持、全国范围内业务支持能力 来分级评估。应用门槛低、使用灵活的普适算力有助于满足不同行业 和领域的多样化算力需求,推动人工智能、大数据、物联网等技术与 实体经济的深度融合。 (2)普惠能力:主要考量算力是否满足各行各业低成本使用需 求,通过算力的市场价格优势进行综合评估。主要进行成本效益分析 和定价策略分析,对增算力提供者的服务价格与其竞争对手的价格, 评估其性价增。
可持续水平考察算力系统技术兼容、供应链完备、产业生态开放 的程度。通过技术兼容性、供应链完备程度、产业生态开放水平三大 指标评估。 (1)技术兼容性:通过模拟实际应用场景,对算力系统进行兼 容性测试,以验证其在协同工作时的稳定性和性能表现,进行分级评 估。评估算力系统技术兼容性有利于确保不同系统、设备和应用之间 能够高效地交互和协作,从而提升整体性能和用户体验。 (2)供应链完备程度:评估供应链中供应商的数量和质量,包括供应商的稳定性、交货能力、质量控制等方面;评估合作伙伴数量 与质量,如是否拥有广泛的合作伙伴网络,包括硬件供应商、软件开 发商、服务提供商等。 (3)产业生态开放水平:分析算力系统的标准化建设程度,如 采用的技术标准是否与行业主流标准兼容。另外评估算力系统是否构 建开放的平台生态系统等。产业生态开放有助于确保不同厂商的设备 和技术能够无缝集成和协同工作。

评估体系构建意义。 “五位一体”高质量算力评估体系规范加速我国算力产业高质量 发展。在算力产业由“量”向“质”的关键阶段,算力发展面临大规 模、高要求、异构化等多重挑战,如何准确评估算力的质量是算力建 设者和使用者同时面临的问题,从算效水平、智效水平、碳效水平、 可持续水平、可获得水平五个方面构建完整、准确的高质量算力评估 体系,可规范加速算力产业高质量发展。从算效水平上,提升算力资 源利用率和实测计算性能;从智效水平上,提升算力人工智能业务支 撑能力;从碳效水平上,促进算力全生命周期节能降碳;从可获得水 平上,推动算力应用普适普惠;从可持续水平上,促进算力技术、产 业、生态良性发展。 “五位一体”高质量算力评估体系为我国算力产业的技术创新与 基础设施建设提供指引。该评估体系涵盖算效、智效、碳效、可获得、 可持续等算力系统建设运营关键因素,多维度客观评估我国算力质量 情况。通过评估标准的建立,可帮助企业用户识别和优化资源配置, 提高算力资源的使用效率,并且可激励企业进行技术研发和创新,以 满足更高的评估标准,从而推动整个行业的技术进步。在算力相关项 目的规划期、建设期、运营期等不同阶段,该评估体系可为算力实现 高质量、全生命周期可持续发展提供指导,推动算力产业的标准化进 程,为行业的长远发展奠定基础。