算力供需、产业进展及政策背景如何?

最佳答案 匿名用户编辑于2024/05/10 15:16

技术革新及政策双轮驱动。

1、从供给侧看算力不断升级,未来将呈现“云-边-端”一体格局

从算力供给而言,可以分为通用算力、智能算力和超算算力。算力实现的核心是 CPU、GPU、FPGA、ASIC 等各类计算芯片,并由计算机、服务器、高性能计算集群和各类智能终端等承载,海量数据处理和各种数字化应用都离不开算力的加工和计算,算力数值越大代表综合计算能力越强,常用的计量单位是 FLOPS(每秒执行的浮点数运算次数)。

算力是设备根据内部状态的改变,每秒可处理的信息数据量。算力的载体发展经历了以算盘和机械计算器为代表的时代到基于架设互联网基础平台的服务器的历程。在过去 20 年,随着算力载体的丰富程度得到了极大提升,呈现多样化发展趋势。

算力架构可以拆解为芯片、设备、软件,呈现“云-边-端”一体格局。未来将形成云端侧负责大体量复杂计算、边缘侧负责简单计算执行、终端侧负责感知交互的泛在算力部署形式。

2、大模型驱动智能算力需求指数级增长

大模型需要强大算力来支持训练过程和推理过程。根据 OpenAI 数据,训练 GPT-3175B 的模型,需要的算力高达 3640PF-days(假如每秒做一千万亿次浮点运算,需要计算 3640 天)。2018 年以来,大模型的参数量级已达到数千亿参数的量级规模。而 CPU 的物理工艺、核心数已接近极限。在AI 时代下,仅靠 CPU 已经不能满足需求,通过 GPU、FPGA、ASIC 等加速芯片异构而成的智能算力的演化成为趋势,并最终成为生成式人工智能时代下算力的主角。

AI 时代的摩尔定律,算力平均每 3.43 个月翻一倍。自 2012 年后,驱动 AI 的底层机器学习技术计算量呈指数级增长,根据 OpenAI 论文,深度学习前期,算力翻倍时间为 21.3 个月,深度学习时期,算力翻倍时间为 5.7 个月,大模型时期,AI 训练任务所用的算力每 3.43 个月就会翻倍,远超摩尔定律(晶体管每 18 个月翻一倍)带来的算力提升速度。

大模型对算力的需求主要体现在以下三个场景: (1)预训练算力需求:模型预训练过程是消耗算力的最主要场景。ChatGPT 采用预训练语言模型,GPT-3 具有大约 1750 亿参数,GPT-4 的规模是 GPT-3 的 10 倍以上,它具有大约 1.8 兆参数,分布在 120 个层,13 万亿 token,OpenAI 训练 GPT-4 的 FLOPS 约为 2.15*10^25,单张英伟达 A100 的算力为 19.5TFlops(浮点运算每秒 19.5 万亿次),如果不考虑利用率用 25000 张 A100 训练需要52 天,实际情况在大约 25000 个 A100 上训练了 90 到 100 天,MFU(平均功能利用率)在 32%到36%之间。如果按照 OpenAI 云计算的成本是差不多 1 美元/每验、失败的训练和其他成本,比如数据收集、RLHF(以强化学习方式依据人类反馈优化语言模型)、人力成本等,这次训练的成本大约是 6300 万美元。

(2)日常运营算力需求:预计 ChatGPT 单月运营需要算力约 4874.4PFlops-days,对应成本约1800 万美元。在完成模型预训练之后,ChatGPT 对于底层算力的需求并未结束,日常运营过程中,用户交互带来数据处理需求。根据 OpenAI 官网 9 月数据,ChatGPT 目前拥有超过 1 亿用户,每月产生 18 亿次访问量。据 Fortune 杂志,每次用户与 ChatGPT 互动,产生的算力云服务成本约 0.01 美元。基于此,我们估算 OpenAI 为 ChatGPT 每月支付的运营算力成本为 1800 万美元。

(3)模型调优算力需求:从模型迭代的角度来看,ChatGPT 模型并不是静态的,而是需要不断进行 Finetune 模型调优,以确保模型处于最佳应用状态。调优过程中,一方面是需要开发者对模型参数进行调整,确保输出内容不是有害和失真的;另一方面,需要基于用户反馈和 PPO(近端策略优化),对模型进行大规模或小规模的迭代训练。因此,模型调优同样会为 OpenAI 带来算力成本,具体算力需求和成本金额取决于模型的迭代速度。

3、海外:全球算力规模进入加速期,科技巨头不断加大 AI 资本开支

伴随全球人工智能浪潮,全球算力规模爆发式增长。2022 年全球算力总规模达到 906EFlops,增速达到 47%,其中基础算力规模(FP32)为 440EFlops,智能算力规模(换算为 FP32)为 451EFlops,超算算力规模(换算为 FP32)为 16EFlops。根据中国移动预测,未来五年全球算力规模将以超过50%的速度增长,到 2025 年全球计算设备算力总规模将超过 3ZFlops,至 2030 年将超过 20ZFlops。

以 AIGC 为首的应用表现强劲,推动了智能计算的快速和持续增长。IDC 预测,全球人工智能计算市场规模将从 2022 年的 195 亿美元增长到 2026 年的 346.6 亿美元。其中,生成式人工智能计算市场规模将从 2022 年的 8.2 亿美元增长到 2026 年的 109.9 亿美元,占整体人工智能计算市场的比重将从 4.2%增长到 31.7%。生成式人工智能将推动互联网、制造、金融、教育、医疗等行业创新发展。

从海外云巨头三季报看,人工智能投资推动收入和资本支出。年初至今,生成式 AI 技术浪潮的快速崛起带来对 AI 算力需求的大幅提升,海外云厂商巨头谷歌、微软、Meta(这里暂时不考虑亚马逊,亚马逊由于三季度收缩用于仓储物流的资本开支,影响权重较大)3Q 资本开支 212.05 亿美元,合计资本开支环比增长 9.43%,主要系 AI 基础设施投入加大,各家在业绩会上均表示 2024 将继续加码 AI 领域。

另一方面,各大厂商资本开支与营收呈现显著正相关。谷歌云 2023 年第三季度收入为 84.1 亿美元,同比增长 22.59%,微软智能云部门(包括 Azure)的收入为 243 亿美元,同比增长 19%。我们认为,预计北美云厂商巨头微软、谷歌、Meta 的资本开支在 2024 年进入上行周期,整体增速预计超过双位数。

4、国内:智能算力需求持续增长,芯片禁令导致高端算力供需错配

算力是集计算力、网络运载力、数据存储力力于一体的新型生产力。一国算力指数与 GDP、数字经济发展呈现显著正相关。IDC、浪潮信息、清华产业研究院联合发布的《2022-2023 全球计算力指数评估报告》中表明,计算力评估指标涵盖计算能力、计算效率、应用水平、基础设施支持四个维度。回归分析显示,计算力指数与 GDP、数字经济的走势呈现出显著正相关。

算力对于促进 GDP 与数字经济增长效果显著。相关数据显示,十五个样本国家的计算力指数平均每提高 1 点,国家的数字经济和 GDP 将分别增长 3.6‰和 1.7‰,预计该趋势在 2023 至 2026 年将继续保持。

中国计算力指数排名第二,处于领跑者地位。根据《2022-2023 全球计算力指数评估报告》中,第一梯队包括中国和美国;第二梯队国家包括日本、德国、英国、法国、加拿大、韩国和澳大利亚;第三梯队国家包括印度、意大利、巴西、俄罗斯、南非和马来西亚。2022 年中国计算力指数同比增长 1.4%,达到了 71 分,2022 年受到疫情反复冲击,全年 GDP 增长低于预期,在这样的大环境下,中国算力指数仍保持增长。

中国算力核心产业规模高增,成为国内 GDP 增长重要抓手。据工业和信息化部数据,截至 2022 年年底,我国算力核心产业规模达到 1.8 万亿元,算力总规模达到 180EFLOPS,年增长率近 30%;存力总规模超过 1000EB;国家枢纽节点间的网络单向时延降低到 20 毫秒以内。预计 2023 中国算力核心产业规模。算力每投入 1 元,将带动 3~4 元的 GDP 经济增长。

2023 是企业数字化转型拐点,2024 资本开支有望继续高增。从 2022 年开始,全球企业在数字化转型的浪潮下开始加速数字化进程,2023 年是企业数字化转型的拐点,企业从数字化转型时代进入到数字化业务时代,开始逐渐步入数字化新阶段。根据 IDC 的研究,到 2023 年底,全球数字化转型支出在总体企业 ICT 支出中的占比将达到 52%,全球 52%的软件应用支出也将是 SaaS 模式。预计 2023 年全球数字化转型技术的支出增长率为 16.9%。数字化转型在降本增效、提高创新能力、商业模式转型升级等方面已初显成效,已成为企业核心发展战略。

国内算力产业总体规模未来三年有望维持 30%左右 CAGR,智能算力渗透率及占比快速提升。近几年,我国不断加大对计算、网络和存储等基础设施的投入,高度重视数据中心、智算中心、超算中心以及边缘数据中心等算力基础设施的高质量发展,近 5 年,我国算力产业规模年平均增速超过 30%。

智能算力渗透率逐渐提升。智能算力增长迅速,新增算力中智能算力成为增长新引擎,截至2022 年底,我国算力总规模达到 180EFLOPS,其中智能算力规模与去年相比增加 41.4%,超过全球整体智能算力增速(25.7%),其中通用算力规模 137EFLOPS,占比约 76.7%,智能算力规模 41EFLOPS,占比约 22.8%。根据《2022-2023 中国人工智能计算力发展评估报告》,未来 5 年中国智能算力规模年复合增长率将达到 52.3%,通用算力规模年复合增长率为 18.5%。预计到 2026 年中国智能算力将达到 145EFLOPS,占比将达到 36.7%。随着 AI 大模型的快速发展,智能算力需求正呈现爆发性增长态势,渗透率将显著提升。

高 端算 力芯 片进 口受 限 , 多 轮禁 令加 剧高 端 算 力供 应 的短 缺, 导 致供 需错 配 。一方 面,从ChatGPT 面世以来,国内各企业和研究院在短短半年多的时间内先后推出了超过 130 款大模型,其中领跑玩家已经开始着手于将大模型应用于特定场景,打造爆款应用。此外,为了构筑算力底座,各地政府纷纷上马智算中心建设,铺设大数据时代的信息高速,推动产业创新升级。根据华为昇腾计算业务总裁张迪煊在 2023 世界人工智能大会上的揭示,大模型所需的算力相对于 2020 年预计将增长 500 倍。而另一方面,2023 年 10 月 17 日,美国商务部工业和安全局(BIS)发布了针对芯片的出口禁令新规,更加严格的限制了中国购买重要的高端芯片,导致国内算力缺口正在不断扩大。

5、政策密集发布,推动算力基础设施高质量发展

工信部等六部门联合印发《算力基础设施高质量发展行动计划》,提出到 2025 年,计算力方面,算力规模超过 300EFLOPS,智能算力占比达到 35%,东西部算力平衡协调发展。2023 年 10 月9 日,工业和信息化部等六部门近日联合印发《算力基础设施高质量发展行动计划》,从计算力、运载力、存储力以及应用赋能四个方面定下发展目标,引导算力基础设施高质量发展。此次《行动计划》详细定下了量化目标。1)计算力方面,到 2025 年算力规模超过 300EFLOPS(每秒 30000 京次浮点运算次数),智能算力占比达到 35%,东西部算力平衡协调发展;2)运载力方面,国家枢纽节点数据中心集群间基本实现不高于理论时延 1.5 倍的直连网络传输,重点应用场所光传送网(OTN)覆盖率达到 80%,骨干网、城域网全面支持 IPv6 等创新技术使用占比达到 40%;3)存储力方面,存储总量超过 1800EB,先进存储容量占比达到 30%以上,重点行业核心数据、重要数据灾备覆盖率达到 100%;4)应用赋能方面,打造一批算力新业务、新模式、新业态,工业、金融等领域算力渗透率显著提升,医疗、交通等领域应用实现规模化复制推广,能源、教育等领域应用范围进一步扩大。每个重点领域打造 30个以上应用标杆。

目前,我国加速推进算力布局,与算力有关的多项国家政策发布,与此同时,各地政府也在推进相关规划落地,包括基础电信企业等在内的各方也在积极推进算力网络建设,算力产业发展进入“快车道”。