2024年从云计算看AI投资的ROI：企业上云具备性价比，云业务具备较高回报率

第一章 企业私有化部署和云上部署对比

企业私有化部署和云上部署的考虑因素

企业私有化部署对数据中心具有更高控制权，云上部署更具使用弹性。私有化部署即自建数据中心， 云上部署则采用云服务提供商的配套服务。在私有化部署情况下，企业数据不会通过公共网络传输， 安全性更高，且不同企业可针对自身特定需求进行定制化部署，具备更大控制权。云上部署则无需 投入大量初始资本以及后续运维费用，相关配套服务通常由云服务商统一提供，更加快捷易用，同 时可根据业务需求进行扩展或缩减，使用弹性更加灵活。

GPU供不应求、部署周期较长或成为制约企业私有化部署的关键，使用弹性、成本优势是企业选择 云上部署的长远考量。在AI时代下，GPU的供需缺口是导致众多企业难以进行私有化部署的关键， 当前，适用于AI的高性能GPU供不应求，众多中小企业和初创公司难以获得高性能芯片以自建算力 集群；此外，根据《华为云昇腾AI云服务》数据，云上部署相较于自建IDC，开通效率更高，通常 情况下，自建数据中心从招标到验收需要三个月以上，而云服务可做到分钟级资源开通。而从长期 来看，企业自建IDC的情况下，业务曲线和资源曲线之间容易产生短缺和浪费，云上部署则可以根 据业务情况灵活增减，实现资源按需付费，成本更加可控。

企业私有化部署和云上部署的客户画像

微小型企业选择上云为主，大型企业配备私有化部署。 ① 大型企业自建数据中心，业务生态有望整合协同。根据HG Insights数据，大型企业和中型企业在 上云的同时，还会选择自建数据中心。三大云厂商的下游客户中，超过70%的大型企业（员工数量 超过1000人）均会选择“上云+自建数据中心”的方案。由于大型企业具备较强的资金或资源实力， 通常会围绕自身核心业务配备数据中心，以实现业务的生态协同和更高的成本效益。 ② 小型企业选择上云为主，按需购买实现弹性易用。根据HG Insights数据，小微企业（员工数量小 于100人）以上云为主。由于小型企业云服务需求相对较小，且上云方案更加简单易用，只需按需 订阅，因此初创企业和小微企业多数选择上云为主。

微型支出客户占比约八成，北美地区客户分布较多。① 从客户支出水平来看：根据HG Insights数据，微型支出客户（月均支出小于1k美元）在各家云厂 商中的占比可达75%~90%；整体来看，谷歌的微型支出客户占比更高，亚马逊和微软的中大型支 出客户占比更高。 ② 从客户地区分布上看：根据HG Insights数据，亚马逊AWS和谷歌GCP北美客户占比过半，分别为 53%和52%，高于微软的38%；而微软Azure在欧中非地区具备相对优势，客户占比为39%，亚马 逊AWS和谷歌GCP分别仅为26%和28%。

稳态企业可选择自建机房，高成长企业云化驱动力较强。当企业业务长期稳定在某一存量水平，或 核心业务需要基础设施配套协同时，自建机房不失为一种合理的选择；而当业务具备较高成长性时， 企业可以选择分阶段、增量式上云，如互联网、游戏等行业，在开发阶段算力需求旺盛、系统需要 快速上线，项目可能呈现爆发式增长，为满足业务需要，上云更具灵活性。根据HG Insights数据， 金融、科技、医疗等行业的IT支出排名较为靠前，支付意愿较强。随着大语言模型的持续发展，金 融、科技（代码）、医疗、法律以上四大行业可以通过混合专家模型等技术手段，在基座模型之上 进行垂类专业能力的学习强化，推出具备更高成本效益的AI工具，为B端企业降本增效。

企业私有化部署与云上部署的成本探讨

当前，集群扩展的主要驱动因素在于千亿或万亿参数模型的预训练需求。在LLMs预训练阶段，需 要将大量的训练数据并行至足够量的GPU上，而GPU的显存成为制约训练更大模型的主要条件之一。 因此，我们基于AI时代下模型预训练的算力需求，对企业是否选择云上部署进行成本探讨。 ① 公式一：模型预训练所需计算次数=6*模型参数量*预训练数据量。根据OpenAI《Scaling Laws for Neural Language Models》，训练Transformer模型的理论计算量为C≈6N*D，其中，N为 模型参数量大小，D为训练数据量大小。 ② 公式二：模型预训练所用GPU hours=预训练所需计算次数/（单颗GPU每秒计算次数*60s* 60mins*GPU算力的有效利用率）。

影响因素一：模型大小。 企业AI模型多为业务场景而设计，部署中等大小模型即可满足一般需求。参考Meta的Llama系列模 型，可分为大/中/小三种尺寸模型。从模型参数量来看，可分为7B/70B/400B梯队；从预训练数据 量来看，可分为1T~2T和15T级别。从B端企业视角来看，AI模型主要为业务场景而设计，多数客户 无需对模型规模进行无限扩展，70B参数大小即可满足一般需求，而7B小模型通常为端侧场景设计、 千亿参数模型大多用作通用基座模型。因此，我们基于70B的模型参数量、预训练数据量分别选取 2.5T、5T、7.5T，对下游企业的模型预训练成本进行测算。

影响因素二：GPU的峰值算力。 H100为当前云服务可用实例的领先产品，模型训练多采用半精度算力水平。根据各个云厂商官网 公布的云服务可用实例，H100是当前企业用户能够获得的更为先进的GPU产品，相较于A100、 V100等芯片产品，H100的预训练效率更高、可扩展数量更多。且GPU采用的浮点精度不同，实际 的算力水平也有较大差别，精度越高、可支持的运算复杂程度越高，而在AI模型的训练场景中，通 常使用半精度浮点计算（FP16）。因此，我们将以H100在FP16 Tensor核心性能下的算力水平为 基础，对私有化部署和云上部署成本进行测算。

影响因素三：算力利用率（MFU） 。 万卡集群MFU可达40%，GPU数量越少、MFU越高。GPU的算力利用率（MFU）即GPU的实际 吞吐量与理论峰值吞吐量的比。由于大语言模型预训练并非简单的并行任务，而是需要将模型分布 在多个GPU之上，GPU之间需要频繁通信，叠加操作符优化、数据预处理、内存消耗等因素，GPU 的MFU在实际训练中难以达到理论上的算力峰值水平。根据Meta Llama-3.1官方披露数据，在8K 张和16K张GPU集群下，MFU分别可达到43%和41%的水平。根据字节的MegaScale论文，通过 仔细调整并行性配置、硬件和软件，在BF16精度下，MegaScale方法可实现50％以上的算力利用 率。此外，随着GPU数量的增加、算力集群的扩大，GPU算力的有效利用率呈现下降趋势。

影响因素四：GPU硬件成本、GPU租赁价格。私有化部署成本：单张H100成本在2万美金至3.5万美金之间不等，GPU成本约占集群总拥有成本 中约40%。根据SemiAnalysis数据，单张H100成本约2.5万美金。按照英伟达官方对一个1.6万卡 超大规模智算中心按照运营4年的计算，成本端需要投入10亿美元建设成本和运营成本，其中数据 中心基建投资和运营维护成本约占一半、GPU购置成本为40%，网络成本约10%。云上部署成本：H100云租赁价格从2$~13$/GPU/h不等。根据各个云厂商单张GPU的每小时定价， 头部厂商得益于基础设施更加安全完善、PaaS层配套工具更加全面易用，具备更高议价能力， H100云租赁定价基本在10$/GPU/h以上。而算力租赁初创企业定价基本位于2$~5$/GPU/h区间， 具备低价优势。

第二章 AI时代下的云基建与投资回报

云服务商投入力度

资本开支加速增长，云设施投入占比较高。23Q3至24Q2，三大云厂商合计资本开支从307亿美元 增长至486亿美元，各季度同比增速分别为6%/20%/47%/73%，呈现加速增长态势。根据各公司 24Q2业绩会，微软FY2024资本开支中GPU和CPU支出占比约一半、基础设施建设占一半；谷歌的 资本开支增长主要由基础设施驱动，最大的部分是服务器，其次是数据中心；亚马逊资本开支中的 大部分资金用于支持不断增长的AWS基础设施需求；且云厂商的GPU订单约占英伟达FY25Q2数据 中心业务收入的45%，表明云厂商的资本开支主要用于云计算基础设施建设。

CPU IaaS VS GPU IaaS

数据中心总拥有成本对比：GPU数据中心总拥有成本显著提升，硬件资本开支远高于托管成本。根 据semianalysis数据，通过对比CPU和GPU数据中心总拥有成本，可以发现，在CPU IaaS时代下， 单个CPU核心的成本为0.006$/h，而GPU IaaS时代下，单张GPU的成本为1.524$/h。根据 semianalysis数据，单台CPU服务器的托管成本（$220/月）与资本成本（$301/月）差距相对较 小，而单台GPU服务器的资本成本（$7026/月）远高于托管成本（$1872/月）。

成本测算

科技大厂折旧年限延长，服务器折旧年限调整为六年。近年来，海外科技大厂随着对AI及业务资源 投入的增加，逐渐面临成本压力。各个公司在放缓人员招聘速度、实行组织提效的同时，也在重新 评估设备资产的预期使用寿命、调整折旧年限，通过会计方法减少折旧费用、增加账面利润，以减 轻不断增长的成本压力。根据各公司公告，谷歌于2023年1月开始，将服务器折旧年限从4年延长 至6年，特定网络设备的预期使用寿命从5年延长至6年，帮助公司2023年折旧费用减少39亿美元、 净利润增加30亿美元；而微软自2022年7月开始，即执行6年的服务器和网络设备折旧；亚马逊则 于2022年1月将服务器寿命从4年延长至5年，使其22年折旧成本减少36亿美元、利润增加28亿美 元，此外，根据亚马逊24Q1业绩会，公司已再次延长服务器折旧年限，从5年调整为6年，预计该 举措将进一步优化未来公司的利润表现。

收益测算

GPU更新周期促使过往代际产品折价，云厂商推出多年期订阅折扣。按照英伟达迭代节奏，基本为 两年一代际。未来随着GPU的更新升级，云厂商也将推出基于新款GPU的云计算服务，过去的虚拟 机通常会面临一定的折价，新一代的云服务与上一代产品形成价格梯队，从而促进产品或服务间的 差异化销售。从微软Azure和亚马逊AWS对上一代A100服务器的定价策略来看，对多年期订阅均给 予一定优惠，微软基于其标准价格分别对一年期和三年期推出8折和5折优惠，亚马逊则分别推出6 折和3.5这优惠。因此，在收益测算中，我们也将基于云厂商当前对H100的租赁价格，对不同折价 情况下的收益和利润测算进行敏感性分析。

报告节选：