大厂布局 ChatGPT 类似产品，或将带来底层算力需求。
ChatGPT 发布之后，引发了全球 范围的关注和讨论，国内各大厂商相继宣布 GPT 模型开发计划。据各公司官网，2023 年 2 月 7 日，百度宣布将推出 ChatGPT 类似产品“文心一言”，预计今年 3 月展开内测；2 月 8 日阿里宣布阿里版 ChatGPT 正在研发中，目前处于内测阶段；2 月 9 日，字节跳动旗下 AI Lab 宣布正在开展 ChatGPT 和 AIGC 相关研发，未来将为 PICO 提供技术支持；2 月 10 日，京东旗下言犀人工智能平台推出产业版 ChatGPT—“ ChatJD”。我们认为，随着国内 互联网厂商陆续开展 ChatGPT 类似产品研发，GPT 大模型训练热潮或将带来底层算力需 求快速释放。
AI 模型对算力的需求主要体现在训练和推理两个层面。当前主流的人工智能算法通常可分 为“训练”和“推理”两个阶段。据 IDC 数据，2021 年中国人工智能服务器工作负载中， 57.6%的负载用于推理，42.4%用于模型训练。据 IDC 预计，到 2026 年 AI 推理的负载比 例将进一步提升至 62.2%。
具体来看： 1）训练阶段：基于充裕的数据来调整和优化人工智能模型的参数，使模型的准确度达到预 期。对于图像识别、语音识别与自然语言处理等领域的复杂问题，为了获得更准确的人工 智能模型，训练阶段常常需要处理大量数据集、做反复的迭代计算，耗费巨大的运算量。 2）推理阶段：训练阶段结束以后，人工智能模型已经建立完毕，已可用于推理或预测待处 理输入数据对应的输出（例如给定一张图片，识别该图片中的物体），此过程被称为推理阶 段。推理阶段对单个任务的计算能力要求不如训练那么大，但是由于训练出来的模型会多 次用于推理，因此推理运算的总计算量也相当可观。
ChatGPT 算力需求场景包括预训练、Finetune 及日常运营。从 ChatGPT 实际应用情况来 看，从训练+推理的框架出发，我们可以将 ChatGPT 的算力需求按场景进一步拆分为预训 练、Finetune 及日常运营三个部分：1）预训练：主要通过大量无标注的纯文本数据，训练 模型基础语言能力，得到类似 GPT-1/2/3 这样的基础大模型；2）Finetune：在完成预训练 的大模型基础上，进行监督学习、强化学习、迁移学习等二次或多次训练，实现对模型参 数量的优化调整；3）日常运营：基于用户输入信息，加载模型参数进行推理计算，并实现 最终结果的反馈输出。
预训练阶段：单次算力需求取决于模型参数量，最高可达3640 PFlop/s-day。ChatGPT 基于 Transformer 架构，进行语言模型预训练。GPT 模型之所以能够高效地完 成大规模参数计算，我们认为离不开Transformer架构的加持。拆解Transformer架构来看， 核心是由编码模块和解码模块构成，而 GPT 模型只用到了解码模块。拆解模块来看，大致 分为三层：前馈神经网络层、编码/解码自注意力机制层（Self-Attention）、自注意力机制掩 码层，其中：1）注意力机制层主要作用在于计算某个单词对于全部单词的权重（即 Attention）， 从而能够更好地去学习所有输入之间的关系，实现对文本内在关系的理解和更大规模的并 行计算；2）前馈神经网络提供了对数据信息的高效存储及检索；3）掩码层在这一过程中 帮助模型屏蔽位于计算位置右侧尚未出现的单词。因此，相较于前代深度学习架构 RNN， Transformer 架构可以实现更大规模的并行计算，大大提升了计算效率。
单一大模型路线下，需要完成大规模参数计算。以 GPT-3 模型为例，随着模型朝更大体量 的方向演进，参数量从 GPT-3 Small 的 1.25 亿个增长到 GPT-3 175B 的 1746 亿个，一次 训练所需的计算量从 2.6PFlop/s-day 增至 3640PFlop/s-day。与此同时，在不同学习样本 （包括小样本、单一样本、零样本）条件下的模型，随着参数量的提升均实现不同幅度的 上下文学习能力改善，外在表现为语言准确率的提升。我们认为，随着大模型训练表现出 越来越强大的实战能力，未来或将成为 NLP 训练的主流选择。
推理阶段：预计单月运营算力需求约7034.7 PFlop/s-day。ChatGPT 近一月访问量为 8.89 亿次。据 SimilarWeb 数据，2023 年 1 月以来 ChatGPT 官 网日访问量持续攀升，从 1 月初的日均千万次级别，到 1 月底日均两千万次，再到 2 月中 旬的三千万次级别，随着软件效果的广泛传播，用户访问次数愈发频繁。加总近一月 （2023/1/17-2023/2/17）ChatGPT 官网访问量数据来看，可得 ChatGPT 月访问量为 8.89 亿次。
预计日常运营单月所需算力约 7034.7 PFlop/s-day。日常运营过程中，用户交互带来的数 据处理需求同样也是一笔不小的算力开支。据前文，近一个月（2023/1/17-2023/2/17） ChatGPT 官网总访问量为 8.89 亿次。据 Fortune 杂志，每次用户与 ChatGPT 互动，产生 的算力云服务成本约 0.01 美元。基于此，我们测算得 2023 年 1 月 OpenAI 为 ChatGPT 支 付的运营算力成本约 889 万美元。此外，据 Lambda，使用训练一次 1746 亿参数的 GPT-3 模型所需花费的算力成本超过 460 万美元；据 OpenAI，训练一次 1746 亿参数的 GPT-3 模型需要的算力约为 3640 PFlop/s-day。我们假设单位算力成本固定，测算得 ChatGPT 单 月运营所需算力约 7034.7PFlop/s-day。
Finetune阶段：预计ChatGPT单月Finetune的算力需求至少为1350.4PFlop/s-day。模型迭代带来 Finetune 算力需求。从模型迭代的角度来看，ChatGPT 模型并不是静态的， 而是需要不断进行 Finetune 模型调优，以确保模型处于最佳应用状态。这一过程中，一方 面是需要开发者对模型参数进行调整，确保输出内容不是有害和失真的；另一方面，需要 基于用户反馈和 PPO 策略，对模型进行大规模或小规模的迭代训练。因此，模型调优同样 会为 OpenAI 带来算力成本，具体算力需求和成本金额取决于模型的迭代速度。
预计 ChatGPT 单月 Finetune 算力需求至少为 1350.4PFlop/s-day。据 IDC 预计，2022 年中国人工智能服务器负载中，推理和训练的比例分别为 58.5%、41.5%。我们假设， ChatGPT 对推理和训练的算力需求分布与之保持一致，且已知单月运营需要算力 7034.7 PFlop/s-day、一次预训练需要算力 3640 PFlop/s-day。基于此，我们进一步假设：1）考 虑到 AI 大模型预训练主要通过巨量数据喂养完成，模型底层架构变化频率不高，故我们假 设每月最多进行一次预训练；2）人类反馈机制下，模型需要不断获得人类指导以实现参数 调优，以月为单位可能多次进行。由此我们计算得 ChatGPT 单月 Finetune 算力成本至少 为 1350.4PFlop/s-day。
