2024年AI ASIC行业专题报告：算力需求高增，AI ASIC突围在即

AI ASIC 市场处于发展初期，有望保持高速增长

ASIC 是提性能、降功耗成本、增强供应多元化的重要选择

由于制造工艺接近物理极限，芯片性能提升速度放缓，同时，功耗散热问题 越来越严重，成为性能提升的瓶颈。以 GPU 为例，近年来，GPU 的单位面 积计算性能（TFLOPS/mm^2）提升缓慢，其性能提升主要依靠面积变大。 NVIDIA 的 B200、AMD 的 MI300、英特尔的 Gaudi 3 都将两块芯片算作 一张卡，以实现“双倍”性能。

对此困境，卸载通用计算芯片的部分功能，设计出针对特定场景的芯片，是 提升芯片性能、降低能耗的重要方式。参考比特币矿机，由于比特币的算法 固定，芯片厂商可以针对其算法设计专用 ASIC 芯片，成本更低，同时处理 速度要比 GPU 快几个数量级，性价比更高。

算法稳定性也是影响 ASIC 发展的重要因素。如果 AI 算法发生较大变化， 那么根据之前算法设计的ASIC计算效率就会大幅下降。以Sohu芯片为例， 它将专用性做到极致，仅支持 Transformer 算法，由于删除了绝大多数控制 流逻辑，它获得了极高的数学性能，FLOPS 利用率超过 90%，每秒 token 处 理数超过 H100 的 20 倍，但它牺牲了通用性，无法运行 CNN（Convolutional Neural Network，卷积神经网络）、RNN（Recurrent Neural Network）或 LSTM(Long Short Term Memory)等 AI 算法。 深度学习发展至今，模型架构经历从 RNN、LSTM 到 Transformer 的演进历 程，Transformer 在大语言模型开发中占据主导地位，且 Scaling law 并未 失效，Transformer 并未达到天花板。OpenAI 的 GPT 系列模型、llama、文 心一言、通义千问等前沿的大语言模型都基于 Transformer 架构进行训练， 多模态大模型也大都采用 Transformer，只是可能会结合专门处理图像数据 的 CNN 组件，需要使用跨模态的注意力机制、联合嵌入空间或特殊的融合 层来对不同模态信息进行融合。 由于 Transformer 存在内存需求巨大的问题，一些学界或创业团队也在探索 非 Transformer 架构，试图提高计算效率、降低计算成本。目前主要分为 RWKV、Mamba、retnet 为代表用循环结构代替 attention，以及把 full attention 密集结构变得稀疏的两类路径，他们对内存占用的需求更低，有更高的计算 效率，但业界对其是否具备 Transformer 一样的高天花板存疑，此外，从研 究资源、软硬件生态角度看，Transformer 架构具备较高的护城河，非 Transformer 仍存在较大的差距。

AI ASIC 处于发展初期，2028 年市场规模有望超 400 亿美元

北美云厂商对 AI 芯片需求量大，为了增强议价能力和供应链多元化，有充足的动力自研芯片。北美云厂商在 AI 领域的资本开支近两年有望保持高速 增长，是英伟达的重要客户，谷歌、微软、亚马逊、Meta 和甲骨文五家云 厂商预计贡献了 FY2025 英伟达 GPU 六成以上的收入，预计接近 500 亿美 元。而 AI ASIC 芯片当前规模远低于 GPU，博通 FY2024 定制芯片收入预 计 70 亿美元左右，Marvell FY2024 可能仅有个位数亿美元收入。我们认为 当前定制芯片仍处于发展初期，云厂商为了降低成本、增强供应链保障，会 持续迭代 ASIC 并增大在特定场景的 ASIC 部署规模，ASIC 市场规模有望 高速增长。

目前 ASIC 在 AI 加速计算芯片市场占有率较低，预计增速快于通用加速芯 片。据 Marvell 预测，2023 年，定制芯片仅占数据中心加速计算芯片的 16%， 其规模约 66 亿美元，随着 AI 计算需求增长，以及定制芯片占比提升至 25%， 预计 2028 年数据中心定制计算芯片市场规模将达到 429 亿美元，2023-2028 年 CAGR 达 45%。而通用加速计算芯片 2028 年预计达到 1716 亿美元市场 规模，2023-2028 年 CAGR 为 32%。

IP 和产业链整合是芯片自研主要挑战，需借助外部厂商支持

芯片的自研可分为前端、后端两个阶段，其中，IP 和产业链整合是主要的 挑战。前端即逻辑设计，涉及芯片的基本功能，后端则是将所有的功能落实 到电路并且流片出来的物理实体。目前，电路设计生态已经相对成熟，自研 团队面临的第一道门槛是有严密的知识产权保护的 IP，为了获得这些 IP， 自研厂商往往需要与 IP 设计厂商合作，获得授权，此外，部分艰深的结构 （如 NOC，片上网络）也是自研团队难以独立完成的。除了设计环节，自 研厂商还面临流片、量产、芯片组网、产业链整合、软件生态等一系列挑战。 据芯潮 IC 调查了解到，每家迭代第一代产品，如果按 7 纳米中间节点去算，加量产至少小 20 亿美金。

云厂商自研芯片时，通常会选择博通、Marvell、英伟达、联发科等厂商合 作设计芯片，再通过台积电等代工厂完成芯片制造，目前博通客户量产节 奏领先。博通目前有三家定制芯片大客户，前两家客户已经进入量产期，新 加入的客户预计在 2025 年进入量产。Marvell 目前有三位 ASIC 客户，目 前均未量产，A 客户（预计是亚马逊）的 AI 训练芯片、B 客户的 Arm CPU 处于产能爬坡期，A 客户的 AI 推理芯片、C 客户的 AI 芯片预计分别 2025 年、2026 年开始产能爬坡，Marvell 预计 2026 财年（日历年 2025 年-2026 年） AI ASIC 业务将贡献 25 亿美元营收。英伟达则处于更前期的阶段。据 路透社报道，英伟达正在建立新的业务部门，专注于为云计算和其他公司设 计定制芯片，包括 AI 处理器，已经与亚马逊、Meta、微软、谷歌和 OpenAI 的代表会面，讨论为他们生产定制芯片的事宜。据 ITBEAR 报道，联发科 将为谷歌提供 AI 服务器芯片的串行器和解串器(SerDes)方案，并协助整合 谷歌自研的 TPU。

云厂商积极布局 ASIC，打造软硬件全栈生态

谷歌 TPU

TPU 已进化至第六代，覆盖推理和训练场景

张量处理单元(Tensor Processing Units，简称 TPU)是由 Google 开发的，用 于加速机器学习工作负载的集成电路(ASIC)，可以快速处理神经网络中使 用的大量矩阵运算，支持 TensorFlow、Pytorch 等框架和 JAX。 谷歌 TPU 目前已演化至第六代，可以满足推理和训练不同场景的需求。谷 歌第一代 TPU 芯片于 2015 年推出，主要用于推理场景。其推出背景是随着 深度神经网络兴起，矩阵乘加成为重要的计算任务，而谷歌基于成本和战略 的考虑，选择搭建团队自研芯片，谷歌招募了 David Patterson——RISC 原 始设计的开发者等关键人物，并与博通合作，帮助芯片的物理落地。2016 年， 使用 TPU 的 Alpha Go Zero 击败了当时的世界围棋冠军李世石。此后，TPU 不断迭代，到 2024 年，已经更新至第六代。TPU 又可根据应用场景，分为 e 系列和 p 系列，其中，e 系列负责训推一体，部署灵活，而 p 系列则主要 负责更大规模的基础模型训练任务。TPUv5p 单个 Pod 可以达到 8960 颗芯 片的集群规模，此外，借助 Multislice 训练技术，TPU v5e 可以实现 5 万卡 线性加速。

博通、台积电等合作伙伴在谷歌的 TPU 设计制造中提供了重要支持。博通 不仅共同参与芯片设计，还为谷歌提供关键的知识产权，并与台积电等厂商 合作，在制造、测试、封装等步骤提供支持，帮助谷歌将设计想法落地为可 运行的物理芯片。从谷歌的第一代 TPU 至今，博通都参与了芯片的共同设 计，对于 TPU 第六代芯片，则采用了台积电 3-4nm 制程，基于 ARM 架构 设计，预计将于 2024 年年底推出。 TPU 部署规模快速增长，为自研大模型及苹果等外部客户提供支持。Tech Insights 预计，2023 年谷歌向其全球数据中心运送了 200 万个 TPU。Omdia 预计，2024 年谷歌云将部署价值 60 亿美元的 TPU，为 Gemini、Gemma 和 Search 等内部项目和苹果等外部客户工作负载提供支持。苹果披露其云侧 AI 基础模型在 8192 颗 TPUv4 芯片上训练，端侧 AI 模型在 2048 颗 TPUv5p 芯片上训练而成。博通 2024 年定制芯片收入预计接近 70 亿美元，主要来 自谷歌 TPU。

TPU 擅长处理大量矩阵运算

TPU 是 ASIC 芯片，其主要任务是矩阵处理，可以快速高效处理神经网络中 使用的大量矩阵运算，但不能运行文字处理程序、控制火箭引擎或执行银行 交易等通用型任务。GPU 同样也适合处理大量并行任务，但依然是一种通 用处理器，对于对于数千个算术逻辑单元（ ALU） 中的每一次计算，GPU 都必须访问寄存器或共享内存，以读取运算对象以及存储中间计算结果。而 TPU 在矩阵乘法过程中，不需要访问内存。

TPU 的主要任务是进行矩阵处理，即乘法和累加运算的结合。一个 TPU 芯 片包含一个或多个 TensorCore，每个 TensorCore 当中包含一个或多个矩阵 乘法单元（MXU）、矢量单元和标量单元，MXU 由收缩阵列中的 128 x 128 个乘积累加器组成。TPU 包含数千个乘法累加器。TPU 主机将数据流式传 输到馈入队列中，从馈入队列加载数据，并将其存储在 HBM 内存中。执行 乘法运算时，结果会传递到下一个乘积累加器，输出是数据和参数之间的乘 积总和，在矩阵乘法过程中，不需要访问内存。计算完成后，TPU 会将结果 加载到馈出队列中。然后，TPU 主机从馈出队列读取结果并将其存储在主 机的内存中。

创新引入 3D torus 架构和光交换机，增强拓展性与互联效率

TPU v4 和 TPUv5p 算力集群均采用 3D torus 架构和光交换机（Optical Circuit Switch, OCS），提供高速的网络连接。以 TPUv4 为例，每 64 颗 TPU v4 芯片组成 4x4x4 的立方体，4 颗 TPU v4 搭配一颗 CPU，64 颗 TPUv4 和 16 颗 CPU 可放入一个机架（rack），选择每 64 颗 TPUv4 芯片作为一个 4 3 的模块（block）。 一个模块包含 6 个“面”的光路连接，每面有 16 条光路连接，单个模块共 96 条光路连接至 OCS。相对面的每对连接必须通过同一个 OCS 实现相连， 每个模块连接 48 个 OCS，整个超算中心基于 OCS 可以实现 4096 个 TPU v4 芯片的互联。

TPUv4 算力集群的物理架构：一个 PCB 板包含 4 个 TPU v4，通过 ICI 链 路连接到其他托架（tray），16 个托架共同放入一个机柜，形成 4x4x4 的 3D 模块结构。64 个机柜共同组成 4096 颗芯片规模的算力集群。

谷歌创新使用 OCS，其具备吞吐量利用率高、成本低、功耗低等优势。在 主机可靠性为 99%和 1000 片 TPU 的情况下， 使用 OCS 的吞吐量利用率 达 50%，而不使用 OCS 的吞吐量利用率近似于 0。由于 OCS 交换机直接交 换光信号，减少了光电转换过程中的功耗损失，OCS 功耗在整体系统中占 比不足 3%。同时，OCS 还具备显著的成本优势，在 TPU v4 算力集群资本 开支占比不到 5%。

考虑到 TPUv4 和 A100 均在 2020 年进入部署阶段，且均使用 7nm 工艺制 造，A100 与 TPU v4 更可比，虽然 TPUv4 单颗芯片算力仅为 A100 的 88% （BF16 精度下），但 TPU v4 算力利用率高，其算力集群在实测性能、成 本、功耗等方面均具备显著优势。谷歌系统和服务基础设施副总裁 Amin Vahdat 表示，平均而言，TPUv4 集群在 MLPerf 测试中的表现比 NvidiaA100s 高出 40%。在成本上，4096 颗 TPU v4 芯片和同规模的 A100 芯片相 比，可以节约 35-50%左右的成本。功耗方面，MLPerf 测试结果显示，在各 自由 64 颗芯片组成的集群中，A100 的功耗是 TPU v4 的 1.3 倍至 1.9 倍。

随着 TPU 持续迭代，算力成本持续下降。TPUv5e 的相对性能（TFLOPs/ $） 是 TPUv4 的 2.3 倍，参考谷歌披露的 TPU v4 公开标价 3.22 美元/芯片/小 时，TPU v5e 的标价为 1.2 美元/芯片/小时，TPU v5e 可以以更低的成本实 现更高的算力。

最新一代 TPUv6 Trillium 预计 2024 年下半年推出交付，从 FP16/BF16 精 度来看，谷歌 TPUv6e 可以达到 926TFLOPS，约为 H100、B100 的 93%、 53%（非稀疏算力口径）。相比第五代 TPU，TPU v6 节能 67%。

提供 Mulislice Training 全栈服务，支持大模型高效训练

在 TPU 上运行的代码必须由加速器线性代数(XLA)编译。XLA 是即时的编 译器，接受机器学习框架应用发出的图，以及将图的线性代数、损失和梯度 分量编译为 TPU 机器代码。它可以加速 TensorFlow、PyTorch 等框架的运 行速度，而且可能完全不需要更改源代码。

谷歌提供 Cloud TPU Multislice Training 全栈服务，提升了集群的拓展性和 训练效率。支持用户将 AI 模型训练拓展到物理 TPUPod 边界之外，TPUv5e 可拓展至 5 万卡集群，同时保持高效的训练性能，以训练一个 32B 参数的 密集LLM模型为例，TPUv5e集群可达53%的MFU（Model FLOPS Utilization， 模型算力利用率）。

Meta MTIA

MTIA 快速迭代，目前主要用于 AI 推理

2023 年 5 月，Meta 推出第一代 AI 推理芯片 MTIA v1（Meta Training and Inference Accelerator），用于支持 Meta 的深度学习推荐模型，该模型是 Facebook, Instagram, WhatsApp, Meta Quest, Horizon Worlds, and Ray-Ban Stories 业务的重要基础。MTIA v1 芯片采用台积电 7nm 制程，Meta 研究显 示，对于低复杂度的深度学习模型，MTIA 的运行效率（TFLOPS/W）优于 GPU，而对于中高复杂度的模型，GPU 的效率更佳，公司表示正在持续优化 MTIA 的软件堆栈，预计未来将实现类似的效率水平。 2024 年 4 月，MTIA v2 发布，用于 AI 推理，旨在增强 Meta 的排名和推荐 广告模型。MTIAv2 采用台积电 5nm 制程，与上一代相比，计算和内存带 宽翻倍提升，INT8 下的稠密算力接近上一代的 3.5 倍，稀疏算力达到上一 代的近 7 倍，达到 708TFLOPS。目前已有 16 个数据中心使用了新款芯片， Meta 预计未来几年内对 MTIA 芯片的投入将会不断增长。 Meta 的算力需求持续增长，目前 AI 训练任务主要依赖 GPU 算力集群。 Meta 有两个 24576 颗 GPU 组成的数据中心，支撑了大模型 Llama 3 等 AI 领域的研究。到 2024 年末，Meta 预计将拥有等效 60 万片 H100 的算力， 对应百亿美金以上的资本开支。据扎克伯格预计，Llama 4 的计算能力是 Llama 3 的 10 倍（Llama 3 405B 参数大模型在 1.6 万颗 H100 80GB 的集群 上训练，花费 45 天），2025 年公司在 AI 方向的资本开支将继续增长。

相比 A100，MTIA v2 计算能力约 A100 的一半，但其算力利用率更高，功 耗节约、成本方面具备明显的优势。MTIA v2 在 INT8 精度下的 GEMM 计 算能力为 354 TFLOPS，约为 A100 的 57%，其功耗也远低于 A100，MTIA v2 的设计功耗是 90w，而 A100 的最大功耗达 250w（PCIe 版）。MTIA v2 的价格预计在 2000-3000 美金，显著低于 A100 芯片约 1 万美金的价格。 MTIA v2 芯片对低复杂度和高复杂度的排名推荐模型均适用。由于 Meta 对 整个软件堆栈的掌握程度高，实际运行中，可以实现比 GPU 更高的效率。

MTIA 旨在寻求计算、内存带宽的平衡

梳理近年的计算系统可以发现，存储和通信带宽提升速度慢于计算性能，影 响了工作负载的表现。当前工作负载运行很大一部分时间都被网络通信占 据，因此，Meta 希望寻求计算能力、存储带宽和通信带宽三个维度的平衡， 以实现最优的性能表现。

从芯片架构来看，MTIA v2 内部包含加速器、片上和片外存储以及互联结 构组成。加速器由 8x8 的处理单元网格（PE，processing element）组成，PE 彼此互联，可以作为一个整体运行任务，也可以独立处理任务。

与其他芯片相比，MTIA v2 有更大的片上内存和片外内存容量，有助于降 低时延，提升性能。MTIA v2 使用 LPDDR5 存储，其内存容量为 128GB， 带宽为 204.8GB/s。片上内存 SRAM 容量高达 256MB，SRAM 带宽为 2.7TB/s， 每个 PE 内存容量为 384KB，PE 带宽为 1 TB/s。而 A100 的 L2 缓存容量为 40MB，每个 SM 的内存容量为 192KB，远低于 MTIA v2 的片上内存。

MTIA v2 单机架容纳 72 颗芯片，机架间采用以太网通信

Meta 打造大型机架式系统，最多可容纳 72 个 MTIA v2 芯片。一块板包含 2 颗 MTIA v2 芯片，12 块板放在一个机箱里，3 个机箱组成一个机架系统。 一块板上的两颗 MTIA v2 芯片共享一个 PCIe 5.0x16 连接器，用于加速器之 间以及主机和加速器之间的互联，芯片互联的双向带宽达 64GB/s，机架外 的通信可采用以太网的 RDMA 网卡。

MTIA 具备完整软件生态，与 PyTorch 完全集成

MTIA 软件堆栈与 PyTorch 完全集成，致力于提高开发者编程效率。MTIA v2 软件堆栈与 PyTorch 2.0、TorchDynamo、TorchInductor 完全集成，MTIA v2 的低级编译器从前端获取输出，生成高效且特定于设备的代码。下方是 运行时堆栈，负责与驱动程序/固件接口，最后，运行时与驱动程序交互。 Meta 创建了 Triton-MTIA 编译器后端为芯片硬件生成高性能代码，Triton 用 于编写 ML 计算内核，极大提高了开发人员效率。

微软 Maia

微软 AI 芯片起步较慢，但有多年的技术积累

微软于 2023 年 11 月举行的 Ignite 开发者大会上，发布了微软两款自研芯 片，云端 AI 芯片 Azure Maia 100 和服务器 CPU Azure Cobalt 100。虽然 Maia 100 是微软在 AI 训练和推理领域定制芯片的初次尝试，起步晚于谷 歌、亚马逊等大型云厂商，但微软在芯片研发方面拥有较为丰富的经验。微 软曾经开发过定制 CPU E2，专为多任务处理和高性能计算设计，此外微软 第一代 AI 自研芯片的性能指标也较为领先，未来有望成为云厂商 ASIC 领 域重要玩家。微软多年来已经发展了完善的软件配套设施，随着芯片研发的 顺利推进，为微软数据中心的基础设施建设补足硬件配套的不足。

Maia 100 算力性能领先，片内外内存存在一定不平衡

Maia 100 是使用台积电先进封装技术在 5nm 节点上制造的最大处理器之 一，拥有 1050 亿颗晶体管。Maia 100 是微软针对人工智能任务和生成式 AI 进行优化而设计的处理器，目前已在 Bing 和 Office 上进行了测试，Open AI 也在用该芯片进行测试。 Maia 100 的算力指标出色，接近 H100。据 Semianalysis 分析，Maia 100 在 MXFP4 数据格式下的性能达到 3200 TFLOPS，MXInt8 下达到 1600 TFLOPS，，BF16 下达 800TFLOPS（H100 为 1000TFLOPS），在计算能力方 面的竞争有一席之地。 Maia 的片外内存相对较低，片上内存有明显优势。Maia 拥有 448MB 的 L2 缓存区和 140MB 的 L1 缓存区，而 Nvidia H100 只配置了 50MB 的 L2 缓 存。微软在 Maia 芯片上采用了 4 个 HBM 堆栈，不同于 Nvidia（6 个）、 AMD（8 个），整体最高提供了 64GB 的 HBM 容量。但在内存带宽方面， Maia 100采用的是 1.6 TB/s 的内存带宽，相较于亚马逊Trainium、Inferentia， 谷歌 TPU 没有太大优势，甚至处于落后地位。据 Semianalysis 分析，因为 Maia 芯片在 LLM 热潮发生前设计，Maia 100 在片上内存和片外内存方面 存在一定的不平衡。

Ares 机架由 32 颗 Maia 100 组成，配置液冷系统

微软为 Maia 100 芯片量身打造了机架，名为 Ares，配备 32 颗 Maia 100 芯 片。Ares 机架的功率可达 40kw，一个机架中搭载了 8 台服务器，每台服务 器中含有 4 个 Maia 100 芯片。因此一个机架中总共有 32 枚 Maia 100 芯片。 在 Ares 机架中，微软配置了 Sidekick 液体冷却系统。在机架两侧设置副设 备，冷液从副设备流向 Maia 100 表面的冷板，副设备吸取液体中热量后再 将冷液输出，以此构建循环。

Maia 芯片内置 RMDA 以太网 IO，集群配置 25.6T 交换机

微软对 Maia 芯片的网络连接部分做了较大的创新，每个芯片中内置高带 宽的 RDMA 以太网 IO，优化了数据传输过程。Maia 100 配置了 4.8 Tb/s 的 以太网 IO，相比英伟达并不逊色，能够满足跨机器分布推理的极大需求。 同时 Maia 100 将 PCIe 通道减少至 8 个，最大程度扩大 112G SerDes 的区 域。 Ares 机架内部配备了 3 台交换机，交换机主要由思科和 Arista 供应。从推 测的拓扑图来看，在 Y 方向上，每片 Maia 100 通过 400Gb/s 的带宽连接到 3 台交换机，每台服务器由 4 片 Maia 100 构成，总共集成 4.8T/s 的带宽连 接到每台交换机。交换机上行进行机柜间 Scale-Out 连接，每个机柜每个平 面有 32 个 400Gb 接口，根据 TOR 上下收敛比 1：1，可以推测出每台交换 机的吞吐量为 25.6T。在 X 方向上，按照 X00—X10 进行传输，在 X 方向 上形成了环形互连。单个 Maia 100 芯片提供了高达 4.8T 的带宽，每个服务 器内的 4 颗 Maia 100 芯片通过 Mesh 连接，实现了 1.2T 的片间互连。

微软软件生态开发成熟度高，构建 Triton 开源平台

微软在软件生态方面的开发成熟度较高，自研芯片如何和软件生态高效配 合、发挥更高效率是发展的目标。为了开发者在 Azure 上更高效的实现模 型的开发，微软为 Maia 100 提供软件配套，集成 Pytorch、ONNX Runtime 等流行开源框架。该软件栈提供了丰富的编译器、库和工具。 微软和 OpenAI 合作构建了一个基于 Python 的互操作性层，名为 Triton。 Triton 通过抽象底层硬件来简化内核创作，使得在不同 GPU 之间的转换更 加高效，无需对代码进行大量改写或者构建自定义内核，赋予开发者更多的 灵活性，同时不会牺牲模型的工作负载能力。

亚马逊 Trainium

亚马逊在公有云市场布局广阔，自研芯片涉猎较早

Amazon Web Services(AWS)是快速发展的云服务巨头，AWS 为亚马逊贡献 了 907.5 亿美元的营收，根据 2023 年 10 月 Synergy Research 的调查显示， 全球公有云 IaaS 市场，亚马逊 AWS 的市场份额达到 32%(谷歌云 Google Cloud 11%，微软 Azure 23%)，处于领先地位。 亚马逊较早尝试自研芯片降低成本，目前，亚马逊具有 3 条自研芯片的产 品线：Nitro、Graviton 和 AI 芯片。2013 年，亚马逊推出首颗 Nitro 1 芯片(DPU)，这是其在自研芯片领域的初次尝试，为亚马逊的云服务网络架构提 供了底层的网络支持。2015 年，亚马逊收购了为其长期设计芯片的 Annapurna 实验室，于 2016 年发布了自研芯片 Graviton，这是一款基于 Arm 架构的服务器 CPU 芯片，从这之后亚马逊保持每两年对芯片进行迭代更新 的速率。据亚马逊估计，客户使用最新一代的 Graviton 4 可将 IT 费用减少 一半。伯恩斯坦的一份报告显示，目前全球近 10%的服务器基于 Arm 处理 器，其中，AWS 占据了全球超过一半的 Arm 服务器 CPU 市场。 AWS 在 AI 芯片的布局主要包含推理芯片 Inferentia 和训练芯片 Trainium 两大系列。亚马逊在 2018 年推出 AWS 第一款 AI 推理芯片 Inferentia，2022 年对其进行了升级迭代。2020 年，在 AWS re:Invent 开发者大会上，AWS 发 布其第二款机器学习芯片，Trainium，用于机器学习训练。2023 年开发者大 会上，AWS 对其 Trainium 系列芯片进行升级，发布 Trainium 2, 相比上一 代性能提升 4 倍。

Trainium 系列主要用于训练场景，已进化至第二代

在 2020 年 AWS re:Invent 开发者大会上，AWS 发布了第一款 Trainium 芯 片，主要用于机器学习的训练。Trainium 针对自然语言处理、计算机视觉和 推荐器模型进行了优化，这些模型将用于文本摘要、代码生成、问题解答、 图像和视频生成、推荐和欺诈检测等各种应用程序。Trainium 主要用于 AWS 的云服务器 EC2 中。 每颗 Trainium1 芯片包含两个 NeuroCore-v2。Trainium 架构是在 Inferentia 的基础上的改进，Trainium 1 芯片中内含 2 个 NeuronCore，NeuronCore-v2 中每个核心中的标量、矢量和张量引擎数量比上一代增加了一倍。另外， NeuronCore-v2 引入了一个名为 GPSIMD-Engine 的新引擎，由 8 个完全可 以编程的 512 位宽矢量处理器组成，可以直接使用 C 和 C++进行寻址，并 访问嵌入式片上 SRAM 内存。 Trainium 1 配置了 32 GB 的 HBM 堆叠 DRAM，带宽为 820GiB/秒，用于提 升设备整体带宽，极大程度提高数据传输速率。在互连端，AWS 在 Trainium 1 中采用了 PCI-Express 5.0 标准的外形尺寸和 I/O 插槽，并配置了 4 条 NeuronLink 互连链路，是上一代芯片的 2 倍，总共能提供高达 768 GB/s 的 带宽。NeuronLink-v2 是 AWS 推出的最新一代芯片间互连技术,单条链路提 供 96GiB/秒的带宽，可实现高效的横向扩展分布式推理。

Trainium 1 可以达到 380 INT8 TOPS，190 FP16/BF16 TFLOPS 和 47.5 FP32 TFLOPS。此外，Trainium 1 提供 1TB/秒的 DMA 带宽，具有内联内存压缩 和解压缩的功能。 2023 年，AWS 发布了为高性能训练 FM 和 LLM 设计的 Trainium 2,和第 一代 Trainium 1 相比，性能提升了 4 倍,内存容量扩充 3 倍，同时将能效提 高 2 倍。

根据 Trainium 2 芯片封装图推断，Trainium 2 为 2 个 Trainium 1 芯片通过某 种高速互连的方式相互连接，在计算元素、网络连接等层面上相较于 Trainium 1 没有根本改变，但在性能方面有了显著提升，拥有更多的内核和 内存带宽。据 The Next Platform 报道，Trainium 2 将采用 4nm 工艺，内含 1150 亿颗晶体管，相当于 Trainium 1 的 3 倍。

16 片 Trainium 芯片构成 Trn 实例，可拓展至万片集群

亚马逊通过弹性计算云服务 EC（Amazon Elastic Compute Cloud）为客户提 供计算服务，允许客户按需扩展计算资源。EC2 Trn1/Trn1n 实例由 16 台 Trainium 构成，可以使用 Trn1 实例在广泛的应用程序中训练 1000 亿以上 的参数的深度学习训练。Trn1 主打高效能，低成本。Trn1 可将训练时间大 幅度缩短，从数月缩短至数周甚至数天。据亚马逊公布的数据显示，在对深 度学习模型进行训练时，Trn1 实例比 Nvidia A100 芯片支持的 P4d 实例训 练速度高 50%，成本比 P4d 实例低 40%。 相比 Trn1，Trn1n 的 EFA 带宽翻倍至 1600Gbps，在网络密集型模型训练上 效率更高。EFA(Elastic Fabric Adapter)是 AWS 针对机器学习和高性能计算 开发的网络适配器。EFAv2 和第一代 EFA 相比，将集体通信性能提升 50%, 从而达到加快分布式训练的目的。为实现高效的数据和模型并行性，每个 Trn1 实例都有 512G 共享加速器内存 HBM。

在 Trn1 芯片互连中，Trn1 实例支持最高达 768Gb/秒的 NeuronLink-v2，这 是亚马逊自主研发的网络互连技术，适用于高吞吐量低延迟的应用场景。16 个 Trainium 芯片通过 NeuronLink-v2 以 2D 环形拓扑在 Trn1/Trn1n 服务器 中相连,使得大规模设备训练更加高效。 Trn1/Trn1n 实例能部署在更大规模的 EC2 UltraCluster 中，让客户能够将 Trn1/Trn1n 实例拓展到 30000 个 Trainium 芯片，将芯片与 EFA 网络互连， 能够提供 6 exaflops 的计算性能，并让客户按照需求访问超级计算机性能。 在此规模下，客户可在数周内训练 3000 亿个参数的 LLM。 AWS 将在 2024 下半年推出 Trainium 2 芯片部署的 Trn 2 实例，AWS 宣称 将 Trainium 2 芯片拓展至 10 万个，提供 65 exaflops 的计算性能，将有可 能成为世界上最大的人工智能计算集群。

AWS 构建三层人工智能堆栈结构，提供 SDK 等开发工具

Neuron SDK 是基于 Tranium 和 Inferentia 实例上运行深度学习上工作负载 的开发工具包，包含深度学习编译器、运行时和原生集成到 TensorFlow 和 Pytorch 中的工具。开发者可以轻松将基于 GPU 的实例迁移到 AWS Tranium 中，无需对代码进行底层的修改。机器学习复杂性要求其在大规模集群上拓 展其模型，客户只要少量修改代码即可实现大规模的海量数据训练，大大降 低了训练成本。 AWS 为拓展自研芯片的适用场景，降低对 Nvidia GPU+CUDA 的依赖程 度，采取软硬结合的方式多维度打造 AWS 云服务。AWS 在 2023 re:Invent 大会上，展示其三层生成式人工智能堆栈结构。处于最底层的是训练基础模 型和推理基础设施，除 AWS 在自研芯片的技术积累外，SageMaker 在 AWS 训练和推理的基础设施中发挥不可估量的作用。SageMaker 是 AWS 提供的 一项服务于机器学习的开发框架，方便开发者完成模型的训练和推理等工 作。处于中间层的是 Amazon Bedrock，是一项托管服务，允许客户在 AWS 上构建和部署可扩展的应用程序和服务。最顶层的是亚马逊生成式人工智 能助手 Amazon Q，处于直接应用层，帮助客户更好进行软件开发和数据分 析。 AWS 的人工智能芯片和 Nvidia 仍然存在一定的兼容性差距，未来亚马逊将 大力支持更多的开源模型，目前已和开源人工智能平台 Hugging Face 达成 深度合作，目标是 AWS 人工智能芯片更加具有兼容性，提升其市场份额。

特斯拉 Dojo

特斯拉自研 Dojo 计算平台，用于训练自动驾驶 AI 模型

Dojo 于 2019 年发布，是特斯拉自研的超级计算机平台，用于训练其自动驾 驶系统的人工智能模型。特斯拉在设计和生产过程中与合作伙伴台积电进 行了合作，dojo 平台的核心组件是 D1 芯片，是由台积电代工的定制专用集 成电路（ASIC），采用 7 纳米制程和先进封装技术。Dojo 可以有效训练全 自动驾驶技术 FSD，使其获得更多的学习经验，推动机器人出租车和网络 服务加快应用。

特斯拉预计 2024 年年底前投资超过 10 亿美元来开发自己的超级计算机 Dojo。在 24 年 Q2 财报电话会议上宣布，马斯克宣布将继续加倍投入 Dojo 的开发和部署，并将在今年年底前启动并运行 Dojo D1，它将拥有 8,000 颗 英伟达 H100 芯片的处理能力。Dojo 处理器已经投入量产。在量产前，特 斯拉已有基于英伟达 GPU 的大型超算，但是特斯拉需要每年为英伟达支付 数亿美金的使用费，随着 Dojo 的量产和投入使用，其可以在未来几年为特 斯拉节省大额的成本。

采用近存计算架构，单训练板功耗高达 15kw

整体架构上， Dojo 分成 6 个层级：内核、芯片、瓦片、模组，机柜，超算 机群。 1 个 D1 芯片上有 354 个核心。25 个 D1 组成一个训练板（training tile）， 6 个训练板组成一个训练矩阵（Training Matrix），2 个训练矩阵构成 1 个机柜，10 个机柜构成 1 个超算机群。 D1 单芯片 FP32 性能达 22TFLOPS，矩阵计算单元提供了 Dojo 主要的算 力。。特斯拉矩阵计算单元相应的专利如下图。该模块关键部件是一个 8x8 矩阵-矩阵乘法单元（Matrix Computational Unit）。输入为数据输入阵列和权 重输入阵列，计算矩阵乘法后直接在输出进行累加。每个 Dojo 核心包括 4 路 8x8 矩阵乘法单元。

包含 25 颗 D1 芯片的 Dojo 训练板设计成“三明治式”结构，实现了计算、 存储、供电和通信无缝集成。每个训练板都配置了 11GB 的片上跨内核 SRAM，这是一种近存计算架构，相应的耗电量也高达 15kw，采用液冷封 装，能效比为 0.6TFLOPS/W（BF16/CFP8）。Dojo 采用 InFO_SoW 封装， 这种封装技术不需要额外 PCB 载板，就能将相关芯片集成散热模块，加速 生产流程。

在高密度的计算芯片环境下，特斯拉面临较大的电力传输和散热问题考验。 单颗 D1 芯片的热设计功率 (TDP) 为 400 W，一个训练板的功耗高达 15 千瓦。在电力方面，特斯拉在 Dojo POD 上使用了全自研的 VRM（电压调 节模组），单个 VRM 可在不足 25 美分硬币面积的电路上，提供 52V 电压 和超过 1000A 巨大电流，电流目的为 0.86A 每平方毫米，共计 12 个独立 供电相位。特斯拉的电源调节模块和液冷板采取与芯片本身垂直的立体结 构，极大的减少了对处理器平面的面积占用，尽可能减少计算芯片间的距离。 特斯拉的 V1 训练矩阵包含 150 个 D1 芯片（6 个训练板），4 个主机 CPU， 每个主机装有 5 张 DIP 卡，这是一种 PCIe 卡，每个 DIP 含有 32GB HBM （800GB/s 存储带宽），支持特斯拉传输协议 TTP，提供超高的 TTP 带宽和 以太网带宽。训练板通过 DIP 连接至交换机。在 BF16 和 CFP8 精度下，V1 训练矩阵算力可达 1Exaflop。

自研 TTP 通信协议，提供高带宽低时延连接

Dojo 采用 TTP 专有通信协议，提供高带宽芯片间通信。特斯拉为 Dojo 芯 片设计了 TTP 作为通信协议，这是一种基于 PCIe 的专有协议，旨在提供高 带宽和低延迟的数据传输，D1 芯片间通信带宽高达 900GB/s. TTP 支持桥接到标准以太网，降低通信时延。TTPTTPOE 可将标准以太网 转换至 Z 平面拓扑，降低了垂直延迟，大幅降低网络跳数，以 50GB/s 在 以太网上运行。低延迟特性使得 Dojo 芯片在处理复杂计算任务时能够迅速 响应，提高了整体的系统性能。另外每个训练模块外部边缘的 40 个 I/O 芯 片达到了 36 TB/s 的聚合带宽，或者 10TB/s 的横跨带宽。每层训练模块都 连接着超高速存储系统：640GB 运行内存可以提供超过 18TB/s 的带宽， 另外还有超过 1TB/s 的网络交换带宽。

特斯拉为 Dojo 创建全栈软件生态

软件层面，特斯拉构建了一套由 PyTorch、编译器、驱动程序等共同构成的 软件栈。整个软件生态的顶层是 PyTorch 框架，中间使用 Dojo 编译器和 LLVM 形成编译层，底层基于 Dojo 驱动。Dojo 编译器负责划分任务、配置 数据存储、进行细粒度的并行计算并减少存储占用。Dojo 编译器支持的并 行方式包括数据并行、模型并行和图并行。支持的存储分配方式包括分布式 张量、重算分配和分割填充。在软件生态加持下，用户可将 Dojo 大型分布 式系统视作一个加速器进行整体设计和训练。

百度昆仑芯

昆仑芯持续迭代，昆仑芯目前已经经历两轮迭代，1 代于 2018 年发布，2 代 于 2021 年 8 月量产，第三代预计 2024 年发布。昆仑芯 2 代是国内首款采 用 GDDR6 显存的通用 AI 芯片。昆仑芯 2 代于 2021 年量产，采用 7nm 制 程，整数精度(INT8)算力达到 256 TeraOPS，半精度(FP16)性能为 128 TeraFLOPS，使用 16 颗 PCIe 4.0，GDDR6 高性能显存，最大功耗仅为 120W。 另外新增 8 颗 PCle 4.0，具备更高的数据传输带宽。通用性、易用性都有显著增强，适用云、端、边等领域，未来主要聚焦在自动驾驶、智能交通、智 能助手等更广泛的应用场景。

昆仑芯助力自动驾驶应用落地与部署。昆仑芯的算力支持使得萝卜快跑能 够实现 L4 级别的自动驾驶能力，包括环境感知、动态障碍物识别与预测、 复杂交通场景的理解、优化驾驶策略等。 “萝卜快跑”无人驾驶出行服务 目前在武汉等多个城市运营，在武汉计划投入 1000 辆无人驾驶车辆，目前 投放超 400 辆，截止 2024 年 4 月 19 日，萝卜快跑累计订单超 600 万单。 据百度方面预测，萝卜快跑有望在 2024 年底在武汉实现盈亏平衡，并在 2025 年实现盈利。

感知和规划大模型并进，逐步实现端到端自动驾驶系统。萝卜快跑的核心 技术是百度的 Autonomous Driving Foundation Model（ADFM），ADFM 包 括感知大模型和规划大模型。 感知大模型采用点云和视觉多模态融合的方式，已经实现包括检测、跟踪、 理解、建图这几项基本能力对信息进行获取。感知大模型可以将原始数据批 量自动化转化为粗标数据以及精标数据，可以对不规则障碍物、各种位置关 系的行人、非机动车或是施工占道等超长尾场景进行精准感知。感知网络生成的数据不仅用于模型内部，也以人类可读的形式输出，确保系统的可监督 性和问题追溯性。

规划大模型方面，决策规划网络接收感知网络输出的数据，包括显示的三维 向量空间和隐式的 BEV 特征，通过 Transformer 在大量数据之间挖掘关系， 最终形成最佳的轨迹匹配。

阿里含光 800

平头哥半导体是阿里巴巴集团的全资半导体芯片业务主体。平头哥拥有端 云一体全栈产品系列，涵盖数据中心芯片、IoT 芯片等，全面覆盖芯片端到 端设计链路。平头哥 2019 年 9 月推出了其首款 AI 推理芯片——含光 800， 主要用于云端视觉处理场景，基于 12nm 工艺与自研架构，集成了 170 亿晶 体管，峰值算力达 820 TOPS。在 ResNet-50 测试中，推理性能达到 78563 IPS，能效比达 500 IPS/W。 含光 800 已投入广泛行业应用，服务云计算、电商智能搜索与电商营销，具 体包括阿里集团的城市大脑、拍立淘、智能服装设计、搜索和广告推荐等业 务。此外，AI 大模型“通义千问”也使用了含光 800 提供算力。 含光 800 是 4 核设计，中间有命令处理器和高速互联的核间通信。单个 NPU 内核可以处理典型的推理(例如 ResNet50v1)，多个 NPU 内核之间也可以通 过核间通信(XCORE-COMM)紧密协作以处理更大更复杂的任务(例如 RestNet101，MaskR-CNN 等)。每个 NPU 内核有本地内存 local memory，计 算靠近存储，有利于功耗降低。另外，含光 800 还可以调试为三种模式：高 性能模式、高能效模式和边缘模式（低功耗模式），在各模式下可以通过调 频、调压进一步平衡功耗和性能。

平头哥推出了 HGAI(Han Guang Artihcial lntelligence)软件开发包，协同含光 800 芯片提升 AI 运算效率。HGAI 主要包括模型的前端 Graph IR 转换、量 化、编译和运行时等几部分。目前 HGAI 支持的主流深度学习框架主要 有:TensorFlow、MXNetCaffe、ONNX 等。同时用户也可以通过 NPUSMI 来 在线监控含光 800 运行状态，包括主频、内存利用率、算力利用率等。

腾讯紫霄芯片

腾讯芯片自研主要由蓬莱实验室负责。2021 年，腾讯公布旗下三款自研 芯片：“紫霄”、“沧海”、“玄灵”。“紫霄”主要用于 AI 推理，已在语音撰 写、OCR 等腾讯业务场景中应用；“沧海”主要用于视频转码，目前已量产 投用数万片，在云游戏、直点播等场景中，面向腾讯自研业务和公有云客户 提供服务；“玄灵”主要用于智能网络，定位于云主机的性能加速，减少了 主 CPU 的网络功能占用。

“紫霄”芯片采用 2.5D 封装技术合封 HBM2e 内存与 AI 核心，芯片内部增 加计算机视觉 CV 加速器和视频编解码加速器，主要应用于图片和视频处 理、自然语言处理、搜索推荐等场景。与英伟达 T4 相比，紫霄峰值算力和 内存带宽有显著优势。

字节跳动

字节跳动在 AI 应用、基础模型、底层算力等环节进行了全面布局。2023 年 8 月上线首个大语言模型“豆包”及多模态大模型 BuboGPT。其抖音云雀 大模型通过首批《生成式人工智能服务管理暂行办法》备案，面向公众开放。 AI 应用方面，字节跳动推出了 AI 对话、AI 教育、AI 创作等多款产品。豆 包是字节重点投入的一款聊天机器人产品，可以完成问答、文本生成、语言 翻译等多种任务，还可以根据用户需求和上下文进行自适应问答，。字节还 推出了扣子，支持用户定制基于 AI 模型的各类问答 Bot，此外，字节跳动 还推出了学习伙伴河马爱学、AI 剧情互动产品猫箱、AI 生图产品 PicPci、 多模态数字人、AI 生图、AI 生视频产品等产品。字节还在智能穿戴设备领 域有所布局，旗下有耳机品牌 Oladance、VR 头显 Pico 等产品，也有望受益 于 AI 技术推动。 字节也十分重视 AI 算力方向的投入，外购大量高性能芯片，同时也在招募 芯片相关研发人员。在大模型领域，字节跳动拥有英伟达高端 GPU 的大规 模集群（约 1.3 万片），还购买了博通最新的 Tomahawk 5nm 高性能交换机 芯片以及 Bailly CPO 交换机。研发人员方面，字节跳动官网显示，字节跳 动目前发布了数百个与半导体相关的职位，其中包括 15 个 ASIC 芯片设 计师的职位。

CUDA 在 AI 计算领域占据主导，软件生态长期有望 走向多元化

AI 芯片的性能发挥不仅取决于硬件，配套的软件生态也是重要影响因素， 软件生态包括了操作系统、编程框架、库、编译器、工具链等。软件生态的 建设是长期的，且具备较强的用户黏性和较高的迁移成本。CUDA 目前在 该领域占据主导地位，AMD、英特尔、华为、各云厂商等也在积极布局。 深度学习编程框架由深度学习算法的基本操作封装成的学习组件构成，可 以帮助算法人员更高效地实现已有算法，或设计新算法，提高编程效率。目 前主流的深度学习框架是PyTorch和TensorFlow，主要创建者分别是Meta、 谷歌。在学术研究领域，PyTorch 占主导地位，2022 年，在 EMNLP、ACL、 ICLR 三家顶会的 PyTorch 的占比已经超过 80%。从整体客户使用情况来说， 目前 TensorFlow 的客户更多，2023 年，TensorFlow 在人工智能、机器学习、 深度学习领域的客户分别为 1486、1579、610 个。

AI 编译器的核心抽象是张量（矩阵的高维推广），在 AI 领域，图像、文字、 视频等信息都被抽象为张量，相应的数据处理也就是对张量的计算操作，如 卷积、转置、池化等。对张量的操作按顺序就组合成了张量计算的数据流图。 AI 编译器通常采用多层 IR 设计，可以满足易用性、高性能的两类需求。 编译器前端（图层）会对 Tensor 进行抽象封装，开发者只需关注逻辑意义 上的模型和算子，后端算子性能优化时，可以打破算子的边界，从更细的维 度，根据不同硬件特点进行优化。主流编译器包括 nvcc、TVM、TensorFlow XLA 等。以 TensorFlow XLA 为例，其上层采用数据流图的中间表示，用图 结点来表示计算，边表示数据流的依赖，这可以满足 AI 领域用数据流图描 述应用的需求。下层为基于代数表示的中间表示（XLA HLO），高层的数据 流图被转换为中间表示，可以支持 jit 的算子融合、内存操作消除等优化， 而后被翻译为更底层的 LLVM 中间表示，或直接映射到 TPU 平台。多层的 IR 设计可以兼顾应用在不同硬件平台之间的移植和优化。

英伟达 CUDA 生态成熟，与 GPU 密切绑定

CUDA 于 2006 年发布，是 NVIDIA 专为图形处理单元(GPU)上的通用计算 开发的并行计算平台和编程模型，可以将 GPU 从专用的处理器变成通用处 理器单元。CUDA 工具包中包含多个 GPU 加速库、一个编译器、多种开发 工具以及 CUDA 运行环境。使用 CUDA 时，开发者使用主流语言（如 C、 C++、Fortran、Python 和 MATLAB）进行编程，并通过扩展程序以几个基 本关键字的形式来表示并行性。 CUDA 架构的核心在于并行计算模型，通过线程块和网格实现，这种层次 化的并行结构可以对复杂计算任务进行有效的分解和加速。此外，CUDA 的 编译器 nvcc 也发挥了重要作用，它将 CUDA 代码转换成了 GPU 能够执行 的低级指令。

CUDA 拥有庞大的开发者数量和成熟的生态。目前，通过 CUDA 开发的数 千个应用已部署到嵌入式系统、工作站、数据中心和云中的 GPU。广泛应 用于多个领域，如高性能计算、深度学习、医疗数据分析、网络安全、图像 处理等。2023 年财报显示，CUDA 注册开发者数量达到 380 万人。NVIDIA 与大学、研究机构和主要计算机厂商合作，帮助 CUDA 吸引了早期研究开 发人员的注意力，存在先发优势。

CUDA 的优势在于可以最大性能地提升 NVIDIA GPU 的性能、软件库覆盖 全面、对 AI 框架支持度高。 1） CUDA 可以最大限度地提高 NVDIA GPU 的性能。CUDA 是专为 NVIDIA GPU 设计的并行计算平台和编程模型，与 NVDIA 硬件紧密集 成，CUDA 代码直接编译到 GPU 的指令集，可以高效执行任务。无数 基准测试一致表明，CUDA 的吞吐量领先于 NVIDIA 芯片上的 OpenCL 等实现，对于某些工作负载（如 LCZero 国际象棋引擎），内核 执行效率通常高出 60%； 2） CUDA 对深度学习的支持度高，CUDA 为各种深度学习框架（如 TensorFlow、PyTorch 等）提供了底层的内存管理和编程接口。此外，英 伟达还推出了基于 CUDA 构建的 NVIDIA CUDA-X，包含用于构建应用的多种微服务、库、工具和技术，可提高 AI 场景下的计算性能； 3） CUDA 具有全面、成熟的软件生态，提供了编程语言、API、开发库、 分析和调试工具等，程序员可以直接调用这些库函数进行计算，如 CUFFT、CUBLAS、CUDPP 等，简化了程序员的工作量。

针对英伟达专有生态系统优化 CUDA，也可能会导致封闭和不灵活。随着 ASIC 芯片、AMD GPU 等新的芯片需求逐渐增长，加速架构多元化，CUDA 相对封闭的理念可能会导致其缺乏灵活性。

ROCm、oneAPI 是 CUDA 主要竞争者

其他商用芯片厂商也积极追赶 CUDA，大多都推出了自己的软件生态，并 且在不同程度地兼容 CUDA，目前主要竞争者有 AMD 的 ROCm 和英特尔 的 oneAPI。AMD 的 ROCm 开源平台提供编译器、库、HIP 编程语言等工 具，开发人员可以通过 HIP 和 OpenCL 两种编程模型，实现 CUDA 代码向 ROCm 的迁移，目前已经推出了 ROCm 6；英特尔的 oneAPI 支持跨平台编 程，可以打破不同硬件架构的壁垒，支持多种架构，包括来自不同供应商的 CPU、GPU、FPGA 和 AI 加速器，旨在为异构计算提供与供应商无关的解 决方案；

国内软件生态来看，摩尔线程、壁仞科技等研发了兼容 CUDA 的软件生态。 摩尔线程构建了 MUSA 架构，生态组成类似 CUDA，并打造了软件开发平 台，能借助 MUSIFY 工具将 CUDA 代码迁移到 MUSA 平台，通过自行实 现 MUSA-X 计算库，实现 CUDA API 的一对一替换等；壁仞科技也开发了 BIRENSUPA 平台试图兼容 CUDA。 华为推出了 CANN（Compute Architecture for Neural Networks）软件生态， 以便在华为昇腾 AI 硬件上开发和部署各种人工智能应用，与 CUDA 并不直 接兼容。CANN 可以提供从底层硬件到顶层应用的全栈支持，包括编译器、 调试器、性能分析工具等，兼容多种 AI 框架，如 MindSpore、TensorFlow、 PyTorch 等，还提供 AscendCL 编程接口，简化应用开发流程。作为一个新 平台，其生态系统和社区支持仍处于初步阶段，成熟度和市场认可度仍有待 提升。

云厂商助力软件生态走向多元与开放

云厂商持续迭代自研芯片及配套硬件的同时，也在积极培育相应的软件生态，开发了一系列的编译器、底层中间件等，不断降低从 CUDA 生态转换 至其他生态的迁移成本，对 CUDA 生态的依赖程度逐渐减轻。谷歌、Meta、 微软、亚马逊、特斯拉等大厂都非常重视软硬件的全栈自研，专为 ASIC 配 套的软件生态有利于更好地发挥定制芯片的计算能力。

编辑：火腿肠