2025年ASIC行业深度：市场前景、规模预测、产业链及相关公司深度梳理

一、行业概述

1、ASIC 芯片概念

AI 芯片主要包括 GPU、FPGA 和 ASIC。AIASIC 是一种专为人工智能应用设计的定制集成电路，具有 高性能、低功耗、定制化、低成本等特点。主要原因是，ASIC 去除了冗余设计，适合执行特定任务， 能耗表现优异；同时，ASIC 在适配任务中运算延迟低、峰值运算能力强，在 AI 边缘推理、深度学习训 练等领域表现卓越，远超 CPU 在执行同类任务时的表现。正是因为这些优势，Google、寒武纪等企业 纷纷布局 ASIC 的研究。 当然，ASIC 也有其局限性。例如定制化程度高，开发周期漫长且灵活性差，算法升级或任务变更时难 以复用。

2、ASIC 芯片分类

ASIC 还可进一步细分有 TPU、NPU、DPU 及其他 ASIC 芯片。TPU 即为谷歌发明的 AI 处理器，主 要支持张量计算，DPU 则是用于数据中心内部的加速计算，NPU 则是对应了上一轮 AI 热潮中的 CNN 神经卷积算法，后来被大量 SoC 进了边缘设备的处理芯片中。

ASIC 芯片也分为全定制 ASIC 芯片、半定制 ASIC 芯片及可编程 ASIC 芯片。 （1）全定制 ASIC 芯片：全定制 ASIC 芯片是定制程度最高的芯片之一，研发人员基于不同电路结构设 计针对不同功能的逻辑单元，于芯片板搭建模拟电路、存储单元、机械结构。全定制化 ASIC 芯片在性 能、功耗等方面表现优异。全定制化 ASIC 芯片平均算力输出约为半定制化 ASIC 芯片平均算力输出的 8 倍，采用 24 纳米制程的全定制化 ASIC 芯片在性能上优于采用 5 纳米制程的半定制化 ASIC 芯片。 （2）半定制 ASIC 芯片：构成半定制 ASIC 芯片的逻辑单元大部分取自标准逻辑单元库，部分根据特 定需求做自定义设计。1）门阵列芯片：门阵列 ASIC 芯片包括有信道门阵列、无信道门阵列和结构化门 阵列。门阵列 ASIC 芯片结构中硅晶片上预定晶体管位置不可改变，设计人员多通过改变芯片底端金属 层等方式调整逻辑单元互连结构；2）标准单元：该类 ASIC 芯片由选自标准单元库的逻辑单元构成。设 计人员可按算法需求自行布置标准单元。 （3）可编程 ASIC 芯片：PLD 亦称可编程逻辑器件，在结构上包括基础逻辑单元矩阵、触发器、锁存 器等，其互连部分作为单个模块存在。设计人员通过对 PLD 进行编程以满足部分定制应用程序需求。

二、市场前景

1、云商自研 ASIC 成 AI 芯片增量关键

目前英伟达在 AI 加速卡领域仍然占据主要供应商的地位，但云商自研 ASIC 的比例正在逐步提升。AI 加速卡的竞争格局中主要有三类“玩家”：1）全球龙头英伟达；2）其他商业 AI 加速卡公司，如 AMD、 Intel、昇腾等；3）云厂商自研 ASIC。据 Trendforce 统计，2022 年全球 AI 芯片市占率来看，英伟达 独占 67.6%，2024 年英伟达市占率将有所下降，而 AMD 以及其他云商自研 ASIC 比例有望提升。 云厂商自研 ASIC 将成为未来 AI 芯片增量最核心的来源。一方面，云商自研加速卡在成本方面显著优 于向英伟达等商业公司外采，4Q24 英伟达毛利率已达到 73.0%，采用自研加速卡的方式，将帮助云商 在有限的资本开支下获得更多的 AI 算力。另一方面，云商自研 ASIC 更加灵活，云厂商可以根据自身的 模型训练和推理需求，进行 AI 芯片和服务器架构的设计，从而实现更好的训练和推理效果。伴随着云 厂商自研 ASIC 产品的逐步成熟，未来云商在 AI 算力的布局中自研的比例有望逐步提升。

2、ASIC 可适应不同的业务场景和商业模式的需求

大型云端服务供应商的业务模型、应用场景等很多通过自身的云来承载，每个云承载了独特的应用和商 业模型，包括内部应用（比如搜索引擎、社交媒体等）、SaaS 服务（比如 AI 聊天机器人、Copilot 等）、 IaaS 服务等。ASIC 可以适应不同的业务场景和商业模式的需求。 ASIC 可以满足多种多样客户的需求，实现内部工作负载的架构优化，实现更低的功耗，更低的成本以 及为 AI 工作负载定制的内存和 I/O 架构。

3、推理端算力需求将带动 ASIC 市场空间

随着推理成本的降低，推理端算力需求有望持续扩大。AIGC 模型在处理输入和输出时，其计算资源消 耗与输入输出的数据量成正比，费用计算基于输入输出的 Token 数量。以 OpenAI 为例，2023 年 GPT4 的 API 推理成本为每百万 Token36 美元，而 2024 年 GPT-4o 推理成本为每百万 Token4 美元，降幅 达 89%。

Deepseek 加速大模型平价化，大幅降低了大模型开发成本，拉动了 AI 应用测需求爆发，推理场景的需 求日益增加，推动算力需求由训练端向推理端转移。IDC 预测，国内推理的服务器工作负载占比预计由 2024 年的 65%逐年增加至 2028 年的 73%，推理算力占比总体呈现增加趋势。

推理芯片更加关注功耗、时延、成本，且对精度要求相对较低。ASIC 芯片在推理领域具有明显优势。 根据 CSET 数据，ASIC 芯片在推理领域优势明显，其效率和速度约为 CPU 的 100-1000 倍，相较于 GPU 和 FPGA 具备显著竞争力。随着未来推理需求高增长，预计未来市场空间将快速增长。

三、市场参与者

1、IP 和产业链整合是芯片自研主要挑战，需借助外部厂商支持，综合能 力强的厂商竞争优势显著

ASIC 产业链包含上游设计环节，中游制造环节及下游云厂商及大模型客户等应用环节。系统厂商自研 AIASIC 芯片时，通常会与芯片设计厂商合作，然后再由台积电等晶圆代工厂进行芯片制造。从 0 到 1 的初代产品推出通常需要两年以上的研发周期。系统厂商由于缺乏关键 IP 和量产经验而面临研发成本 高企、首次流片成功率低的风险。ASIC 设计公司可为系统客户提供差异化产品，设计高能效比芯片， 大幅缩短设计周期，减少自身 in-house 研发费用的投入。考虑到流片成本伴随先进制程迭代而持续增长， ASIC 设计公司可凭借丰富的设计经验帮助系统厂商提高首次流片成功率，降低时间成本和研发成本。

设计环节包括前端设计和后端设计流程。前端设计主要为功能架构设计，包含 RTL 编程仿真、逻辑综 合等，后端设计流程主要有版图布局规划、时钟树综合、时序优化、物理验证等，最后交给代工厂进行 流片。以博通、Marvell 为代表的美国厂商拥有广泛且领先的 IP 组合，同时拥有较高的前端设计能力， 通常能参与更深度的 ASIC 设计。后端设计环节对工程师经验要求更高，需要熟练掌握一整套后端流程、 工具的使用、功耗时序分析以及模拟的经验，所以以中国台湾的世芯电子 Alchip 和创意电子 GUC 为代 表。同时，ASIC 设计服务公司和 IP 供应商、EDA 工具供应商和代工厂维持密切的合作关系。

博通凭借丰富的经验和领先的 IP 产品组合稳居行业龙头地位：1）经验和 IP：博通在定制化芯片领域 已有三十余年的经验，Avago、LSI 和 HP 三者结合发展 ASIC 部门，通过关键 IP 领先设计能力积累奠 定在网络和无线领域的重要地位，例如 CPU、SerdesIP、连接 IP、AD/DA 转换器 IP、DSP 处理器 IP 等。定制芯片经过 10+代技术变革，从 0.35μm 向 3nm 持续演进。2）下游协同：博通在交换芯片等云 网设备上游器件领域市占率领先，有望和计算芯片和路由芯片形成协同效应扩大 AI 产品线。3）客户关 系：公司和谷歌建立约十年合作关系，是谷歌自研 TPU 的主要制造商，在 AI 芯片领域仅次于英伟达的 第二大供应商。 博通 26 年 XPU（博通对于 AIASIC 的说法）部署量超预期。博通 25Q2AI 半导体收入超 44 亿美元，同 比增长 46%，连续 9 个季度增长。定制 AI 加速器（XPUs）同比实现双位数增长，为 AI 半导体收入主 要组成部分之一。公司正推进 3 家客户及 4 家潜在客户的定制 AI 加速器部署，预计 2027 年至少 3 家客 户各部署 100 万 AI 加速器集群，且“很大比例为定制 XPUs”。客户因推理需求加大投入，预计 2026 年 下半年 XPU 需求将加速，推动 2025 财年 AI 半导体增长趋势延续至 2026 财年。博通表示定制加速器 需与客户协同开发，通过“硬件与软件端到端优化”提升大语言模型（LLM）性能，形成差异化竞争力。 同样，Marvell 作为全球头部 ASIC 设计厂商，在过去 25 年间，Marvell 已交付超过 2000 款定制 化 ASIC，并致力于继续打造下一代 ASIC 解决方案的关键技术和 IP。公司充分利用了世界一流的 5nm 和 3nm 数据基础设施知识产权(IP)产品组合，其中包括业界领先的 112G XSR SerDes（串行器/解 串器）、长距离 SerDes、PCIe Gen6/CXL3.0 SerDes、240Tbps 并行芯片间互连、最新的 Arm SoC 处 理器子系统以及低成本/低复杂度封装。

Marvell 为美国大型超大规模数据中心客户提供的主导 XPU 计划表现突出，已成为定制业务的关键收入 驱动力，公司正与该客户就后续迭代展开全面合作，目前已获得 3 纳米晶圆及先进封装产能，预计 2026 年启动生产，架构团队也在支持下一代产品定义，这体现了与 Marvell 长期合作的多代际优势。 预计 2027 财年及以后为该客户定制的 AIXPU 收入将持续增长。此外，与另一家美国超大规模客户合作 的定制 AIXPU 项目联合开发进展顺利，双方已就后续迭代架构展开对接。 Alchip 专注后端设计，具备先进制程经验：世芯科技 Alchip 以 Fabless ASIC 解决方案为主，集中于后 端设计服务。公司具备先进制程方面经验优势，在 7nm、12nm、16nm 制程节点上获得实现。公司 AI 敞口较大，主要得益于与美国 CSP 客户（如亚马逊、英特尔）开展早期合作，成功推出 AI 训练和推理 芯片 Trainium1、Inferentia1、Inferentia2 等。但由于自身缺乏 IP 技术，主要靠外采，因此公司毛利率 显著低于美国 ASIC 设计公司。 GUC 提供先进封装能力和台积电代工服务：创意电子 GUC 专注后端设计服务，并拥有部分自研 IP 能 力如 HBM 存储、UCIe 接口等。同时公司保持与台积电（台积电为创意电子第一大股东）、先进封测 公司的密切合作，已成功实现基于台积电 3 纳米与 CoWos 技术 ASIC 芯片的成功流片，有丰富的 IC 设 计服务和先进制程量产经验。

2、ASIC 市场呈高增长趋势，国内外厂商加速布局

ASIC 芯片全球市场规模持续增长，2019-2024 年复合增速达 9.77%。深圳市电子商会及 Verified Market 数据显示，2024 年全球 ASIC 市场规模为 451 亿美元（同比+17.0%）。2024 年全球 ASIC 市场 按终端应用领域划分：消费电子（28%），电信（20%），工业（18%），汽车电子（15%），航天航 空与国防（10%），医疗（5%），其他（5%）。

伴随着人工智能、5G 通信、物联网等新兴技术的快速普及，海内外厂商加速 ASIC 芯片布局。谷歌于 2006 年开始考虑布局 ASIC，并在 2016 年 GoogleI/O 大会发布首款 TPUASIC，后续迭代至 2023 年 TPUV5P、2024 年 V6e，凭借先进制程与高算力持续领跑；亚马逊在 2023 年发布 Trainium、在 2024 年发布的 Trainium2 聚焦云端能效优化；并且还有微软发布的 Maia 100 与 Meta 发布的 MTIA 系列等。 国产厂商包括华为昇腾（海思设计）、寒武纪等厂商也基于 ASIC 架构设计芯片。

四、ASIC 架构及生态

ASIC 架构+生态大相径庭，将成为 GPU 的有力补充。1）ASIC 与 GPU 架构存在差异：GPU 基于通用 并行计算向 AI 转变，内部设计通常为大量并行计算核+小型 AI 加速单元 TensorCore；TPU 等则为仅针 对 AI 算力需求场景直接设计内部架构，代表架构有大型脉动阵列等。2）开发生态存在差异：英伟达具 备完整成熟的 CUDA 开发生态，AMD GPU/ASIC 厂商开发生态均不完善。

1、ASIC 架构：基于脉动阵列的定制架构为重要路线

GPU 为冯诺依曼架构，运算中与寄存器需要高频数据交换，对存储容量要求较高。GPU 主要是针对数 据并行执行，控制单元较小，执行单元众多，同时有大量的寄存器文件用于在多个执行线程上隐藏延迟。 谷歌 TPU、AWS Tranium2 均基于脉动阵列架构，专为矩阵计算设计，计算结果可以直接向下一个计算 单元递推，直到该维度的矩阵结果计算完毕，再与寄存器作数据存取，减少不必要的全局数据交换等。

2、ASIC 开发生态

（1）谷歌和 AWS 均基于脉动阵列+XLA

开发生态应在硬件架构/计算架构 ROI 提升的方向逐渐成熟，国内 AI 算力+海外云厂 ASIC 芯片等均具 备潜力。DeepSeek 实际证明拥有强大的工程团队，有能力为其他 AI 芯片构建相对可用的开发生态（但 易开发性预计仍有明显差距。 XLA 为谷歌为 TPU 构建的编译器，并陆续结合 JAX 等 AI 框架形成开发生态，逐渐走向成熟，同为脉 动阵列架构的 AWS Tranium2 同样采用 XLA，将加速相关生态更新迭代。

（2）META MTIA V2 软件堆栈基于 Triton

Triton 为 OpenAI 于 2021 年 7 月推出的类似 Python 的开源编程语言，旨在降低 GPU 的编程难度，但 Triton 并不非常依赖单一厂商的 GPU，可拓展至 MTIA V2 等非 GPU 硬件架构。 Pytorch 正致力于推广 Triton，已经在英伟达 GPU 上实现无 CUDA 条件下较高的硬件效率。MTIA V2 基于 Triton，并提供 Triton-MTIA 编译器进一步优化软件堆栈。

3、ASIC 成本：具备性价比，但使用范围相对局限

简单测算各家芯片的制造成本，主要根据各芯片具体的存储容量、晶圆尺寸等进行测算，并根据英伟达、 博通、Marvell/AIChip 大致的毛利率进行估计，大致推测各家芯片的价格。 ASIC 芯片在特定任务部署中实际具备性价比，但受限于开发生态：1）开发过程中，生态不成熟存在开 发效率损失，一定程度提升隐性成本。2）场景限于云厂内部负载，云客户基于其开发的难度较大。

五、海外云厂商 ASIC 布局情况

1、谷歌：谷歌专为 AI 定制设计 ASIC

谷歌 TPU（Tensor Processing Unit）即张量处理单元，是谷歌专为加速机器学习任务设计的定制 ASIC 芯片，主要用于深度学习的训练和推理。TPU 基本上是专门用于矩阵乘法的计算核心，并与高带 宽内存（HBM）连接；TPU 的基本组件包括矩阵乘法单元(MXU)、矢量单元(VPU)和矢量内存 (VMEM)；矩阵乘法单元是 TensorCore 的核心，矢量处理单元执行一般数学运算，矢量内存是位于 TensorCore 中靠近计算单元的片上暂存器；TPU 在进行矩阵乘法方面速度非常快。

目前谷歌 TPU 已经迭代至第七代产品，每代产品相较于上一代在芯片架构及性能上均有一定的提升： 2015 年谷歌 TPUv1 推出，主要用于推理任务。2024 年谷歌发布第六代产品 TPUv6 Trillium，与上一 代 TPUv5e 相比，单芯片峰值计算性能提高了 4.7 倍，HBM 容量和带宽均增加一倍，同时芯片间互连 带宽也增加一倍；TPUv6 Trillium 在性能提升的同时，能源效率比上一代提高了 67%，显著降低了运营 成本；TPUv6 Trillium 被用于训练谷歌的 Gemini2.0 等 AI 大模型。

谷歌 TPU 迭代推动大模型训练与推理效率大幅提升。Gemini 等 AI 大模型性能强大且复杂，拥有数十 亿个参数，训练如此密集的大模型需要巨大的计算能力以及共同设计的软件优化。与上一代 TPUv5e 相 比，TPUv6 Trillium 为 Llama-2-70b 和 gpt3-175b 等大模型提供了高达 4 倍的训练速度。TPUv6 Trillium 为推理工作负载提供了重大改进，为图像扩散和大模型提供了最好的 TPU 推理性能，从而实现 了更快、更高效的 AI 模型部署；与 TPUv5e 相比，TPUv6 Trillium 的 Stable Diffusion XL 离线推理相 对吞吐量（每秒图像数）高出 3.1 倍，服务器推理相对吞吐量高出 2.9 倍。

TPU v6 Trillium 预计 2025 年将大规模替代现有 TPUv5。在新一代产品研发上，谷歌改变了此前仅与 博通（Broadcom）合作的单一供应链模式，新增与联发技（MediaTek）的合作，形成双供应链布局。 这一举措不仅能提升设计灵活性，降低对单一供应链的依赖风险，还有助于加强在高阶先进制程领域的 布局。 谷歌已建立 100000TPU 芯片算力集群。TPU 芯片通过 ICI 连接成算力集群，TPU 网络可以连接 16x16x16 TPU v4 和 16x20x28 TPU v5p。为了满足日益增长的 AI 计算需求，谷歌已将超过 100000 个 TPUv6 Trillium 芯片连接到一个网络结构中，构建了世界上最强大的 AI 超级计算机之一；该系统将超 过 100000 个 TPU v6 Trillium 芯片与每秒 13PB 带宽的 Jupiter 网络结构相结合，使单个分布式训练作 业能够扩展到数十万个加速器上。这种大规模芯片集群可以提供强大的计算能力，实现高效的并行计算， 从而加速大模型的训练过程，提高人工智能系统的性能和效率。

2025 年 4 月正式推出了第七代 TPU——Ironwood，专为规模化部署思考型、推理型 AI 模型而设计，标 志着 AI 发展和支持其进步的基础设施的重大转变，从提供实时信息供人解读的响应式 AI 模型，转向提 供主动式见解生成和解释的模型。 在核心的计算性能方面突破壁垒，最大 42.5exaflops 算力。Ironwood 每个独立芯片提供 4614TFLOPs 的峰值计算能力。而包括 9216 颗 TPU 的集群总共拥有 42.5Exaflops 的计算能力，是世界 上目前最大的超级计算机 El Capitan（每个集群提供 1.7Exaflops）计算能力的 24 倍以上。

Ironwood 在内存子系统方面进行了大幅升级。在单芯片规格上，Ironwood 显著提升了内存和带宽，每 块芯片配备 192GB 高带宽内存（HBM），是去年发布的上一代 TPU Trillium 的六倍。每块芯片的内存 带宽达到 7.2terabits/s，是 Trillium 的 4.5 倍。更大的内存容量意味着可以在芯片本地缓存更大规模的 模型参数和更长的上下文信息，减少对外部存储的访问；更高的带宽则能更快地将数据喂给计算单元， 这两者对于降低推理延迟、提升复杂模型处理效率具有直接作用。 Ironwood 也大幅提升了计算效率，其每瓦性能是 Trillium 的两倍，和 2018 年推出的首款 TPU 相比高 出近 30 倍。在数据中心能耗日益成为瓶颈和主要运营成本的背景下，能效的提升对于 AI 技术的可持续 发展和大规模经济化部署具有重要价值。谷歌还强调了其配套的先进液冷散热技术，旨在确保芯片在高 负载下能够稳定、高效地运行。

据 Google 介绍，性能巨幅提升的 Ironwood，旨在针对性满足思维模型所要求的不同计算需求。在 前沿领域，思维模型的计算需求远远超出了任何单个芯片的能力。因此 Ironwood TPU 具有低延迟、高 带宽的 ICI 网络，以支持在整个 TPU 单元级规模上进行协调、同步的通信。谷歌还强调 Ironwood 将与 其机器学习运行时 Pathways 配合使用，使开发者能够轻松地利用数万个 Ironwood TPU 的组合计算能 力。对企业客户而言，Ironwood 将提供两种配置：256 芯片配置和 9,216 芯片配置。

2、Meta：自研 ASIC 芯片用于专用负载，助力降本增效

META 的核心算力负载来源于推荐系统场景，具备自研强调专用性的 ASIC 芯片的土壤。META 的业务 中视频/广告推荐系统这一特定场景为公司主要的算力工作负载来源，且持续升级的推荐系统仍在不断 提升对于算力侧的需求，针对推荐系统这一特定领域自研专用性更强的 ASIC 芯片，相对完全外购通用 算力芯片的方案，将具备一定的性价比优势，有望带来成本优化。 Meta 于 2023 年 5 月和 2024 年 4 月分别推出 MTIA V1 和 MTIA V2 芯片。初代 MTIA 芯片，采 用台积电 7nm 制程，算力（INT8）达到 102TFLOPS，功率为 25 瓦。从 MTIA V1 到 MTIA V2，Meta 的自研芯片在性能和效率方面实现明显提升。MTIA V2 基于台积电 5nm 工艺，可处理低复杂性（LC） 和高复杂性（HC）的排名和推荐模型，提升包括：1）内存：MTIA V2 采用 8x8 处理元件（PE）布局， 单 PE 存储性能达 384KB，较 MTIA V1 提高 2x；2）处理能力：MTIA V2 芯片算力更高，INT8/FP16 精度下算力达 354TFLOPS/177TFLOPS，较 MTIA V1 性能提升 3.5x；3）传输效率：MTIA V2 芯片具 有更高效的数据传输，8 个 PCIe Gen5 接口提供最高 32GB/s 的传输效率，较 MTIA V1 提升 2x。

MTIA V2 旨在高效地服务于排名和推荐模型，为用户提供高质量的推荐。MTIA V2 主要应对 META 日 趋进化的推荐引擎带来的算力需求。从设计上来看，PE（Prossessing Element）为整个 MTIA V2 的计 算单元主体。其中包括常规计算核心及众多定向优化计算的计算核心，除一个用于标量计算、一个用于 矢量计算的 CPU 单元之外，通过一个命令处理器，设计了多个类型的用于加速的单元。包括动态量化 引擎 RE、加强数据移动的 MLU、支持非线性函数计算的 SE、强调了稀疏支持的矩阵乘法的 DPE，针 对性对于推荐系统的具体计算进行定向优化。众多的定向设计，使得 MTIA V2 在处理大规模数据时减 少存储和带宽的消耗，从而提升整体计算性能。这些功能对推荐引擎至关重要，因为推荐系统常常需要 处理大量复杂的数据表和权重。

Meta 计划 2026 年推出 MTIA V3 芯片，预计将搭载高端 HBM，与 V1/V2 芯片专注于广告与社交网络 等特定任务不同，有望扩展应用至模型的训练与推理任务。

3、亚马逊 AWS：不断迭代 Trainium 系列 AI 芯片，算力基础设施持续受 益

AWS（Amazon Web Services）在 AI 芯片的布局主要包含推理芯片 Inferentia 和训练芯片 Trainium 两 大系列。 自 2020 年以来，亚马逊发布了两代 Trainium 芯片。Trainium1 加速器提供 190TFLOPS 的 FP16/BF16 算力，配有 32GB 的 HBM，内存带宽 820GB/s；AWSTrainium2 芯片的效能比第一代 Trainium 提升高达 4 倍。以 Trainium2 为基础的 AmazonEC2Trn2 实例专为生成式 AI 而建置，是用于 训练和部署具有数千亿到数万亿以上参数的模型的最强大 EC2 实例。Trn2 实例的价格效能比目前一代 GPU 型 EC2P5e 和 P5en 实例更好 30-40%。Trn2 实例配备 16 个 Trainium2 芯片，这些芯片透过 NeuronLink 实现互连。Trn2UltraServer 是全新的 EC2 产品，非常适合需要比独立 EC2 实例所能提供 更多内存和内存带宽的最大型模型。UltraServer 设计使用 NeuronLink 将四个 Trn2 实例中的 64 个 Trainium2 芯片联机至一个节点中。对于推理而言，UltraServer 可协助提供业界领先的响应时间，进而 创造出最佳的实时体验。对于训练而言，与独立实例相比，UltraServers 会透过更快的协同通讯来提高 模型平行性的模型训练速度和效率。 NeuronCore-v3 是驱动 Trainium2 芯片的第三代 NeuronCore。它是一个完全独立的异构计算单元，由 4 个主引擎组成：Tensor 张量引擎、Vector 向量引擎、Scalar 标量引擎和 GPSIMD 通用可编程引擎， 并带有片上软件管理的 SRAM 内存，可最大限度地提高数据局部性并优化数据预取。

AWS 计划在今年晚些时候发布下一代 AI 半导体 Trainium3，采用 3nm 制程工艺，由台积电代工。 Trainium3 性能或较上一代提升 2 倍，能效提升 40%，搭载该芯片的 UltraServers 性能预计提升 4 倍。 Trainium3 的发布进一步巩固了亚马逊在云服务与 AI 芯片结合领域的优势，通过与云服务的深度整合， 为客户提供更高性能、更低成本的 AI 解决方案。 2018 年，亚马逊宣布研发专为 AI 推理优化的芯片 Inferentia，重点降低运行大规模深度学习模型的成 本。公司于 2023 年推出 Inferentia2，是第二代 AWS 专用机器学习推理加速器，每个芯片有两个 NeuronCore-v2 核心。Inferentia2 针对 INT8 数据类型可提供算力达 380TFLOPS，针对 FP16/BF16 数 据类型算力达 190TFLOPS，并额外添加了对 FP32、TF32 和可配置的 FP8（cFP8）数据类型的支持。 内存方面，Inferentia2 具备 32GBHBM，带宽为 820GB/s，对比 Inferentia 总内存增加了 4 倍，内存 带宽增加了 10 倍。

目前包括 Adobe、AI 新创公司 Poolside、数据平台服务 Databricks 以及高通都通过 Trainium2 处理器 训练其 AI 模型，其中，高通在云端计算 AI 模型后再将其传送至边缘端。另外苹果也在采用亚马逊 ASIC 芯片提供的服务，应用于 Siri，AppleMaps 和 AppleMusic。苹果使用亚马逊的 Inferentia 和 Graviton 芯片来服务搜索服务。

4、微软：自研芯片 Maia100

微软将 Maia 100 打造成定制的 AI 加速器，用于在 Azure 上运行 OpenAI 的模型和 Copilot 等 AI 工作负 载。Maia 100 采用台积电 5nm 制程和 CoWoS-S 封装技术，配备 64GB（4×16GB）的 HBM2E，内存 带宽达 1.8TB/s。Maia 100 配备一个 500MB 的 L1/L2 缓存，芯片具有 12 倍 400GbE 的网络带宽，设 计最大功耗 700WTDP。 Maia 100 芯片在 MXFP4 数据格式下的性能达到 3200TFLOPS，Int8 下达到 1600TFLOPS，BF16 下 达到 800TFLOPS，算力性能超过英伟达 A10028%，是英伟达 H100 的 40%。 微软 Maia 100 单 SoC 搭载 16 个集群，其中每个集群搭载 4 个图块 Tile。Maia 100 拥有图像解码器和 机密计算能力，支持广泛的数据类型，包括 FP32 和 BF16。

Maia 100 基于自定义的 RoCE 类协议和以太网互连，内置 AES-GCM 加密引擎以保护用户数据，网络 连接带宽达到 600GB/s。Maia 100 还由统一的后端网络支持，用于扩展和横向扩展工作负载，提供了 支持直接和交换机连接的灵活性。 微软 Maia 100 芯片的 Ares 机架配备 32 颗 Maia 100。Ares 一个机架中搭载了 8 台服务器，每台服务器 中含有 4 个 Maia 100，因此一个机架中总共有 32 颗 Maia 100 芯片。Ares 机架功率可达 40kW，配置 了 Sidekick 液体冷却系统，在机架两侧设置副设备，冷液从副设备流向 Maia 100 表面的冷板，副设备 吸取液体中热量后再将冷液输出，以此构建散热循环。

下一代 Maiav2 的设计已确定，后端设计及量产交付由 GUC 负责。除深化与 GUC 的合作外，微软还引 入美满电子共同参与 Maiav2 进阶版的设计开发，以强化自研芯片的技术布局，有效分散开发过程中的 技术与供应链风险。 MaiaSDK 上实现快速部署和模型可移植性。微软为 Maia 100 创建了软件，该软件与 PyTorch 和 ONNX Runtime 等流行的开源框架集成。该软件栈提供了丰富而全面的库、编译器和工具，使数据科学 家和开发人员能在 Maia 100 上成功运行模型。微软集成了 OpenAI 的 Triton；Maia 的 SDK 允许用户 将用 PyTorch 和 Triton 编写的模型快速移植到 Maia。

六、相关公司

国内方面，芯原股份、翱捷科技在 ASIC 设计方面具备较强竞争力。国产芯片加速追赶，如华为海思、 寒武纪、海光信息等企业已经成为行业领导者。华为海思旗下昇腾系列处理器自诞生以来，凭借其强劲 的算力和创新的设计，特别是 2023 年发布的昇腾 910B，在技术和应用上都取得了显著突破。寒武纪的 旗舰产品 MLU590 于 2024 年 6 月发布，专注于 AI 训练与推理。寒武纪的另一款重要产品 MLU370- X4，于 2024 年 11 月发布，专注于提供性价比更高的 AI 加速方案。海光信息也逐步成为国内 AI 芯片 市场的重要玩家，核心产品包括深算一号、深算二号和即将发布的深算三号。

1、翱捷科技

翱捷科技国内基带 SOC 领先厂商。公司是一家提供无线通信、超大规模芯片的平台型芯片企业。自设 立以来，公司一直专注于无线通信芯片的研发和技术创新，同时拥有全制式蜂窝基带芯片及多协议非蜂 窝物联网芯片研发设计实力，且具备提供超大规模高速 SoC 芯片定制及半导体 IP 授权服务能力。公司 蜂窝基带芯片产品已经覆盖 2G/3G/4G/5G 领域；在非蜂窝移动通信领域，公司不仅拥有基于 WiFi、 LoRa、蓝牙技术的多种高性能非蜂窝联网芯片，也有基于北斗导航（BDS）/GPS/Glonass/Galileo 技 术的全球定位导航芯片。在超大规模高速 SoC 芯片设计及半导体 IP 授权服务领域，基于对公司技术团 队丰富芯片设计经验以及雄厚技术积累的认可，客户 S、登临科技、美国 Moffett、OPPO、小米等多家 不同应用领域头部企业选定公司为其提供芯片设计服务或 IP 授权。

公司发布 24 年年报，24 年实现收入 33.86 亿人民币，同比增加 30.23%；实现归母净利-6.93 亿人民币， 同比下降 37.01%，实现扣非归母净利-7.07 亿，同比下降 7.38%。24Q4 单季度公司实现收入 8.46 亿人 民币，同比增加 11.94%，实现归母净利-2.81 亿人民币，同比减少 252.9%。公司芯片产品、芯片定制业 务和半导体 IP 授权三个主营业务板块占主营业务收入比例分别为 89.02%、9.92%和 1.04%。芯片定制 业务高增长，2024 年实现收入 3.36 亿元，同比增加 48.38%。IP 授权收入 0.35 亿元。

2、芯原股份

芯原股份是国内领先的半导体 IP 供应商，拥有包括 GPUIP、NPU IP 在内的多款处理器 IP，具备为 客户提供一站式芯片定制服务的能力。公司芯片设计能力覆盖 14nm/10nm/7nm/5nmFinFET 和 28nm/22nmFD-SOI，能够为提供从硬件到软件的系统解决方案。2023 年 3 月，蓝洋智能发布与芯原 股份合作打造的基于 Chiplet 架构的高性能 AI 芯片，其中内置芯原 GPGPU IP 的芯片算力可达 8TFLOPS，内置芯原 NPU IP 的芯片算力可达 240TOPS。目前，内置芯原 GPUIP 的芯片在全球范围内 出货近 20 亿颗，芯原 NPU IP 已被 72 家客户用于其 128 款人工智能芯片中，在全球范围内出货超过 1 亿颗。公司正积极研发面向数据中心和 GPU AI 计算的高性能图形处理器技术，将支持 16- 32TFLOPsFP32 算力、128-1536Texel/cycle 纹理处理能力、32-384Pixel/cycle 像素填充能力。

作为国内顶尖的 ASIC 设计公司，芯原股份在各方面都体现了其强劲的 ASIC 研发实力。2024 年，公 司实现总营业收入 23.22 亿元，同比减少 0.69%；实现归母净利润-6.01 亿元；实现扣非归母净利润6.43 亿元。截至 2024 年，公司拥有 1800 人的研发团队，团队成员中不乏来自 Broadcom、Marvell 等 国际知名企业的资深专家，这为其技术突破奠定了坚实基础。在 IP 能力方面，芯原股份布局的 GPU、 NPU、VPU 等芯片 IP，服务于多家全球知名企业，2024 年其 IP 授权收入便达到了 7.36 亿元。在 ASIC 能力上，芯原股份具备的 5nmFinFET、22nmFD-SOI 到传统 250nmCMOS 制程的设计能力，服 务于英特尔、亚马逊、谷歌、微软等知名企业，2024 年芯片定制收入也达到了 15.81 亿元。

3、华为昇腾

昇腾 910B7nm 工艺赋能强劲算力，多卡互联助力大规模计算。华为昇腾 910B 采用了先进的 7nm 工 艺，优化了功耗和提升了算力密度，能为大规模 AI 训练任务提供支持，特别是在浮点运算和大规模并 行计算方面表现卓越。其 FP16 算力达到 376TFLOPS，非常适合深度学习、大数据分析等计算密集型的 任务。同时，昇腾 910B 配备了 64GB HBM2e 内存，内存带宽达到 400GB/s 左右，极大地提升了数据 处理能力，有效降低了数据瓶颈，确保大数据集的训练效率。昇腾 910B 最大设计功耗仅为 400W，显 示出其出色的能效比。在多卡并行计算时，昇腾 910B 支持 8 卡 HCCS 互联方案，在 393GB/s 带宽的支 持下，通过高效的卡间互联技术（HCCS），昇腾系列不仅能够满足单卡的高性能需求，还能多卡并行 计算时充分释放其算力，为大规模计算提供稳定的表现。

4、寒武纪

寒武纪持续深耕 AI 芯片领域，新品在技术上不断创新突破。寒武纪作为国内 AI 芯片设计领域的佼佼者， 在推理计算及边缘设备 AI 加速方面市场竞争力日益凸显。2024 年 6 月，寒武纪发布旗舰产品 MLU590， 聚焦 AI 训练与推理。北方算网公众号数据显示该芯片基于 7nm 工艺打造，具备 314TFLOPS 的 FP16 算力，搭载 80GB 内存，内存带宽高达 2048GB/s。这样的配置，让 MLU590 在高性能计算和深度学 习训练中表现亮眼，能轻松应对大规模数据处理任务。其最大设计功耗 350W，适应高密度计算场景。 同时，高达 318.8GB/s 的互联带宽，支持高效多卡并行计算，进一步强化了它在大规模 AI 计算中的实力。为满足更多元化的市场需求，寒武纪在 2024 年 11 月推出 MLU370-X4，主打高性价比 AI 加速方 案。相比 MLU590，它的 FP16 算力为 96TFLOPS，配备 24GB LPDDR5 内存，内存带宽 307.2GB/s， 最大设计功耗 150W。这款新品在延续寒武纪技术优势的基础上，以更低功耗和适中性能，为中低端 AI 推理任务提供了新选择，拓宽了寒武纪产品的应用场景。

5、海光信息

海光信息逐步成为国内 AI 芯片市场的重要玩家，核心产品包括深算二号和即将发布的深算三号。这些 产品主要服务于 AI 推理与小规模训练市场，广泛应用于云计算、数据中心以及 AI 加速计算领域。据证 券市场周刊报道，2023 年发布的深算二号作为面向小规模 AI 训练与推理的加速卡，采用 7nmFinFET 工艺，FP16 算力为 49TFLOPS，FP32 算力为 23TFLOPS，适用于低功耗设备的推理任务。此款产品为 海光信息在 AI 推理市场的初步布局，展现了强大的性价比。此外，深算三号预计将具备显著的算力提 升，并有可能在 AI 推理领域赶超国际竞争对手，如 NVIDIA 的 A800，特别是在推理和高精度计算任 务中。海光信息的 DCU 系列基于 GPGPU 架构，兼容通用的“类 CUDA”环境，能适应国际主流商业计 算软件和人工智能软件。DCU 的设计着眼于高并行计算能力，特别适合处理 AI 推理任务中的大量数据 吞吐需求。

6、国内互联网大厂

国内互联网大厂在自研 ASIC 芯片领域积极布局，成果斐然。腾讯于 2019 年初启动沧海编解码芯片研 发，2022 年量产投用，为云游戏、直点播等场景提供服务。2022 年推出紫霄 AI 推理芯片，采用自研 架构和加速模块，计算加速性能大幅提升，成本降低；还有助力云计算虚拟化零损耗的玄灵高性能网络 芯片。据澎湃新闻报道，阿里在 2019 年发布含光 800AI 推理芯片，算力相当于 10 颗传统 GPU，能效 比达第二名的 3.3 倍，应用于城市大脑、智能安防等领域；2021 年推出倚天 710 通用服务器芯片，采用 5nm 工艺，为阿里云服务器提供算力支持。字节跳动虽未官宣自研芯片成果，但可能加大自研投入。百 度在 2018 年推出我国首款云端全功能 AI 芯片昆仑芯 1 代，已部署 2 万片以上；2021 年量产昆仑芯 2 代，采用 7nm 制程，性能提升 2-3 倍，适用于云、端、边多场景。

七、ASIC 的应用及规模预测

Cervicorn Consulting 数据显示，2024 年全球数据中心市场规模为 2176.5 亿美元。在数据中心的 AI 推 理阶段，ASIC 重要性日益凸显。2017 年 ASIC 在数据中心芯片市场占比仅 10%，预计 2025 年将提升 至 40%。ASIC 针对 AI 算法定制，提升效率、降低功耗，有力推动了 AI 推理发展，已成为数据中心不 可或缺的部分。

数据中心聚焦大规模数据的集中分析与存储时，边缘计算则专注于解决实时性场景的算力需求，两者功 能互补。在边缘计算中，芯片的选择直接影响数据处理的效率、延迟和能耗。 其中，ASIC 芯片在边缘计算 AI 推理芯片中的主导地位日益凸显。2017-2025 年，ASIC 从 50%提升至 70%，而 CPU 从 50%降至 0%，FPGA 则有望从 0 上升至 20%。

数据中心的构成包括网络基础设施、服务器、存储，而服务器是数据中心的重要组成部分。2024 年全 球服务器市场规模达 1173 亿美元（同比+8.6%）；2024 年中国服务器的市场规模为 2456 亿元（同比 +10.1%），成为驱动全球数据中心增长的核心力量。 加速服务器是服务器体系中的关键构成，其通过集成 GPU、ASIC、FPGA 等专用加速芯片，显著提升 AI 训练/推理、高性能计算等场景的效率，已成为数据中心应对算力需求爆发的核心硬件。

IDC 数据显示，2024 年中国加速服务器市场规模达 221 亿美元（同比+134%），其中 GPU 服务器占比 69%，ASIC/FPGA 等非 GPU 加速服务器占比超 30%。预计 2028 年市场规模将超 550 亿美元，ASIC 加速服务器占比接近 40%。

编辑：火腿肠