2024年AI算力产业专题报告：NVIDIA GB200，重塑服务器铜缆液冷HBM价值

第一章 Blackwell系列

NVIDIA每一代GPU的计算能力、NVLink、内存持续扩大

英伟达Blackwell GPU支持FP4精度，GB200的FP4计算能力可以达到20P，其计算能力是FP8的两倍，NVlink为3.6TB/s，显存容量为384GB，显存带宽为16TB/s。 A100 -> H100: FP16密集计算能力增加了3倍以上，功耗从400W增加到700W。 H200 -> B200: FP16密集计算能力增加了2倍以上，功耗从700W增加到1000W。  B200的FP16密集计算能力约为A100的7倍，但功耗只增加了2.5倍。

B200：Bl a ckwe ll为TSMC 4N工艺，B2 0 0采用双芯片封装

B200 GPU： 工艺：Blackwell GPU采用TSMC的N4P 技术，H100 GPU采用N4工艺。H100是 一个单芯片（单个完整的半导体单元）封 装，Blackwell GPU是一个多芯片封装， 有2个芯片。 计算能力：每个Bl a c kwe ll GPU芯片 的FP8计算能力大约是H100的2.5倍。 通信能力：B200为为双芯片架构，两个 芯片之间的通信带宽为10TB/s。连接8个 8层堆叠的HBM3E，容量达到了192GB。

GB2 0 0：计算性能可达H100 30倍，NVLink-C2C互联900GB/s

GB200性能：相较于H100，GB200的算力提升了6倍，在处理多模态特定领域任务时，其算力更是能达到H100的30倍。GB200集成了诸多先进技术，包括第二代 Transformer引擎、第五代 NVLink 高速互联技术等。 GB2 0 0组成：是将2个B2 0 0芯片和1个G r a c eCP U整合到一起，相应的 G P U 算力和显存都加倍。CP U 和GPU之间依然通过900GB/s 的 NVLink-C2C 实现高速互联，对应的功耗为 2700W。

Rubin将于2 0 26年推出，GPU产品迭代加速

2 0 2 4 年 6 月 2 日 ， C O M P U T E X 2 0 2 4大会召开，英伟达CEO黄仁 勋 在 大 会 上 展 示 G P U 、 C P U 、 NVLi n k等方面技术路线图。1 ） G P U ： 一 年 迭 代 一 次 。 下 一 代R u b i n于2 0 2 6年上市：将集成 8 颗 H B M 4 ； 2 0 2 7 年 推 出 R u b i n Ultr a GPU，将集成12颗HBM4。 2 ） C P U ： 英 伟 达 确 认 下 一 代 C P U 平 台 Ve r a C P U 将 于 2 0 2 6 年 推出。  3 ） N V L i n k ： 第 五 代 N V I D I A NVLi n k互连可扩展至5 7 6个GPU。 2 0 2 6 年 ， 计 划 推 出 第 六 代 N V L i n k s w i t c h ， 达 到 3 6 0 0GB/s e c。 4）NVIDIA Spe c t rum™-X以太 网网络平台：全球首款专为A I打 造 的 以 太 网 网 络 平 台 ， 计 划 每 年 都推出新的 Sp e c tr um-X 产品。

互联网厂商资本开支指引提升，ASIC AI服务器采购占比增长

CSP资本开支持续投向AI服务器采购。据TrendForce预估，全球AI服务器2024年第2季出货量将季增近20%，全年出货量上修至167万台，年增率达41.5%。2024年大型CSPs及品牌客户等对于高阶AI服务器的需求较好，来自北美CSPs业者（如AWS、Meta等）持续扩大自研ASIC（专用集成电路），以及中国本土业者如：阿里巴巴、百度、华为等积极扩大自主ASIC 方案，促ASIC服务器占整体AI服务器的比重在2024年将提升至26%，而主流搭载GPU的AI服务器占比则约71%。

第二章 服务器细节拆分

英伟达整机：HGX到MGX计算平台，服务器整机到系统形态

GX：模组主要为SXM版本，随后8个GPU SXM模组构建成一个HGX UBB基板，基本交付给英伟达后，分配给品牌级服务器厂商，包括鸿海、广达、纬创、英业达等厂商。  DGX：SXM模组生产后，交给下游服务器厂商进行组装，整机交付给英伟达，流向下游CSP厂商与企业客户等。

MGX（Modul e GPU Ac c e l e rator）：是一个开放模块化服务器设计 规范和加速计算的设计。MGX让系统制造商快速且经济高效地为 AI、 H PC 和 N V I D I A Omn i v e rs e 应用程序构建 1 0 0 多种服务器变体。 GB200 NVL72整个系统由18个Compute Trays计算节点和9个Switch Trays交换节点组成。

英伟达整机：GB200 NVL7 2 训练与推理能力倍数提升

AI 训练：GB2 0 0 包含速度更快的第二代 Tr a n sf o rme r 引擎。与相同数量的 NVIDIA H1 0 0 GPU 相比，GB2 0 0 NVL72可为GPT-MoE-1.8 T 等大型语言模型提供 4 倍的训练性能。 AI 推理：GB200 引入了先进的功能和第二代 Transformer 引擎，可加速 LLM 推理工作负载。与上一代H100 相比，它将资源密集型应用程序 (例如 1.8 T 参数 GPT-MoE) 的速度提高了 30 倍。新一代 Tensor Cor e 引入了FP4 精度和第五代NVLink带来的诸多优势，使这一进步成为可能。 加快数据库查询速度：GB200利用NVIDIA Bl ackwell 架构中具有高频宽记忆体效能的NVLink-C2C和专用解压缩引擎，将关键资料库查询的速度提升为CPU的18倍，总拥有成本降低5倍。

NV Bl ackwe ll重塑价值链，机柜/铜缆/液冷/HBM占比提升

GB2 0 0 NVL系列的发布，有望带来 机 柜 、 H B M、 铜 缆 、 液 冷 等 市 场 的 价值量占比提升。 ü 整机柜：机柜采用M G X架构， 由计算托盘与交换托盘组成，提 升组装复杂度，带来O D M整机 厂的加工价值量提升。 HBM：H 1 0 0采用5颗H B M 3， B l a c k w e l l U l t r a 预 期 采 用 8 颗 HBM3e，单颗GPU采用HBM数 量与单价均实现提升。 铜 连 接 ： G B 2 0 0 N V L 7 2 采 用 NVLink铜缆链接。 散热：B200 GPU功耗约1200W， G B2 0 0功耗约2 7 0 0 W，或达到 风冷上线，有望推动液冷组件价 值量提升。

第三章 铜连接

高速线缆：有源光缆适合远距离传输，直连电缆高速低功耗

交换网络中有多种连接解决方案，包括光模块+光纤、有源光缆（AOC）和直连电缆（DAC）。有源光缆AOC：AOC是由集成光电器件组成的，用于数据中心、高性能计算机、大容量存储器等设备间进行高速率、高可靠性互联的传输设备，它通常满足工业标准的电接口，通过内部的电-光-电转换，使用光缆的优越性进行数据的传输。 直连电缆DAC：在数据中心，铜缆一般用来连接服务器和存储区域网络，最常用的以直连铜缆（DAC，DirectAtt a ch Coppe r Cabl e）为主，而其中又以无源铜缆用得尤盛。由于无源铜缆价格便宜、传输速度快，因而成了实现短距离传输的最佳解决方案。

据LightCounting，受益于服务器连接以及分解式交换机和路由器中的互连需求提升，预期高速线缆的销售额预计在2023-2028年将增加一倍以上，到2028年将达到28亿美元。有源电缆(AECs)将逐步抢占有源光缆(AOCs)和无源铜线(DACs)的市场份额。AECs的传输距离更长，而且比DACs轻得多。 DACs将保持较快增长，NVIDIA需求较高。新的100G Se rDe s使100G / l ane设计的无源铜缆的覆盖范围比预期的要长，包括400G、800G和1.6T DACs。据LightCounting，预计2024年底开始发货的200G Se rDe s表现出色，这将使DACs扩展到每通道200G的设计，由于DACs不需要电，因此它是努力提高电力效率的数据中心连接的默认解决方案。最小化功耗对AI集群来说是最关键的。Nvidia的策略是尽可能多地部署DACs，只有在必要的情况下才使用光模块。

第四章 HBM

HBM市场：HBM3E将于下半年出货，HBM4或于2 0 2 6年上市

HBM（High Bandwidth Memory）：是一款新型的CPU/GPU 内存芯片（即 “RAM”），是将很多个DDR芯片堆叠在一起后和GPU封装在一起，实现大容量，高位宽的DDR组合阵列。 H B M 目 前 已 经 量 产 的 共 有 H B M、 H B M 2、 H B M 2E、 H B M 3、 H B M 3E 五 个 子 代 标 准 。从迭代周期看，SK海力士表示HBM3E内存已经量产，HBM4 产品有望于 2026 年正式推出并量产，同样，美光和三星也计划在2026年量产HBM4。

HBM：2 02 4年底TSV产能约2 50K/m，三星与海力士扩产积极

据Tr endFor c e预估，截至2024年底，整体DRAM产业规划生产HBM TSV的产能约为250K/m，占总DRAM产能（约1,800K/m）约14%，供给位元年成长约260%。此外，2023年HBM产值占比之于DRAM整体产业约8.4%，至2024年底将扩大至20.1%。  以HBM产能来看，三星、SK海力士（SK hynix）至今年底的HBM产能规划最积极，三星HBM总产能至年底将达约130K（含TSV）；SK海力士约120K，但产能会依据验证进度与客户订单持续而有变化。另以现阶段主流产品HBM3产品市占率来看，目前SK海力士于HBM3市场比重逾9成，而三星将随着后续数个季度AMD MI300逐季放量持续紧追。

英伟达目前是HBM最大买家，海力士与三星完成HBM3E验证

英伟达目前是HBM市场的最大买家。英伟达H1 0 0搭载的HBM容量为8 0GB，而2 0 2 4年放量的H2 0 0则跃升到144GB。据Tr endFor c e，预期2025年，受到Bl a ckwe ll平台全面搭载HBM3e、产品层数增加，及单芯片HBM容量的上升，NVIDIA在HBM市场的采购比重将突破7 0%，对HBM3 e市场整体的消耗量或推升至8 5%以上。Bl a c kwe ll Ultr a或将采用8颗HBM3e12hi，GB200也有升级可能，再加上B200A的规划，预估2025年12hi产品在HBM3e当中的比重将提升至40%。

海力士与三星完成HBM3E验证。据TrendForce，SK hynix（SK海力士）、Mi cron（美光科技）在2024年第二季开始量产HBM3e。随着进入到HBM3e 12hi阶段，技术难度也提升，验证进度显得更加重要，完成验证的先后顺序可能影响订单的分配比重。据集邦咨询，三星、SK海力士与美光已分别于2024年上半年和第三季提交首批HBM3e 12hi样品，目前处于持续验证阶段。其中SK海力士与美光进度较快，有望于今年底完成验证。

第五章 液冷

芯片散热起源：电子设备发热的本质是工作能量转成热能

电子设备发热的本质原因就是工作能量转化为热能的过程。芯片作为电子设备的核心部件，其基本工作原理是将电信号转化为各种功能信号，实现数据处理、存储和传输等功能。而芯片在完成这些功能的过程中，会产生大量热量，这是因为电子信号的传输会伴随电阻、电容、电感等能量损耗，这些损耗会被转化为热能。温度过高会影响电子设备工作性能，甚至导致电子设备损坏。据《电子芯片散热技术的研究现状及发展前景》，如对于稳定持续工作的电子芯片，最高温度不能超过85 ℃，温度过高会导致芯片损坏。  散热技术需要持续升级，来控制电子设备的运行温度。芯片性能持续发展，这提升了芯片功耗，也对散热技术提出了更高的要求。此外，AI大模型的训练与推理需求，要求AI芯片的单卡算力提升，有望进一步打开先进散热技术的成长空间。

GB2 0 0 NVL72：采用冷板液冷散热，多家厂商合作打造系统

在3月18日英伟达GTC2024上，多家厂商展出基于英伟达 GB200 NVL72液冷服务器设备，选取冷板液冷进行散热。 鸿海：展出Ingrasys鸿佰科技开发的GB200 NVL72液冷 机架系统，采用冷板式结构，机架具备风液混合、液冷等 结构。

报告节选：

编辑：火腿肠