高通如何布局端侧AI?

最佳答案 匿名用户编辑于2024/04/19 10:29

端侧AI芯片领导者,提供软硬件全栈优化。

高通通过持续优化硬件性能和 AI 软件栈来加速终端侧 AI。硬件上,高通 AI 引擎采用异 构计算架构,包括 Hexagon 处理器、Adreno GPU 和高通 Kryo CPU,全部面向在终端侧 快速高效地运行 AI 应用而打造。其中,Hexagon 处理器不断演进,已经成为了高通 AI 引擎最关键的部分,能够应对不断变化的 AI 需求。 Hexagon 处理器的迭代更新为高通端侧芯片 AI 性能跃升的关键。2015 年,高通将 AI 技 术集成到 Hexagon 处理器中;2017 年,骁龙 845 芯片中引入 Hexagon 685 DSP,通过迭 代、优化、更新,现在骁龙 X Elite 和 8 Gen 3 芯片中的 Hexagon NPU 可以提供 45TOPS 的 AI 算力。Hexagon NPU 与之前的 DSP 相比,在架构、计算单元上都进行了重新设计, 升级了全新的微架构,集成了硬件加速单元和微型区块推理单元,以及全新的张量单元、 标量单元、矢量单元,并且所有单元共享 2 倍带宽的大容量共享内存,内部运行频率更高, 内部缓存空间更大,实现了显著的运行速度的提升。Hexagon 处理器在 6 年时间里 AI 性 能提高了 100 倍,计算能力呈陡峭上升趋势。

软件上,在算法和模型开发方面,高通进行了神经网络架构开发和调整工作,以在不牺牲 准确度的前提下提高效率;在软件和模型效率方面,高通打造 AI 软件栈来帮助开发者实 现一次开发,即可跨高通所有硬件运行 AI 负载,并且采用全面而有针对性的策略,包括 量化、压缩、条件计算、神经网络架构搜索(NAS)和编译等技术,在不牺牲太多精度的 前提下缩减 AI 模型,使其高效运行。

高通终端芯片布局包括手机、汽车、XR、PC 和物联网等,种类和数量都为行业领先, 搭载骁龙平台的终端能够推动混合 AI 扩展至跨不同细分领域和层级的数十亿产品。手机 领域,高通目前已出货的且具备 AI 能力的处理器达到十亿量级。汽车领域,高通提供领 先的座舱和车载信息娱乐解决方案,合作伙伴包括诸多头部车厂。物联网领域,高通是物 联网终端芯片的主要提供商之一,高通物联网芯片的 AI 处理能力支持终端设备以高效可 行的方式进行端侧数据分析,推动了跨多个细分领域的创新和转型,包括机器人、智能摄 像头、零售和城市基础设施。XR 领域,Meta 等公司的 VR 头显和 AR 眼镜等 XR 终端 集成了高通终端侧 AI 和 Snapdragon Spaces 技术。

2023年10月,高通发布了两款支持端侧运行百亿大模型的芯片——面向PC的骁龙X Elite 以及面向手机的骁龙 8 Gen3。1)高通骁龙 X Elite:支持在终端本地运行 130 亿参数大模 型,能以 30 Tokens/s 的速度在终端运行 70 亿参数的 Llama-2 模型,实现快速、准确的响 应。AI 方面整合 CPU、GPU、NPU 等模块,总算力最高 75TOPS,其中 Hexagon NPU 峰 值算力为 45TOPS。2)高通骁龙 8 Gen3:用 Hexagon NPU 代替了原有的 Hexagon DSP, 总算力 73TOPS,支持在终端运行 100 亿大模型。运行 70 亿参数大模型时,每秒可生成 20 个 token;运行 Stable Diffusion 时,创作图像只需 0.6 秒。

2023年9月,高通宣布推出两款全新空间计算平台——第二代骁龙XR2和第一代骁龙AR1, 分别用于 MR 和 VR、智能眼镜设备。这两款产品是与 Meta 密切合作而开发的:Meta Quest 3 搭载了骁龙 XR2 Gen2 平台,Ray-Ban Meta 智能眼镜系列搭载骁龙 AR1 Gen1 平台。1)与 XR2 Gen1 对比,骁龙 XR2 Gen2 的 GPU 性能提升 2.5 倍,AI 性能提升 8 倍;2)骁龙 AR1 Gen1 的终端侧 AI 能提供音质增强、视觉搜索和实时翻译等个人助手体验。

2024年1月,高通推出第二代骁龙XR2加强版本第二代骁龙XR2+平台。相对于XR2 Gen2, XR2+ Gen2 的 GPU 频率提升 15%,CPU 频率提升 20% ,支持更逼真、具备更丰富细节 的全新水平 MR 和 VR 体验。搭载第二代骁龙 XR2+的设备能够支持 12 路及以上并行摄像 头和强大的终端 AI,轻松追踪用户的运动轨迹和周围环境,从而实现融合物理和数字空 间的便捷导航和出色 XR 体验。三星和谷歌的 XR 设备采用 XR2+ Gen2 平台。 2023 年 10 月,高通推出面向耳塞、耳机和音箱设计的第一代高通 S7 和 S7 Pro 音频平台。 对比此前的 S5 系列,带来了 3 倍的 DSP 性能、6 倍的计算性能、100 倍的端侧 AI 性能进 步,以及 3 倍的集成内存带宽。AI 性能大幅提升有利于提高耳机降噪性能;同时,芯片 算力提高将为未来无线耳机实现更多功能奠定基础,比如支撑耳塞内置传感器以收集整理 数据等。