随着对XR设备高度沉浸、高算力、多种交互等需求的显现,核心计算芯片由移动处理芯片向专用芯片发展。
核心计算芯片的技术特点主要包括:(1)高性能计算:XR 设备芯片具有更强的空间计算能力、计算渲染能力、高效算力协同,集成了CPU、GPU、ISP、VPU、NPU 等多个功能模块,以支持复杂的图形渲染、空间计算和人工智能等任务。 (2)多线程处理:为了提高处理效率,芯片中的CPU处理器通常采用多核心设计。多核心处理器能够同时处理多个任务,提高 XR 产品的运行效率。
(3)实时图形渲染:XR 产品需要实时渲染图形,以保证用户视觉体验的流畅性。因此,芯片中的GPU模块具备实时渲染能力,能够在短时间内完成大量的图形渲染任务,并不断向更精细的图形渲染、更高效的通用计算和更智能的AI 运算方向发展。 (4)多传感器信息融合:核心计算芯片能够处理来自多个传感器的数据,并实现有效的信息融合,以提供准确的空间定位和环境感知。 (5)低功耗:XR 产品通常需要长时间运行,因此核心计算芯片需要具备低功耗特性,以减少能源消耗和热量产生,提高 XR 产品的续航能力和稳定性。
核心计算芯片主要功能模块包括:CPU、GPU、ISP、VPU、WCN、NPU 等。 (1)CPU:中央处理器(Central Processing Unit,CPU)负责处理大量的数据运算和逻辑处理,以实现流畅的虚拟现实体验。未来更高级别 CPU 架构可提供更加强大的AI 能力和 DSP 能力,为 XR 应用算法实现提供良好支撑并为运算实时负载均衡提供可能。另外,为了XR 内容生态开发提供便利,CPU 需提供强大的生态和软件支持。
(2)GPU:图形处理器(Graphic Processing Unit,GPU)负责图形渲染和处理,直接影响用户的视觉体验。GPU不仅可以用于图形图像渲染,还可用于运行分析、深度学习和机器学习算法。未来,GPU 向着更多更精细的图形渲染能力、更多更高效的通用计算能力,更智能的AI 运算能力方向迈进,以提供更强的图形处理和视频渲染能力,并提供光线追踪等算法能力。大规模扩展计算能力的高性能计算、人工智能计算、更加逼真的图形展现方向将成为GPU未来发展的三个趋势。 (3)ISP:图像信号处理(Image Signal Process,ISP)负责接收感光元件(Sensor)的原始信号数据,主要对前端图像传感器输出的图像信息做后期处理和计算,主要功能有色彩插值、自动白平衡、颜色较正、色彩空间转换、自动曝光控制等。未来 ISP 随着高像素采样和多摄的不断发展,将会提出更高的性能收益。
(4)VPU:视频处理单元(Video Processing Unit,VPU)是用于压缩和解压缩数字视频的专用电路。支持编解码多种视频格式和灵活稳定的码率控制。未来VPU将需要支持更高的分辨率,如 16K 渲染能力,以满足未来XR设备的需求。(5)WCN:无线通信网络(Wireless CommunicationNetwork,WCN)主要负责无线通信功能,支持高速数据传输,可提供广泛的无线连接能力,能满足XR业务高频多连接并发,聚焦云网边端的协同渲染,也可辅助其他短距通信能力。 (6)DSP:数据信号处理(Data Signal Process,DSP)负责对信号(例如音频信号)进行数字化处理,可以用于处理图像、视频和音频信号,以提高质量、性能和效率。未来XR 中 DSP 向更低功耗、更强计算能力方向演进。
(7)DPU:显示处理单元(Display Processing Unit,DPU)负责图像的采集、处理和增强,管理显示输出,控制多个显示器的内容,实现多屏幕显示和高分辨率输出。未来要支持单眼 8K,DPU 需要支持 16K 的输入,可能需要不止一个DPU的支持。带宽的高要求也对视频压缩能力有需求,减少内存带宽占用,特别是与 GPU 的交互带宽。(8)NPU:神经网络处理单元(Neural Processor Unit,NPU)用于加速神经网络和深度学习算法,通过将神经网络的层次结构映射到硬件架构上,实现高效的计算。随着人工智能应用的不断扩展,NPU 将更加注重针对特定应用场景的定制化设计,以提高计算效率和节能性能,适应不断增长的AI 计算需求。
目前主流的 XR 核心计算芯片主要有:(1)高通 Snapdragon XR2+ Gen 2 平台,支持每只眼睛4.3K 显示分辨率和 12 个或更多并发摄像头,具备4K分辨率空间计算。 (2)高通 Snapdragon XR2 Gen 2 平台,搭载设备端人工智能和低延迟视频透视功能,为XR 体验提供更高水平的沉浸感。 (3)高通 Snapdragon AR1 Gen 1 平台,专为智能眼镜设计,具有双 ISP,可实现优质照片和视频捕获,并支持双目显示器以实现免提通知和指示。(4)高通 Snapdragon AR2 Gen 1 平台,专为轻便、无线、舒适的 AR 眼镜设计,优化尺寸、功耗、性能,可支持Wi-Fi7,支持定位追踪、环境感知、平面检测等功能,采用4nm 工艺制程,具有眼镜端分布式处理能力,其AR协处理器帮助摄像头聚合 AI 和计算机视觉,使得AR眼镜更轻薄。
(5)瑞芯微VR平台,主要有RK3288、RK3399、RK3588。RK3588 具备强大的视觉处理能力,可支持结构光、TOF等多种快速人脸解锁方案;支持丰富的显示接口,高达8K显示处理能力;扩展性好,支持PCIE3.0 、SATA3.0、双TypeC/USB3.1 等高速接口,可做AI 算力、图像数据处理等扩展。 虽然国产芯片不断探索,但与国外先进芯片仍存在较大差距,相关技术仍是未来需要持续探索和不断投入的方向。