智能视频编码实现方案分析

最佳答案 匿名用户编辑于2023/04/28 16:16

依据视频编码处理可调用的资源类型,智能视频编码的算力平台主要涉及CPU、GPU、FPGA、ASIC及异构计算平台。

编码实现方案的选定往往结合硬件计算能力与特点、应用场景需求痛点、厂商业务 构成和整体方案成本等多个维度综合考量。从实际市场应用来看,对于超高清直播 类、云游戏等场景,高性能CPU为主要处理平台。软编码方式,灵活性高的特点延 伸了CPU在视频编码领域的应用场景,如应用于直播领域的CPU处理平台搭载 H.264、H.265编码器并叠加AI算法,具备细节处理、美颜等功能。高通用性优势 使其完成视频生产任务后,亦可用作网络服务器、AI服务器等其他应用。综合灵活 性及通用性等核心优势,现阶段CPU处理平台在智能视频编码领域比重最大。

基于强算力特点,GPU多用于处理高并行计算任务,其内部的AI加速处理与渲染功 能,多应用在如视频分析、游戏等场景。CPU+GPU的协作架构在视频编码异构计 算平台中应用最多。GPU在CPU指令调度下执行计算任务,相较串行视频编码框架, CPU+GPU的异构视频编码平台具备效率优势。GPU寄生架构的特点,使运算执行 的时延延长,故CPU+GPU的编码方案适用于即时性要求相对宽松的场景,通过不 断调整编码格式适配场景展示效果。碍于GPU的高价格成本及限购因素,目前多为 头部科技企业选用GPU处理平台,基于NVIDIA定制的CUDA驱动依据需要针对编 码处理平台进行二次开发,并充分利用GPU平台上层丰富的软件生态,实现视频编 码、高性能计算、AI训练、仿真渲染等任务切换。GPU内置的Codec(编译码器) 通常不具备最优性能,且CPU+GPU方案的综合成本较高,这些相对明显的缺点限 制了GPU平台在中小企业的视频编码应用。

ASIC设计分为定制与半定制两种,FPGA属于ASIC领域中的一种半定制电路。相较 于CPU与GPU,ASIC在芯片生产与外围设计加工具有绝对成本优势。成本敏感型 企业倾向选择嵌入式ASIC方案匹配应用场景,并主要应用于端侧、边缘侧产品。嵌 入式定制芯片针对场景设计,芯片性能优于CPU等通用处理平台。ASIC处理平台 在智能视频编码领域应用受限的原因主要包括:(1)灵活性低:芯片算法固定,无 法且无法结合AI应用升级;(2)通用性低:专业性高,只能执行特定编码任务;(3)生态不完善,管理、维护困难:ASIC板卡属于非标服务器,无BCM(服务器管理 控制单元)模块;(4)专业人才不足:多数企业对ASIC芯片的改进、维护停留在软 件层面,缺少解决底层硬件问题的专业人才。算力平台的选择也是技术路线的选定, ASIC方案在解决运维和人员配置问题后,基于性能和价格优势在视频编码领域具有 发展潜力。

CPU+GPU+ASSP(专用标准产品)计算平台也是当前许多企业尝试的视频编码 处理方式,属于VPU的一种产品形态。如国内视频编解码解决方案提供商涌现科技, 将AI与视频编解码算法深度融合,利用搭载专用固件的算力平台方案优化芯片设计, 开发出具有自主知识产权、高性能、低功耗的视频编解码加速芯片,用于支持多路、 高并发、高密度的处理运算及各种编解码格式,通过灵活的设置,实现算法-芯片场景的进一步融合,在成本与性能方面均较传统以CPU、GPU为主的软编软解方案 有所改善,更好地释放AI能力。CPU+GPU+ASSP的异构计算形式将底层AI算法写 入专用硬件加速单元,ASIC方式的升级,将算法芯片化、核心技术硬件化,使其针 对性适配场景,成为智能视频编码的有效实现方式。ASSP部件的设计直接用软件 思维搭建硬件电路,每个时间单位都能专注于数据处理或传输,无需纠结CPU和 GPU在控制资源与计算资源的分配问题。同时,CPU的灵活性为智能模型的演进、 更改提供资源,通用算力与专用算力的融合使整体异构计算平台呈现低功耗、运行 快等优点。目前,制成的AI芯片可应用于需要软硬件结合的安防、交通等领域的边 缘侧,已有一些头部互联网企业布局开发硬编解码器,将特定视频编码算法与 FPGA等专用硬件结合,提升编码效率。