2020 年 3 月 18 日苹果发布了新的 iPad Pro,搭载 3D dToF 技术(苹果称为 LiDAR),在纳秒的 极短时间内测量室内或室外环境中从最远五米处反射回来的光子。LiDAR 与 Pro 级摄像头、运动 传感器和 iPadOS 内的架构协同合作,硬件、软件与突破性创新技术的结合,为 AR 增强现实及更 广泛的领域开启无尽可能。
TechInsights 发现,iPad Pro 采用索尼 ToF sensor,像素为 0.03MP,像素尺寸为 10um。
苹果新 iPad Pro 配备了大量增强现实类功能,真实感强烈:能即时完成放置虚拟物体,具有逼真 的物体遮挡效果,可让虚拟物体在现实场景结构中前后穿插。动作捕捉和人物遮挡效果也经过优化, 精准度更高。新款 iPad Pro 还能实现身高测量、AR 游戏、AR 装修、丰富视频动画等。媒体报道, 即将在今年 9 月发布的 iPhone 12 系列手机也有望采用 3D TOF 技术。
相比此前安卓手机厂商采用的 3D iToF 技术,苹果采用的 3D dToF 技术响应快、功耗低、功能完 善。此外,当前只有较少的应用 app 支持 ToF 技术,苹果的采用有望加速 ToF 生态的建设,让 ToF 的渗透率快速提升。
相机创新是消费者购买手机最大动力之一。相机创新是消费者选购手机的主要考虑因素之一。根据 中关村在线 2019Q1 发布的报告,在处理器、相机、屏幕、游戏体验等诸多方面,相机功能是消费 者最为关注和看重的,占据 29%的关注度,同比提升 5%。大大高于第二名处理器的 17%。各个 手机厂商都极为重视相机的创新。
3D 深度相机成为下一阶段相机创新的重点方向之一。从 2000 年夏普首次将相机和手机相结合以 后,手机相机的创新一直以惊人的速度在前进,主要可分为以下 4 个阶段:1)相机和手机相结合, 手机具备照相功能,此后相机模组尺寸不断减小,像素不断提高;2)前置摄像头添加,像素不断 提高,自拍功能不断完善;3)双摄和三摄突破单相机瓶颈,夜视暗拍、大光圈、潜望式、超广角 功能不断提升相机性能;4)3D 深度相机带来立体视觉,增加了脸部解锁、支付、测距等功能。苹 果在 2017 年开创了前置 3D 深度相机的先例,各大手机厂商不断尝试后置 3D 相机的应用,苹果 新款 iPad Pro 正加速后置 3D 相机的推进。
全球 5G 和 AI 商用时代已经开启,3D 深度相机作为 AR 的基础,有望迎来快速渗透。5G 时代, 宽带增强和实时通信等特点有助于 AR/VR 走向云端,能降低设备的要求,同时 AI 算法和硬件的成 熟,将会进一步助推内容的完善。TOF 能提供 3D 拍照、3D 识别和 3D 建模等功能,是 AR 的基 础。根据 IDC 报告,全球 AR/VR 支出规模在 2019 年达到 168 亿美元,在 2023 年将达到 1600 亿 美元,AR/VR 支出规模在 2019 到 2023 年间复合年增长率(CAGR)将达 78%。IDC 还预测中国市场 AR/VR 支出规模增长更快,2023 年,中国 AR/VR 市场支出规模将达到 652.1 亿美元,较 2019 年的预测(65.3 亿美元)有显著增长。2018-2023 年 CAGR 将达到 85%。ToF 有望享受 AR 成长带来的红利。
根据 Yole 报告,2018 年 3D 传感技术市场规模为 37.43 亿美元,预测 2023 年为 186.14 亿美元, CAGR 为 38%。其中增长最快的属于消费电子,主要归功于几大手机厂商的应用。消费电子领域, 2018 年市场规模为 18.1 亿美元,预计 2023 年为 137.7 亿美元,CAGR 超过 50%。
深度 3D 传感技术根据工作原理可以分为三种:RGB 双目、TOF 和结构光。RGB 双目技术算法要 求高,并容易受光线影响,在较暗或者高度曝光的情况下效果都非常差,因此很少被采用。目前应 用比较多的是 TOF 和结构光。
TOF(time of flight)技术工作原理是通过泛光照明器(固态激光器或者 LED)发射近红外(~850 nm 或 940nm)的脉冲波,脉冲波遇到物体以后反射回来,被传感器(sensor)收集到。系统通过 计算 sensor 上每个像素脉冲波之间的频率差或时间差, 再通过算法得到每个位置的精确 3 维深度。
结构光技术的基本原理是,通过近红外激光器,将具有一定结构特征的光线投射到被拍摄物体上, 再由专门的红外摄像头进行采集。这种具备一定结构的光线,会因被摄物体的不同深度区域,而采 集不同的图像相位信息,然后通过运算单元将这种结构的变化换算成深度信息,以此来获得三维结 构。简单来说就是,通过光学手段获取被拍摄物体的三维结构,再将获取到的信息进行更深入的应 用。
TOF 传感技术测距范围可调节,具有更远的探测能力。TOF 传感技术通过计算红外光的飞行时间 来计算物体的深度信息,误差主要来自装置的系统误差,误差较为恒定。而结构光的精度取决于反 射光,在近距离误差较小,但是随着距离的增加,误差呈现指数增加。TOF 测量距离可以调节,只 要改变光学强度、光学视角、发射器脉冲频率,适合远距离体感识别,例如身体动作、手势等,也 适合导航、监控、移动机器人等应用场景,潜在应用场景广阔。
TOF 传感技术对算法要求低、响应更快、支持更高帧率。结构光因为需要对编码的结构光进行解 码,所以复杂度要比直接测距的 TOF 高一些。TOF 不需要后续处理,因此可以避免延迟,同时对 算法要求更低。另外,TOF 方案可以达到非常高的帧率,支持上百 fps。结构光方案帧率会低一些, 典型的是 30fps。如:Melexis MLX75023 的 TOF 传感器支持 135fps。汽车辅助驾驶要求快速响 应、远距离探测,3D TOF 传感技术具备以上特点,因而也更适合汽车辅助驾驶,例如 Melexis 的 MLX75027 采用 3D TOF 技术对车内人员和物品进行监控,并具有手势检测功能。
TOF 结构简单、模组尺寸更小,材料成本更低。在红外发射端,TOF 基本不需要使用光学棱镜, 而结构光需要形成特定的光学图案,因此需要添加 DOE(衍射光栅)和 lens(光学棱镜)。因此 TOF 的模组尺寸更小,材料成本也更低。结构光的 BOM 成本大约 20 美元,而 ToF 约为 15 美元, 中低端 ToF 甚至在 10 美元以下,ToF 更具成本优势。
2017 年苹果发布的 iPhone X 采用结构光 FaceID 用于人脸识别,开启了 3D 深度相机在手机的应 用先例,在随后的 iPhone XS 和 iPhone 11 系列手机中延续了这一设计,但是结构光技术占用较 大屏幕正面区域,且应用场景较少,该项技术一直未获得其他厂商的采用。新款 iPad Pro 的 dToF 发射的点光源密度远低于 iPhone 前置的结构光,也说明了两个技术的不同用途。
ToF 技术更适用于远距离识别场景,如:智能手机后置摄像头、VR/AR 手势交互、汽车电子 ADAS、 安防监控以及新零售等等领域。未来随着技术的进一步成熟、生态逐步完善,TOF 产业有望进一 步提升。
3D ToF 技术在 2018 年就被 VIVO、OPPO、荣耀的部分旗舰机所采用,随后 LG、华为、三星高 端旗舰机接连加入。
目前 OPPO、荣耀、华为和三星的 TOF 深度传感器大都是索尼的 IMX316 芯片。IMX316 传感器 尺寸为 1/6 英寸,有效像素仅为 4.32 万。
苹果 iPad Pro 搭载 3D dToF 技术,相比其他厂商采用的 3D iToF 技术具有诸多优势,有望加速 ToF 应用的成熟。
ToF 技术根据发射光的调制形式,分为直接飞行时间测量(Direct-TOF,即 dToF)和间接飞行时 间测量(Indirect-TOF,即 iToF),直接飞行时间测量采用脉冲调制,而间接飞行时间测量采用连续 波调制。
dToF 技术要求更高,测量精度更高。dTOF 需要采用高精密时钟进行测量且需要产生短时间、高 频率、高强度的激光,对硬件的要求较高。其优点也比较显著,省电、成像速度高,由于发射端能 量较高,所以一定程度上降低了背景光的干扰,探测更远的距离。
当前,ST 和 AMS 的 1D ToF 基本采用 dToF 技术,而安卓厂商的 3D ToF 全部采用 iToF 技术。
AR 是未来最重要的一大科技创新,全球科技巨头都积极参与,包括苹果、谷歌、微软、华为、亚 马逊等。早在 2012 年,谷歌就曾发布拓展现实的 Google Glass 产品,微软在 2015 年发布了 HoloLens 全息头盔,但是由于硬件技术不成熟和生态不完善,AR 市场一直不温不火。
科技巨头深度布局完善 AR 生态,有望打开 AR 消费级市场。从苹果的 AR SDK(软件开发工具 包)ARKit 到安卓的 AR SDK ARCore,再到 2019 年华为推出的 cyberverse 数字平台,这些平台 极大地降低了应用软件的开发难度,推动 AR 生态发展,带动应用场景的繁荣,从而打开 AR 的消 费级市场。
苹果于 2017 年WWDC 大会上首次发布了基于 iOS 版本的 ARKit。初代 ARKit 可实现稳定快速的 运动定位、平面和边界的估计、光照估计和尺度估计,并且支持各个开发平台或引擎。此后苹果在 每年的WWDC 大会上更新 ARKit 版本。在 2018 年的 ARKit 2 版本中,增加了、环境纹理、图像 跟踪和物体检测等功能,提升后的 ARKit 2 可对真实场景中的 2D 图像和 3D 物体进行跟踪,渲染 更逼真的增强现实场景。 2019 年发布的 ARKit 3 增加了对人物遮挡、动作捕捉、多面部追踪、同 时使用前后摄像头等功能的支持。
3D 视觉交互成为 ARKit 中重要的应用场景。在 ARKit 2 中,苹果加入了对真实场景中的 3D 物体 进行跟踪,在最新的 ARKit 3 中,更是加入了实时捕捉人的动作、人物遮挡、多元化 AR 交互等功 能。
TOF 相机作为最优的 3D 交互输入端,能大幅提升 AR 体验感。3D 输入能提供 3 维信息,减少 AR 的算法难度以及计算量,能显著提升 AR 体验的精准度和流畅度,另外功耗也会大大降低。具备 TOF 相机的 iPad pro 能提供更真实、流畅的 AR 游戏体验,甚至可以利用 AR 玩逼真的在线游戏。
具备 TOF 相机的 iPad pro 也能提供学习和工作上的便利,例如进行 3D 扫描和建模,可以让用户 更直观的学习模型,配合其他软件,甚至可以做修改装饰等。
为了促进 Android AR 生态的发展,谷歌在 2017 年推出了第一款 AR SDK:ARCore。ARCore 不 需要额外的硬件支持,在现有的 Android 系统上就能实现 AR 功能;谷歌在 2018 年 2 月发布了 ARCore 1.0 版本,使用运动跟踪、环境理解和光照估测三个主要技术来实现 AR 功能。仅在 3 个 月后谷歌就发布了 ARCore 1.2,增加了 Sceneform、Augmented Images 和 Cloud Anchors 三大 功能,并对某些 iOS 设备提供有限支持。谷歌在 2019 年 2 月也更新了 ARCore 版本至 ARCore 1.7,引入了 Augmented Faces (脸部增强)API,并发布了用于基本原理学习的 ARCore Elements 应用程序。
3D 应用场景成为新 ARCore 中重要的应用场景之一。ARCore 1.2 中 Augmented Images 部分功 能的实现就需要利用以 3D 方式对它们进行跟踪和移动。在 ARCore 1.7 版本中 3D 应用场景更加丰富,此次更新加入了自拍 AR 滤镜和动画 API:Augmented Faces,以及优化的应用 UX。 Augmented Faces 支持前置镜头,它可生成一种高质量的 3D 人脸网格,支持 468 点追踪,开发 者可以在网格上加入有趣的特效,如动画面具、眼镜、虚拟帽子,它还支持皮肤润色。开发者只需 要操控网格上的坐标和特定区域的锚状点,就可以加入特效。
华为也加入了 AR 生态的建设。2019 华为发布了 Cyberverse 数字平台。该平台为 AR 实景地图服 务平台,可使用手机进行厘米级定位, Cyberverse 是开放平台,其中的 AR 部分是全面开放的,可 以接入 Google 的 AR Core 和苹果的 AR Kit。目前 Cyberverse 已有开放接口,包括 3D Map、数 据信息接入等。
Cyberverse 目前已有 3D 步行导航、虚拟楼宇信息、智慧园区 IoT 信息等应用场景,覆盖 150 个 国家 40 种语言。Cyberverse 可用于在景点、博物馆、智慧园区、机场高铁站等空间,2019 年已 经在国内 5 个著名景点进行开发者测试,到 2020 年年末,将在 1000 个地点提供服务。该平台也 可作为导航汽车进行左右车道、一二三车道的转换的高精定位导航系统。
我们认为 ARKit 和 ARCore 打破 AR 硬件和软件相持的困局后,AR 的成长空间已被打开,未来将 是一个硬件和内容相互推动升级的过程,可划分为三个阶段:
1)第一阶段为 2017-19 年,硬件带动内容发展:过亿的存量手机市场和应用软件开发难度的降低 将带来 AR 内容的迅速发展,终端用户的习惯得以初步培养;
2)第二阶段为 2020-23 年,内容的发展将推动 3D 信息采集效果更好的深度 ToF 摄像头在终端的 搭载,深度 ToF 摄像头可实现更优异的 AR 效果,内容将再次得以升级;
3)第三阶段为 2023 年后,用户的 AR 使用习惯已被培养起来、技术也得以提升,产业将迎来 AR 眼镜/头盔的兴起,ToF 的下游应用从手机拓展至眼镜等。
未来几年,ToF 技术在在终端将迎来高速增长。据 IHS Markit 报告,2018 年全球 TOF sensor 传 感器市场规模为 3.7 亿美元,占整个 3D 感测市场的 33%,2019 年其市场规模同比增长 35%,市 场份额达到 5 亿美金,占比提高至 40%左右。基于 TOF 方案的多方面优势,尤其是成本优势,预 计 2022 年,TOF sensor 市场规模有望达到 15 亿美金。
随着TOF技术的不断成熟和应用场景的不断丰富,手机摄像头、VR/AR手势交互、汽车电子ADAS、 安防监控及新零售等多个领域都将对 TOF 深度传感器的数量需求增长。
ToF 深度相机主要包含以下几个组件:
方案厂商:处于 ToF 产业链的核心位置,设计方案、算法和选择主要零部件,通常也同时设计 ToF sensor。
发射端:通常由 VCSEL 激光器及光学器件组成。
接收端:包括 ToF sensor、滤光片和镜片。ToF sensor 收集反射回来的经过红外滤光片过滤的红 外光,测量光线从发射单元到每个像素点的时间,同时记录被拍物体的 2D 黑白图像。滤光片仅允 许发射端相应波长的红外光通过,过滤掉其它波长的光学干扰。
模组组装:将 ToF sensor、VCSEL 激光器、光学元器件等集成为一个完整的模块。
建议关注上市公司汇顶科技(603160,买入)、韦尔股份(603501,未评级)、欧菲光(002456,未评 级)、三安光电(600703,买入)、水晶光电(002273,未评级)、联创电子(002036,买入)。
汇顶科技:具有多年光学指纹、心率传感器等光学传感器量产经验,早在 2017 年就研发了结构光 3D sensing,2020 年有望推出 ToF 解决方案。
韦尔股份:全球第三大 CIS 设计公司,并量产结构光用红外传感器 NIR。
欧菲光:供货安卓手机厂商 ToF。
三安光电:具有 VCSEL 制造能力。
……
(报告观点属于原作者,仅供参考。报告来源:东方证券)
如需完整报告请登录【未来智库官网】。
(本文仅供参考,不代表我们的任何投资建议。如需使用相关信息,请参阅报告原文。)