序言
ToF（Time of Flight）技术是这两年在消费电子领域特别热门的话题，尤其是在iPhone X采用结构光这类3D感知技术以后，与结构光有异曲同工之妙的ToF技术也吸引了更多市场参与者与消费用户的兴趣。我们期望通过这份报告来大致呈现ToF技术在消费电子领域的现状、ToF技术的实质、相关产业链的框架。
不过在我们探讨ToF（Time of Flight）这个话题之前，有必要首先明确探讨范围。即便只说电子科技领域，采用超声波距离测量技术的设备都可以划归至ToF技术范畴，微波雷达均在此范围内。所以ToF技术本身是个很大的话题，因此本文将ToF限定在光学以及消费电子产品领域，如此一来，车载激光雷达（LiDAR）这种能量级别，以及需要有机械扫描结构或MEMS反射镜等参与的ToF应用亦不在本文讨论的范围内。
在谈具体应用时，ToF技术在消费电子产品中主要应用于光学测距以及3D感知，虽然这两者本质上是一样的，但测距系统有时更简单：例如距离传感器、摄像头激光对焦这类“单点”检测ToF技术；3D感知则偏向针对整个场景的“多点”3D视觉、3D建模辅助、深度感知等技术。本文着重于ToF 3D感知，同时也会涉及到ToF测距。
在明确了探讨范围之后，对研究对象也就有了更具体、到位的认识。在此范围内，比较典型的终端产品如vivo NEX双屏版、华为P40系列手机、三星Galaxy Note 10+、微软Kinect二代、苹果iPad Pro 2020等。有关为什么以手机为主要探讨对象的原因，在于手机目前是ToF技术的主要市场价值体现，这将在接下来的内容中进一步阐述。
目录
序言………………………………………………………………………………………………1
第一部分 3D感知市场现状……………………………………………………………………3
1.1 3D感知市场起源………………………………………………………………………… 3
1.2 ToF市场变化概览…………………………………………………………………………3
1.3 ToF市场构成………………………………………………………………………………7
附：VCSEL的市场情况…………………………………………………………………………7
第二部分 ToF成像原理、方法与特点……………………………………………………… 9
2.1 光学测距：ToF与其他方案的对比………………………………………………………9
2.2 手机ToF测距的例子…………………………………………………………………… 14
2.3 ToF技术的进一步分类………………………………………………………………… 15
第三部分 ToF模组的构成与产业链…………………………………………………………18
3.1 ToF模组的构成与产业链……………………………………………………………… 18
3.2 ToF图像传感器、模组与解决方案的例子…………………………………………… 21
3.3 ToF实施中的挑战与难点……………………………………………………………… 23
第四部分 ToF技术应用现状与前景…………………………………………………………25
参考来源……………………………………………………………………………………… 27
第一部分 3D感知市场现状
1.1 3D感知市场起源
通常我们认为，3D光学感知技术市场的爆发是以苹果iPhone X的出现为契机的。iPhone X在手机门类产品中，率先将结构光引入到前置光学系统中，用于Face ID人脸识别。虽然苹果并非市场上最先采用3D光学感知技术的企业，但这类技术在手机产品中的快速应用，是以苹果为代表的。
有关光学测距的分类，我们将在接下来的章节中探讨。报告的这一部分仅针对市场数据：需要明确的是，ToF仅是3D感知应用的某一类技术，iPhone X应用的结构光与ToF技术是不同的。但iPhone X也同时在距离传感器中应用了ToF技术：但当时主要的应用方向是测距，而非3D感知。
在筹备Face ID技术期间，苹果收购的相关企业至少包括了摄像头模块制造商LinX、AR初创企业Vrvana、图像传感器供应商InVisage Tech、AR眼镜制造商Akonia Holographics等[1]，前后历时数年，可见3D感知技术是有相当门槛的。
实际上在消费市场上，3D感知技术被广泛应用可以追溯到2010年微软发布Kinect系统，与Xbox 360游戏机一同发布的体感配件。初代Kinect系统采用的是以色列企业PrimeSense的结构光方案（苹果于2013年收购PrimeSense）。不过微软的第二代Kinect产品开始采用ToF技术，即本文的主角。在Kinect产品问世之后，市场上曾一度出现过不少应用于PC端的3D感知交互硬件，可采用手势操作的方式来控制系统。
另一方面，如果单论ToF光学测距，则在2014年前后就相继有包括LG G3、黑莓Passport等在内的手机开始采用ToF技术方案作为其距离传感器、摄像头激光对焦之用。iPhone 7也是最早一批应用了ToF模块的产品。ToF模组与传感器技术以英飞凌/pmd以及意法半导体为代表。这种ToF光学测距技术在手机上的应用几乎已经成为当代智能手机的标配，因此ToF技术对于手机产品的渗透并不是这两年才开始的。
以iPhone X为标志，手机行业对3D感知技术的采用尤以中国手机制造商最为激进。包括OPPO很早就开始采用结构光、vivo则从2018年开始研究ToF技术在手机上的应用。华为、小米等手机OEM厂商也相继在手机产品中加入3D感知、面部识别等。
针对3D光学感知，以及ToF技术应用市场现状，我们主要采用统计机构IHS Market以及Yole Développement的数据。
1.2 ToF市场变化概览
Yole Développement的数据显示，全球3D成像与感知市场2019-2025年预计市场规模从50亿美元上涨至150亿美元，复合年增长率20%[2]。3D感知也正逐渐从手机前置往后置扩展，由于结构光的测量距离限制，后置的3D感知方案是以ToF技术为主的。Yole的3D成像与感知报告显示，前置ToF方案很快就会被后置的数量超过；且后置ToF技术的市场渗透率会在2025年达到42%；总体3D感知摄像头在智能手机中的采用率会在2025年达到约70%（图1.2.1）。
图1.2.1，2015-2025年智能手机中3D摄像头的采用率占比变化，来源：Yole Developpement
尤为值得一提的是，从Yole Developpement 2018年的预测数据来看，若将3D成像与感知市场的整体营收做切分，2017年这部分市场的主力都仍是工业/商用，占到当时整个市场的38.1%；而预计到2023年，除了整体市场规模的上扬以外，消费市场将成为这一市场的绝对主力：消费市场将占到整个3D成像与感知市场的74.6%（图1.2.2）。这也是本文探讨ToF在消费电子领域应用的依据，因为它最能代表ToF市场未来的发展。
这份预测的发布时间比较早，其中的市场规模基数数据可能预测得过于激进，但我们认为不同市场领域的收益构成仍将按照这个趋势发展。
图1.2.2，3D成像与感知根据不同市场的价值划分，来源：Yole Developpement
从大方向来看ToF模组的成分，它主要可以分成发射端与接收端。这两个组成部分的技术要求都很高（尤其对于dToF方法）。整个模组各组成部分的供应商可能都有不同，以LG G8 ThinQ手机为例，这是一款2019年4月上市的手机，其ToF模组的发射端VCSEL激光器供应商是ams，接收端的ToF传感器供应商为英飞凌（英飞凌应该也提供了整体解决方案），模组由LG Innotek提供。
有关ToF技术原理与整个模组的构成，参见本报告的2.1、2.3与3.1章节。
2019年，ToF行业的不同参与者发生了一波变化。例如ToF模组的VCSEL激光器光源市场已经开始了竞争角逐，Finisar（菲尼萨）被II-VI收购；Philips Photonics则被Trumpf收购；ams（艾迈斯半导体）拿下了OSRAM（欧司朗）。Trumpf和ams都开始面向手机产品提供3D感知方面的VCSEL激光器，包括三星、华为在内的不少手机都已经在大规模采用。
与此同时ToF摄像头模组的发射端技术比结构光要简单，这也让中国国内的更多VCSEL供应商入市，典型如纵慧芯光（Vertilite）。华为P30 Pro与华为Mate 20后置ToF摄像头的VCSEL激光器供应商名单中就出现了纵慧芯光半导体[3]（另一家供应商是Lumentum）。
图1.2.3，三星Galaxy Note 10+的3D ToF解决方案来自索尼，整个模块包括了发射端与接收端；来源：System Plus Consulting[2]
而在ToF模组接收端传感器部分，英飞凌/pmd、意法半导体、索尼等厂商的竞争也日益激烈。手机上最早应用3D感知方案的LG G8 ThinQ手机搭载的即是英飞凌的方案；索尼作为传统CIS图像传感器制造商，于2015年收购SoftKinetic，成为如今索尼DepthSense ToF感知技术的来源，让索尼从不涉足ToF技术市场到一跃成为ToF传感器与解决方案重要供应商：华为P30 Pro、三星Galaxy Note 10+即采用索尼的DepthSense方案[4]。
总体上，ToF技术的竞争日益激烈，而且我们只探讨了移动与消费电子领域，还不曾涉及汽车、工业等组成部分。
图1.2.4，ToF及其他光感应器的市场规模增长预期，来源：IHS Markit
图1.2.5，预计不同应用，ToF技术会拿下的营收，手机显然是其中的主力，来源：IHS Markit
IHS Markit预测2019年仅3D光学感应市场，ToF接收端（红外摄像头）的传感器市场规模超过了5亿美元——2018年的这一值为3.7亿美元。这个数字是什么量级呢？这家机构预测2022年整个光感应器市场价值将达到15亿美元，而3D感应在其中的占比会越来越高。在这部分市场中，不仅是消费电子市场的提升，还包括了工业应用如人群数量追踪、机器人的避障、飞行器着陆，当然还有汽车内智能驾驶舱应用等。
随着BOM成本的下降，包括系统装配与校准的集成成本在降低，加上iPad Pro 2020对ToF技术的应用必将再次推动这一技术的普及，ToF在市场份额上必然是高于结构光这类更复杂的方案的。
1.3 ToF市场构成
有关ToF技术、模组构成及产业链的相关内容，还将在章节3.1中做更详细的剖析，不过在此我们认为仍然有必要从大分类上，对ToF上下游市场价值构成做一个大致的切分。
移动与消费3D感知系统尤其是ToF技术，主体上包括了接收端（传感器为主，典型市场参与者如英飞凌）、发射端（主动发射红外光，以VCSEL激光器为主，典型市场参与者如ams）；除此之外，整个ToF摄像头还包括了光学器件（如用于光源漫射的diffuser，典型市场参与者如舜宇光学）、整体模组（典型市场参与者如意法半导体）和系统设计方案等（本文不考虑更后端的ToF深度数据处理硬件与算法）。
从Yole Developpement前年的预测数据来看（如上所述，整体数据基数或过于激进），传感器可获取的收益预计占到整个3D感知生态系统的14.6%，而发射照明部分占到12.1%，整个光路中涉及的其他光学器件占23.8%，而3D模组整体占价值的33.5%。图1.3.1列举了不同环节的市场参与者，请注意这份数据并不仅代表ToF技术，而包含了所有3D感知技术。
图1.3.1，移动与消费3D感知生态系统参与者，来源：Yole Developpement
附：VCSEL的市场情况
实际上，由于ToF摄像头的很多组成部分并非ToF技术独享，或者在技术上与传统2D成像摄像头或者其他3D感光技术相似。ToF摄像头每个组成部分很难有剥离的市场情况可呈现（例如图像传感器，由于传统2D摄像头的CMOS图像传感器仍是市场价值大头，它无法表现ToF图像传感器的发展；我们也没有ToF图像传感器市场的单独数据）。但VCSEL激光器本身就有着较大的市场容量，因此它由研究机构Yole Developpement单独做了分析，这里给出简单的呈现。需要注意的是，VCSEL并不仅针对ToF技术（且不仅针对消费市场），ToF测距（距离传感器、摄像头的激光辅助对焦）、结构光、ToF 3D感知、车载LiDAR激光雷达等都可能需要用到VCSEL，所以以下数据并不能代表3D感知ToF模组的发展情况，但它对ToF技术市场的发展依然有参考价值。
Yole Developpement预测，2024年全球VCSEL市场规模将超过37亿美元，2018-2024的复合年增长率为31%。其中消费市场将占到大头，2024年的市场规模预计为34亿美元（图1.3.2）。这也符合前文提到ToF的消费市场将成为主力的预判。与此同时，2017年每台智能手机的VCSEL成本平均在4-5美元，而2018年就掉到了2-3美元，充分说明了VCSEL的成本在下降，发展在加速——包括良品率提升及出货量更大致价格摊薄，以及更多的参与者进入到市场中竞争（图1.3.3）。
图1.3.2，2018-2024 VCSEL市场规模预测，来源：Yole Developpement[5]
图1.3.3，手机中VCSEL成本变化趋势，来源：Yole Developpement
iPhone X的前置成像与感知模组包含了3枚VCSEL（其中两枚应用于结构光，包括泛光照明器与点阵投射器），这也带动了VCSEL行情的进一步发展，结构光、ToF摄像头这类主动方案都需要VCSEL。手机市场上的主流品牌，包括小米、OPPO、华为、三星的3D感知技术都在应用VCSEL。另外在汽车与运输、工业市场，VCSEL中长期也将有快速发展。中短测量距离的LiDAR激光雷达市场上，VCSEL预计将与EEL（边缘发射）竞争。
第二部分，ToF成像原理、方法与特点
在我们狭义的ToF光学测距概念里，ToF的成像原理还是比较简单的：要测得ToF模组与场景中某个对象（或某个点）的距离，则由ToF模组的光源向该对象发出光（子）。光在发出后抵达该对象，并反射回到ToF模组的传感器。计量此间“光的飞行时间”，在光速已知的前提下，即可得到距离数据。这也是ToF，time of flight得名的由来。
实际上具体的ToF摄像头在实施方法上有不同的方案，例如基于脉冲的直接测量dToF方法，时间相关的单光子计数（TCSPC）；不过对于普通的p-i-n光电二极管而言，要直接准确测定光的飞行时间是有相当难度的，所以在移动设备上更多的3D感知方案采用iToF间接测量方法：通过测量反射信号的相位与频率差得到深度/距离信息。dToF与iToF这两种方法分有各自的优缺点，这部分还将在后文详述。
2.1 光学测距：ToF与其他方案的对比
事实上，距离测量根据检测机制大致可以分成微波、超声波与光学技术三种。而光学感知技术的优势主要包括了长距离、较广的视野范围，以及最高的空间与深度分辨率，所以自动驾驶、AR/VR、机器人等领域对光学测距的应用更广泛。
前文已经提到过，本文探讨的ToF仅特指其在光学测距（及衍生的3D成像与感知）中的应用。那么ToF在光学测距中，处在什么样的位置呢？这里我们采用2001年 Optical Engineering（《光学工程》）一书中的分类方法（图2.1.1）。
图2.1.1，光学测距的分类，来源：Optical Engineering (2001)[6]
光学测距大方向可以分为主动与被动两种。
（1）被动方案中比较有代表性的就是立体视觉（Stereoscopy），即手机上如今十分多见的双摄、多摄：2011年前后的LG（如LG Optimus 3D）、HTC（如HTC One）就已经在应用这种技术，即通过两颗摄像头就能构造3D影像。这是一种比较类似于人眼视觉系统的方案，通过三角测量（triangulation）的方式，从不同视角的摄像头获取到同一场景的多张影像，以此获取场景的3D构造。
这种方案不需要主动光源，而且系统设计相对简单。距离信息是基于多张图片在同一物体上的视差，特征匹配就会显得很重要。这种方案在某些情况下存在一些显著缺陷，例如occlusion（某对象对一颗摄像头可见，但对另一颗可能不可见），以及缺乏纹理或者高光对象等。而且它对场景亮度等因素都有需求。
（2）上述被动方案列出的聚焦合成（depth-from-focus）是一种通过捕获场景中各种焦点的不同画面，为影像质量建模，并且执行距离计算的技术。光场相机是应用这种技术的典型。扫描这个场景中不同焦点设定的各个画面，每个焦点最锐利的影像即可确定，距离即可测得。这种技术只需要一颗摄像头，也就没有立体视觉系统的某些问题。不过由于是2D影像分析，所以对于缺少纹理的对象依然存在检测难度，而且因为操作与景深相关，深度分辨率与帧率就会有取舍。
上述两种被动测距方案由于都不需要主动光源，因此不需要考量人眼安全问题。相对来说，主动测距也就体现在通过主动光源照射场景，如激光、LED。
（3）图2.1.1分类中的干涉量度法（interferometry）能够提供最高的深度分辨率。这种方法是由反向散射激光束与参考光束发生干涉，产生干涉条纹进行测量。这种方法的问题在于测量距离十分受限，远小于其他方案。
图2.1.2，iPhone X的Face ID系统发射器发出的红外光点，来源：iFixit[7]
（4）在Optical Engineering一书列出主动测距方案中的“三角测量（triangulation）”特指结构光。iPhone X的Face ID脸部识别即是这种方案。结构光系统至少包含一个结构光发射器，和一枚红外摄像头。发射器会发射包含某一种光斑图案（light pattern）的许多光点，由摄像头捕获这些投射到场景中的光点图形，或者说是“编码的结构光”，根据不同光点的形变等状态来计算距离。
Face ID由发射器投射出超过3万个红外光点（图2.1.2），构建起脸部的深度图，在民用市场上这是一种精度更高的方案，或者说相较ToF明显更高，因此相比ToF方案，结构光也提供相对而言更好的生物特征识别安全性：更早华为、三星将ToF模组应用于前摄的方案，其安全性还是比苹果结构光更低的。
结构光系统的一个较大缺点在于，测量距离受到整个模组中，摄像头到发射器的距离（baseline）限制。如果要获得更远距离的3D感知，则需要更远的baseline——即摄像头和发射器要求离得更远，这对于讲究紧凑的消费产品而言成为一个重要制约，也成为制约结构光在手机上应用的问题。所以手机的后摄3D感知方案几乎不可能采用结构光技术。
结构光的另外一些缺点还可能包括上述立体视觉方案中的occlusion（因为立体视觉与结构光本质上都属于triangulation方案，只不过一个是主动，另一个是被动；不过市场上亦有已解决此类问题的方案技术）可致深度判断错误，而且结构光还需要集中能量的光源。
从更实际的层面来说，与结构光搭配的算法和算力要求会更多更复杂，这对后端芯片造成了更大的负担和成本的提升；而且结构光从技术上来说也更复杂、成本更高，比如从上述原理简述就不难理解，其发射端的技术要求明显更高；加上它在某些产品，典型如手机上的应用由于测量距离而受限，结构光的市场规模与发展潜力，在我们看来是不及ToF技术的。当然结构光更高的精度令其在某些应用场景仍有相当重要的位置，如对安全有更高要求的支付级别生物特征识别。[8][9]
有关结构光与ToF技术各自优劣的探讨，亦有不少研究与实验做出呈现，包括深度精度、敏感度等方面的比较[10]。这两种方案的不同，造成两者应用领域可能是不一样的，并不存在相互替代的关系。而且某些市场参与者同时对两者做了投入，例如ams既有针对ToF的方案，也有针对结构光的方案。
（5）ToF技术在民用市场的崛起，很大程度上是因为规避了以上多种方案的缺陷，并在技术复杂度和成本上相对折中，在测量距离、分辨率、系统体积、可适用性、成本等各方面都提供更大的可控弹性。比如说测量距离对手机之类设备而言十分适用（如iPad Pro 2020的LiDAR可实现5米范围内的3D感知与成像）；在不少手机产品中的应用，也表明其体积对于紧凑型设备而言是完全适用的。
这种技术的原理实质已经在前文提过，ToF技术通过发射端来发射光子，在碰到场景中的对象时返回，并由ToF模组的接收端来获得返回信号，计算光子飞行时间或相位差数据，以此获得距离信息。后文还将花更多的笔墨来细数这种技术的具体方法和构成。
图2.1.3，英飞凌最早面向手机的商用ToF方案，来源：英飞凌[11]
这两年面向消费产品的ToF技术也在进化，如英飞凌在2017年率先推出面向手机产品可商用的ToF解决方案，其上采用英飞凌/pmd自家的REAL3™图像传感器，其整体形态如图2.1.3所示。整个模组包含了典型的发射端（主体为VCSEL激光器）、接收端（主体为ToF图像传感器），以及其他电路（如由于红外激光作为主动光源需考虑人眼安全，所需加入的电路）。
图2.1.4，提升集成度的ToF方案，来源：英飞凌
在MWC 2018大会上，英飞凌宣布推出当时移动设备中最小的深度感知摄像头（图2.1.4）。其变化主体除了更小的传感器尺寸以外，还在于显著提高的集成度：如人眼安全相关电路直接整合进成像系统，这也就极大缩减了PCB尺寸；加入SPI Flash存储器支持，用于数据缓存；以及裸片VCSEL激光器。英飞凌宣称，整套方案缩减了超过60%的系统成本，以及超过70%的PCB整体尺寸，模组高度也减少超过30%。这是ToF技术在消费市场中进步的一个缩影。
ToF技术的固有缺陷则在于前文提到的传感器空间分辨率明显更低，即便近两年其传感器分辨率已经在提升，例如iPad Pro 2020的LiDAR模块分辨率为3万像素[12]，这在移动及消费产品的dToF方案中，已经是相当高的分辨率；英飞凌面向消费市场的一般REAL3™传感器（iToF方案）也达到了3.8万像素（传感器型号IRS2381C、IRS1645C），去年推出的IRS2771C则达到15万像素。未来的ToF市场预计还会朝着更高的分辨率进发，但至少就目前来看，测量精度量级仍然相较结构光方案落后。
测量精度与测量距离、传感器分辨率和视场角有关，而ToF传感器的分辨率目前仍然不高的原因，我们猜测一方面在于ToF传感器更要求单像素获取信号的能力（而不需要2D摄影成像那么高的画面解析力），更大的单像素尺寸也就显得比较必要（应用于iToF的图像传感器单像素尺寸普遍在10μm左右，而传统摄像头的CIS图像传感器单像素尺寸已经下探到0.7μm）。
另一方面，就dToF而言，传感器电路设计比较复杂，包括淬火电路、像素内TDC（time to digital converter）在内的各种电路需要占据较大的片上尺寸；而对应用iToF的方案来说，像素结构可能也涉及到对入射光与发射光调制同步的问题，更高的集光效率亦暂时难以缩减像素尺寸。
但在大方向上，ToF传感器厂商普遍也在尝试背照式（Backside Illuminated）、堆栈式（Stacked）CMOS这类技术，将原本位于光电二极管上方的布线层移至下方[13]，以及将光电转换器、电子倍增器（electron multipier）这些部分垂直堆叠[14]，以增大像素开口率，减小像素尺寸。这些都是进一步实现像素小型化的工艺方案。
图2.1.5，iPad Pro 2020的LiDAR发射端发出的红外光点，来源：iFixit
另外，从iFixit的拆解和分析来看（图2.1.5），iPad Pro 2020的LiDAR模块红外照明光点密度也远比其前置的结构光（Face ID）要低。这也很容易体现两种技术的直观差别，即在测量距离及精度上的此消彼长。
更为具体的ToF技术需要克服的缺陷，可能还包括了较短的积分时间（integration times）会造成信噪比问题，而更久的积分时间则可能让像素过饱和；低分辨率造成的抑噪、增采样等问题；还有包括场景中运动对象可能造成的运动伪像，以及多径干扰（multipath effects）等问题；由于场景中需测量对象表面材料本身的颜色、反射率、集合结构等差异，反射得到的红外光在振幅、相位方面都会有差别，可能导致深度计算错误——这类问题实际也都有缓解方法与改进技术。而且其中的很多问题也是光学测距技术共有的，并非ToF技术独有。
* 注：上述光学测距分类方法可能不够全面，例如以不同切分维度做划分，triangulation（三角测量）这种方法本身就可以分成主动与被动两种；而在被动测距方案中，在深度上做文章的也不仅限于depth from focus。
2.2 手机ToF测距的例子
如序言所述，智能手机应用ToF技术早于iPhone X，不过更早年的ToF技术主要应用于手机的光学测距，而不是如今十分火热的3D感知与成像。2014年的LG G3、黑莓Passport手机中就已经有了应用ToF技术的距离传感器的身影。
手机上的距离传感器，主要作用是在接打电话（或手机放在口袋中等使用场景）时，感知到耳朵贴近屏幕时即熄屏，起到省电和避免误操作的作用。早年的距离传感器实际仅是一个简单的光电二极管，用于感知光的亮度级变化。这种方案在某些情况下会失效。
iPhone 6s开始改用一种主动的距离感应方案：包括一个LED光源，以及光感应器。在接打电话时，脸部贴近手机前面板，LED发射光以后反射到光感应器，在光强度级超过某个预设的阈值后即关闭屏幕。这种方案的问题在于，需要找到一个阈值可适用于所有手机使用场景——这是相当有难度的。
iPhone 6s的这种距离感应方案已经有点儿ToF技术雏形的意思了，iPhone 7则正式在距离传感器上开始启用ToF光学测距方案。ToF光学测距相较早前方案的益处在于不需要依赖于光强度级，通过测量光子飞行时间的方式，几乎适用所有适用场景。
从TechInsights的拆解来看，如黑莓Passport及同时代的一众手机，都采用意法半导体的VL6180方案。这是一个三合一的光学模组，内部包含距离传感器、环境光传感器，以及VCSEL（垂直腔面发射激光器）光源[15]。距离传感器部分实则包括了完整的ToF模块发射端与接收端，而且接收端的传感器选择的是SPAD（单光子雪崩光电二极管）。
图2.2.1，iPhone 7的前置ToF模组部分，来源：TechInsights
iPhone 7所用的方案与意法半导体的二代ToF模组很相似，整个模组不再包含环境光传感器，SPAD阵列也发生了变化（图2.2.1）。TechInsights猜测，iPhone 7选择的ToF模组一方面用于距离感应，另一方面则用于前置摄像头的精准测距（对焦）。此后这类距离检测方案在手机设备中得以普及，从前置距离传感器到后置用于辅助摄像头做激光对焦的ToF模块。
发展到如今，ToF技术在手机上即不再单纯用于“单点”测距，逐渐向3D成像与感知方向发展，如LG G8 ThinQ前置ToF摄像头利用ToF技术实现隔空手势识别交互，以及华为P30 Pro开始在后置3D成像与感知模组中采用ToF技术，可实现更多样的应用，如通过对场景的深度感知来构建depth map，在传统摄像头拍照时，实现相比双目视觉更精准的背景虚化功能。iPad Pro 2020的后置LiDAR激光雷达即是ToF 3D感知应用更为近代的发展成果。
2.3 ToF技术的进一步分类
以图2.2.1针对ToF的进一步分类来看，手机中ToF模组应用于测距的方案属于dToF，即直接测量方法。苹果在宣传中也提到iPad Pro 2020所用的LiDAR应用的是dToF技术。从3D感知和成像的角度来看，在手机这类紧凑设备上直接应用dToF的设备并不多。针对ToF技术更具体方法的分类，这里做个简单的介绍。
这里我们采用英飞凌的分类方法（图2.3.1），这也是业界比较主流的一种分类。图2.2.1针对ToF的方案再分类，在维度上可能是略有不同的，如其中的iToF仅考察连续波方案。
图2.3.1，来源：英飞凌
（1）dToF（direct ToF）
前文简述的ToF技术原理，说的其实是dToF。这种方法在原理上也是最为简单的，最能诠释“飞行时间”含义的。即发射端发出一个激光脉冲，经过场景中某个对象反射，回到接收端，由接收端的光电探测器检测到。在这个过程里，会有抽象的“计时电路”用于计量全过程消耗的时间。那么在光速已知的前提下，场景中相应对象与ToF摄像头的距离即可得出。
这种方案虽然原理直接且简单，但技术层面对发射端的光源、接收端的光电探测器（即传感器），以及实现同步、时间检测相关电路都有着很高的要求。比如对发射端来说要产生这种短脉冲就有一定要求。而接收端的光电探测器也要求快速时间响应。
图2.3.2，dToF方法示意，来源：CMOS SPAD Sensors for 3D Time-of-Flight Imaging, LiDAR and Ultra-High Speed Cameras[8]
不少应用于手机距离传感器、摄像头辅助激光对焦的ToF模组就选择采用dToF方法，提供从发射端到接收端及整个模组方案的代表厂商即意法半导体。如前所述，在3D感知与成像方向上，iPad Pro 2020的LiDAR也采用这种方案，这在行业内仍是比较少见的。就现阶段的移动设备主流3D ToF应用来看，iToF是个更加切实可行的方案。
（2）iToF（indirect ToF）
在某些ToF技术实现的分类方法中，可能仅在切分上将ToF技术分为基于脉冲的ToF方法，和连续波ToF方法（或者说计算反射光相位差为主要方法的）[10]。而dToF与iToF的分类是将其切分得更细致。
在图2.3.1的分类方法里可见iToF可再分成pToF（基于脉冲的ToF）以及cwToF（连续波ToF）方法。在间接ToF中的pToF和dToF有些类似，不过pToF是实时测量多脉冲进行数据分析。值得一提的是，对于接收端的传感器而言，有相应的电子快门——也就意味着对于接收信号来说有一个“快门窗口”。应用pToF方法的典型市场参与者如ADI。
图2.3.3，iToF方法示意，来源：Time of Flight Cameras: Principles, Methods, and Applications[16]
而cwToF即连续波ToF方法，针对发射端的照明会应用一个周期性的调制信号，并针对反射光测量相位差，以此计算距离。当然上述提及的方法基本原理，在事实上未必会这么简单，比如cwToF可能需要做多次相位差采样并得到结果。选择cwToF方法的典型市场参与者如英飞凌、索尼。
pToF与cwToF也各有彼此的优缺点，比如pToF在系统设计上，尤其对环境光变化的适应性会更强，而且对场景运动模糊等问题的抵御也比较好；更远距离的功耗控制较好；脉冲时间与宽度并不要求一致，也就更容易实现更宽的动态范围与自动曝光。但pToF方法中，发射的光脉冲宽度和接收端传感器的快门要求一致，那么系统的时间控制要求就会更高；温度校准会更复杂，因为温度变化会影响到脉冲宽度；另外在系统设计上，可能要求外置的模拟前端用于深度数据的数字化和输出。
cwToF方法的优势在于对于一些精度要求没有那么高的应用而言，连续波系统实施起来会更简单（但在精度要求较高时，cwToF的信号调制实施难度也不小）；为实现相位解缠，cwToF会应用多调制频率——这种方法对于减少多径错误会很有帮助；cwToF是全CMOS成像系统，具备更好的弹性、更快的读出速度，RoI（region-of-interest）输出这类功能也能实现。但cwToF方法也有一些缺点，cw传感器要求多调制频率下相关函数的四次采样，加上多帧处理，这样一来信号处理的复杂度会变高，可能会要求额外的应用处理器；对于更远的距离测量，或者场景内的环境光比较强，那么连续输出功率要求比较高，这对发热和稳定性会有影响。
由于cwToF方法在消费电子中的普及性，借由cwToF方法，这里恰好可简单介绍ToF技术在测量距离、精度等方面的限制因素。在cwToF的上述深度计算表达式中（图2.3.3），c代表光速，f代表调制频率，∆ϕ代表接收信号的相位差——这个相位延迟的获取，就要对接收信号对4个累加窗口做采样。
从上面的这个计算公式可知，如果要获得更长的测量距离，那么就需要更慢的调制频率。但如此一来就会限制距离精度（距离精度与距离相关）。距离精度与背景光强度、信号强度、最大不模糊距离（maximum unambiguous range，即上述等式中的c/2f）有关。对于一个给定了对象和背景光的场景而言，由于反射信号强度随着距离增加指数级下降，就会有指数级的精度降低。多调制频率方法（multiple modulation frequency）可部分缓解这个问题，但会增加系统复杂度。
除此之外，光源照射是持续进行的，那么为了满足人眼安全需求，就要求相对较低的峰值输出功率——这会导致较低的信号波幅，以及SBNR（signal-to-background noise ratio）。在结合这些因素之后就不难发现，cwToF（确切地说，这里的cwToF是amplitude modulated continuous wave ToF，相对于frequency modulated continuous wave）方法是一种相当适用于移动与消费领域的短距离检测方法；也在于其系统成本要低于dToF，发射端与接收端皆是如此。
第三部分，ToF模组的构成与产业链
3.1 ToF模组的构成与产业链
本文的1.3章节实际上已经针对ToF模组的构成有了个简单的介绍，这里再进行一次更为细致的解读。由前文的ToF原理与市场分析便可知，ToF模组至少包含了发射端与接收端两部分。这两部分本身内部还有更多的构成要素。总体上在本文探讨范畴内的ToF摄像头包括的主要组成部分有：
（1）发光单元，用于照亮场景，通常光源采用红外光。对于相位检测方法而言，光需要以超过100MHz的高速频率做调制，可行的光源通常就为LED或激光二极管[17]。在我们的采访中，在发射端VCSEL较有技术积累的ams也告诉我们：
“工业界有三种光源：LED、EEL（边缘发射）、VCSEL（垂直腔面激光发射器）。理论上三种光源都可以用于ToF。VCSEL的优势在于：a.它可以做成各种形状，并且尺寸很小，所以可以轻易集成到手机里；b.VCSEL的效率比LED高约10%；c.VCSEL的上升下降沿时间十分短，适合于短脉冲和高重复频率，所以非常适合目前的dToF应用；d.VCSEL的波长随温度漂移只有0.07纳米/度，也非常适用于车载；e.VCSEL寿命长，对环境要求低。”
VCSEL的主要供应商有Lumentum、ams（Princeton Optronics）、纵慧芯光（Vertilite）、Finisar（菲尼萨）、Trumpf（Philips Photonics）等。
图3.1.1，应用于LG G8 ThinQ手机的VCSEL die，这里的ToF模组来自英飞凌/pmd，来源：System Plus Consulting[18]
值得一提的是，即便是VCSEL光源本身，其生产还可能涉及到更多的市场参与者，例如外延片生长流片与测试、封装。这些所涉及的产业链玩家还会更多。
（2）光学器件（图3.1.2）。无论是发射端光源之前，还是反射光进入接收端之前，都需要光学器件。比如应用于VCSEL激光器光源之后的diffuser（扩散器），这是一种beam shaper，用于对光束做均一化，并让较窄的光束扩展到更宽的角度；diffuser供应商除了ams（Princeton Optronics）之外，还有Finisar（菲尼萨）、PRC、舜宇光学、Viavi Solutions等。
ToF接收端，即红外摄像头的光学器件还包括了一枚窄带滤光片，仅允许特定波长（通常为940nm或850nm）的光通过。这种红外滤光片的供应商主要有Viavi Solutions、水晶光电等。
而在反射光进入接收端的传感器之前，还需要经过镜组对光线聚焦（在发射端之后可能也需要某种形式的光学镜片参与）。这些镜片与传统摄像头的镜片在原理上类似，供应商包括有舜宇光学、欧菲光、瑞声科技、大立光、玉晶光等。
图3.1.2，ToF模组光路中涉及到的光学器件，来源：Viavi Solutions[19]
（3）图像传感器。一般来说，接收端的图像传感器就是我们常说的ToF传感器（事实上并不能简单将ToF图像传感器说成是接收端的组成部分，例如英飞凌REAL3™图像传感器就包含了照明控制单元和部分外围电路），就ToF的技术原理与特点来看，它是整个ToF模组的核心单元，用于接收反射回的红外光。而且ToF技术中应用的图像传感器技术要求也相较结构光明显更高。
2.3章节介绍的ToF分类中，由于不同类别的ToF方法有各自的特性，所以不同方法所需的图像传感器技术有较大差别。这一市场的主要参与者有英飞凌/pmd、意法半导体、索尼、松下、ams等。
有关ToF传感器的构成概述，还将在下文详述。对于不同的ToF实现方法来说，对应的传感器也是不一样的。例如最早商用ToF 3D感知的手机LG G8 ThinQ采用英飞凌的CMOS图像传感器——这是目前比较常见的cwToF方法。
而vivo NEX双屏版选择了松下的CCD图像传感器[20]——推测这款手机所用的方案可能是pToF。ADI也是ToF技术的CCD图像传感器主要供应商，但其市场并不着力于手机产品。而CCD如今已经少见于移动消费设备了，CCD有自身的一些优点，比如说在高像素上暂有优势，而且感光度高，特别是940nm波段有较好表现，对室外强光有更天然的适用性；另外就是前文提到pToF本身的一些优势。但CCD功耗和发热都比较大，这是它或许并不怎么适用于手机产品的原因。
对dToF来说，技术又更复杂一些。2.2章节提及ToF光学测距的例子时，就提到了SPAD（单光子雪崩二极管）。实际上，由于dToF方法对时间抖动要求较高，它对于整个ToF模组都有着很高的技术要求，传感器（或光电探测器）也不例外。所以dToF方法所用的图像传感器常见APD（雪崩光电二极管），相比传统图像传感器的光电二极管，这种光电二极管有着较高的增益和量子效率。简单地说，APD传感器能够实现电子倍增（就像电子发生雪崩一样，如图3.1.3）。APD图像传感器的市场参与者有松下等。
图3.1.3，传统图像传感器光电探测器结构与APD图像传感器的比较，来源：Panasonic[21]
就脉冲调制光的方案来看，可采用较低工作周期的照明，主动照明光可以短脉冲宽度以及高峰值输出功率，同时兼顾人眼安全。由于峰值功率较高、SBNR（signal-to-background-noise ratio）也就极大提升，探测距离也就可以比较远；而且APD可以避免多径干扰之类的问题。不过APD像素尺寸一般也非常大，要实施像素大阵列，或者说高像素也就很有挑战。很多选择APD像素的ToF装置也因此需要有包含机械动作的扫描。这就不属于我们要探讨的移动设备或者手机范畴了。
dToF方案里另一个比较有代表性的传感器技术是前文就提到的SPAD（单光子雪崩二极管），它和APD的差别在于：它比APD更敏感，一个光生载流子就能触发大量雪崩电流；另外APD的dToF方案里，TDC（time-to-digital converter）的触发信号是由一个互阻抗放大器（TIA）产生的，而SPAD一般能够直接产生数字触发信号，也就是所谓的像素内TDC（in-pixel TDC）。SPAD相比APD得以实现小像素尺寸，而且与CMOS全兼容，SPAD像素阵列芯片级高度集成也就可行了。除了更低的时间抖动，单光子检测属性让脉冲宽度很短，输出功率也就可以比较高，SBNR自然可以更高。
SPAD与APD一样都利用入射辐射触发p-n结的雪崩电流，两者的根本差别在于SPAD设定了一个高于击穿电压的反向偏置电压，二极管可工作在所谓的“Geiger-mode”下。基于SPAD的dToF系统，实现TCSPC（时间相关单光子计数）。当然APD技术也在发展中，比如松下今年才发布了一种名为VAPD（垂直堆栈APD）的技术，以实现像素的小型化，能够实现远距离、高测距精度和更高的像素[14]。
由于iPad Pro 2020采用dToF方法，只是我们并不清楚其中的具体实现，所以这里稍稍介绍了dToF相关的图像传感器技术——至少在3D感知和成像方向上，它们的应用范围很多时候并不在以手机或移动设备为代表的消费电子产品中，因为其小型化尚有难度。
（4）模组与方案设计。模组和方案设计环节的市场参与者有英飞凌/pmd、索尼、微软、意法半导体等。其中比较有代表性的是英飞凌。英飞凌与pmd的合作是其业务发展的亮点。pmd是一家德国企业，在基于CMOS的ToF图像传感器、相关算法与软件，以及ToF摄像头系统组件校准上，都颇有建树。英飞凌则专注于半导体工艺、产品研发和生产。这两家公司在ToF领域的合作已经持续了数年，主要面向汽车、工业和智能手机应用。
2019年11月，英飞凌宣布收购pmdtechnologies公司15%的股份[22]，也表明双方对ToF应用持续发展的看好。这两家公司联合推出的REAL3™图像传感器系列，在分工上，pmd提供ToF像素矩阵，而英飞凌为片上系统（SoC）集成提供所有功能模块，并研发ToF优化CMOS制造工艺。
图3.1.4，英飞凌与pmd在ToF领域的合作，来源：英飞凌
双方的合作细节如图3.1.4。在今年的CES 2020展会上，英飞凌/pmd再度亮相了一款据说是“全球最小的3D深度感知模块，且拥有最高分辨率”（尺寸4.4 x 5.1mm）。应用面向智能手机与移动集成，其上除了IRS9100C照明驱动IC之外，其中的REAL3™图像传感器（IRS2877C），5μm的“像素核心（pixel core）”，VGA分辨率，这应该可以代表整个行业的发展方向[23]。
（4）驱动电路、外围电路、计算、软件与其他。驱动电路，例如发射端的照明单元与接收端的图像传感器都需要由高速信号进行控制与同步，这些信号需要足够精准以实现高精确度：照明单元和传感器信号之间有时间偏差，就会有距离偏差，实现这种偏差的可控就很重要。
而计算则相关于信号从图像传感器像素阵列输出后的转换、处理、计算等。举个例子，比如对于pToF系统而言，通常需要外置的模拟前端，对深度数据进行数字化并输出；而cwToF系统则可能因为数据处理的复杂性，而需要外部处理器进行后端处理。当然数据处理自然涉及到算法，以及往终端应用方向提供接口，甚至提供一些扩展应用的解决方案等。这些并非本文要探讨的重点，此处不再赘述。不过需要指出的是，可能由于不同厂商的实施方案差异，某些电路的不同位置可能会有不同。
3.2 ToF图像传感器、模组与解决方案的例子
如前文所述，我们认为cwToF会在未来成为手机及移动消费类电子产品中，3D感知的主流方案。而且前不久英飞凌宣布与高通达成合作，开发基于骁龙865移动平台的3D认证参考设计：这个参考设计采用REAL3™ ToF传感器[24]，说明这类方案是比较有代表性的。所以这里我们选择在cwToF方法实现中比较有代表性的英飞凌/pmd联合开发的REAL3™图像传感器，来谈一谈在3D ToF的整个模组中，图像传感器究竟扮演着什么样的角色，及其内部构成如何。
图3.2.1，ToF原理与框图，来源：英飞凌[23]
从图3.2.1中3D图像传感器REAL3™划定的范围来看，它实则并不仅限于像素阵列以及ADC；整个传感器还相关发射端联动的控制器和调制过程。
以英飞凌/pmd的IRS2381C为例，像素阵列（224x172，像素尺寸14μm）主要接收940nm红外光；除此之外的部分还包括了集成的ADC，高度弹性的调制单元（modulation），包括了人眼安全电路（laser-class-1激光安全级别）的照明控制逻辑，高速CIS-2数据接口；另外IRS2381还包含优化的电源供给单元，以及一个全SPI主内存接口。
图3.2.2，英飞凌ToF传感器与模组，来源：英飞凌
传感器的尺寸是4.4 x 4.8mm（图3.2.2），除了图像传感器外，模组还需要加入光源、光学器件等组成部分。外加功耗与成本考量，它适用于手机这类紧凑型产品。值得一提的是，如3.1章节提到的，模组与方案设计供应商不仅提供硬件本身，像英飞凌这类厂商也提供完整的服务包。除了图像传感器之外，英飞凌提供的服务也包括了软件驱动、3D深度处理管线、参考设计，还有针对校准的参考产品设定，以及针对摄像头模组制造商和OEM厂商的测试等。
2.3章节提到过，cwToF方案的信号处理复杂度会比较高，可能需要外部应用处理器，这一点也体现在了图3.2.1中。它可能是手机中的应用处理器。处理器通过I2C与整个ToF模组通讯，如下达控制指令；与此同时ToF模组的3D影像原始数据会通过MIPI CSI-2输出并由应用处理器做处理，如深度图的计算（包括相位差到距离的计算）， 最终可以得到场景对象的深度信息（与灰阶图）。这些信息再往后传递，就相关于功能实现的算法了，例如华为手机的手势交互。
在后续更偏具体应用的算法与产品实现上，也有不少上游厂商积极地与算法、设计方案，以及OEM设备供应商合作，比如英飞凌与虹软（ArcSoft）、智慧眼（Athena Eyes）、DeepCam等合作，这对ToF行业发展也是有推动价值的。
这部分最后值得一提的是，这里我们并没有深入研究cwToF方法的传感器像素结构和传统摄像头图像传感器像素结构的差异，但它们理论上应该是不同的。为了让连续波相位差检测更精准，某些厂商的方案可能会采用一种特别的像素结构，可让被光电二极管转换后的电子在两个交替探测p-n结之间做切分。
3.3 ToF实施中的挑战与难点
在ToF技术的全套实施方案中，还需要克服许多方法本身可能存在的一些缺陷。包括系统深度误差、户外强光场景产生的深度数据噪声、场景拍摄对象的运动模糊、多径干扰、对象边缘模糊等。
这其中尤为值得一提的是，对ToF技术而言，户外这类背景光强度很大（及背景距离很远）的场景会增加深度数据的噪声。针对这个问题，很多厂商都有属于自己的解决方案。背景光抑制在不同层级都有实施方法，例如传感器之前的光学滤光片，以及可能应用的数据处理降噪算法。传感器层面也有实施方案，包括仅限定一定距离范围内的光子被检测（photon gating）；或者在基于脉冲的ToF方法中进行重合光子（coincidence phontons）的检测——即在一个重合时间窗口内多个光子被检测到，即检测到重合事件——由于不相关的背景光子表现出随机的触发时间，在直方图中会表现出不一致的分布。由于激光能量集中在短脉冲之中，那么光源的激光脉冲的重合检测可能性会高于背景光，这样一来不相关的光子就可以被过滤掉。不过这些方法有应用范围限制，而且对功耗、电路复杂性、传感器尺寸都有影响。
以英飞凌为代表的厂商采用一种名为SBI（背景抑制）的技术，在具体实施方法上英飞凌就有专门的SBI专利。简单地说，SBI实质是每个像素内的电路，起到抑制像素过早发生过饱和的作用。也就是说应用了这种技术的ToF传感器可以应用到背景光很强的场景中。具体的实施细节未知。
图3.3.1，应用了SBI技术可在强光下抑制像素过早发生饱和，来源：英飞凌
从英飞凌自己的数据来看，对于一些没有采用 SBI 技术的 10μm 单像素尺寸的图像传感器，即便以 0.15 毫秒的时间来曝光，在这类场景中也很容易产生严重的过曝问题，深度数据的可用性便非常低。而当前应用了SBI专利技术的像素（14μm，当前英飞凌/pmd的REAL3™图像传感器多见这个单像素尺寸），曝光3毫秒也依然有“多20倍”的可用信息，按照英飞凌的说法，成像动态范围增加了“近20倍”。
除了背景光可能产生深度信息噪声这类问题，这里再行列举一些ToF实施方案中的其他挑战与潜在问题[16][25]：
（1）多径效应（Multipath Effects）。某些情况下 ，通过不同的反射路径，入射光可能会抵达图像传感器同一个像素。也就是说一个像素内的信号，实际上来自多个场景中的反射来源，场景对象具备高反射率的时候这个问题会格外严重。对于调幅连续波ToF方法而言，这个问题会相对突出，对于一些复杂场景的3D感知也会相对具有挑战性；但对调频连续波ToF方法，这个问题就不大突出。而对基于脉冲的ToF方法来说，通过多事件测量，则多径反射可被很容易地检测到。
（2）对象边缘模糊（Flying Pixels）。在立体角中，单个像素产生自不同距离的对象，就会产生所谓的flying pixels，如图3.3.2所示。这种情况一般发生在对象边缘位置，那么这种flying pixel像素的深度信息本质上是前景与后景不同对象的距离合成在一起的。
图3.3.2，场景中不同距离的对象产生的flying pixel问题，来源：Analysis of a pulse-based ToF camera for automotive application[25]
（3）运动伪像。和传统成像技术一样，当场景中的被观察对象以较快的速度移动（或摄像头本身就不稳定）时，成像就会产生运动伪像，且运动速度越快，错误就越大。就这个问题来说，3D感知摄像头的积分时间（integration time）就会显得很重要：更长的积分时间通常可以获得深度测量更高的精度。对于静态对象而言，降低帧率，以更长的积分时间就能获取到更高的测量精度。但与此同同时，对运动对象而言，这就会加剧运动伪像的问题。这个问题在cwToF方法中尤为突出；而对于pToF方法而言，运动伪像的问题会更小，因为pToF的曝光时间明显更短。
（4）强度相关错误。场景中某个对象的不同区域有不同的明亮色彩时，可能造成错误。比如说国际象棋棋盘这种黑白格相间的对象，测量得到黑色方格的距离可能比白色方格更近。
（5）解调错误。在前文针对ToF原理的深度计算中，实际上都默认了完美的情况。比如对于pToF而言，脉冲是完美的矩形，而cwToF则采用完美的正弦调制。但实际状况会比较复杂，包括了场景对象的光散射；场景中对象材质反射率较低会造成像素欠饱和，以及较低的信噪比；镜面对象则反射几乎所有能量，又会令像素过饱和，则令深度数据几乎不可用。
这类问题在不同的ToF实施方法中，都有相应的缓解方案；随着技术的越来越成熟，ToF产品的成熟度越来越高，这些问题或许早已被解决。
第四部分，ToF技术应用现状与前景
这里我们不谈单纯的ToF的距离检测应用，而着重在谈ToF的3D成像与感知应用。因为ToF单点距离检测实际上已经发展得比较成熟和广泛。比如说手机的距离感应（接打电话时自动熄屏），手机摄像头拍照时的激光辅助对焦，以及投影机的激光对焦；智能家居如家用机器人、扫地机器人的避障；使用体验加强，如智能家居屏幕、儿童教育面板——靠近时就自动点亮，体温检测与闸机管制辅助——检测到有人靠近时就预先启动，当然其中部分已经超出了本文的探讨范畴。
在3D感知应用领域，移动领域后置3D感知应用场景可做几种切分，其一是摄影辅助：主要体现在场景深度数据对于照片背景虚化的加强，以及变焦能力的强化（以及可针对照片做有关深度、3D方面的特效强化）。与此同时也将扩展到AR与游戏，iPad Pro 2020搭载的LiDAR模块就是着力于AR应用：iOS生态的ARKit早已为此准备就绪；Android生态中ARCore API近期的版本更新中，也体现出对于不同3D感知技术的重视。而前置3D感应，则可应用于更多的交互开发（如手势操作）、人脸识别等。
在智能手机之外，智能家居、AR/VR设备、家用机器人、智能电视都是其应用方向。就目前来看，这些领域的应用仍在发展初期。实际上这部分市场正从3D成像往3D感知转换，如此一来AI驱动的设备、机器人就能理解其周围环境，开发新的交互方式。而LiDAR激光雷达在车载、工业、零售等领域的应用则已经超出本文的探讨范畴。这里我们稍稍列举其中几个。
（1）摄影辅助与强化
立体视觉（Stereoscopy），如双摄或多摄的一大价值就在利用视差，模拟单反摄影的背景虚化（浅景深）能力，不过这类方案的深度图（depth map）精度经常不够高，尤其是这种三角测量方法受制于baseline的距离（如章节2.1所述）。而ToF摄像头的场景深度数据往往要准确得多，这对于辅助2D摄像头摄影：突出画面主体，并对背景做虚化，创作更具视觉震撼力的照片有帮助。
另外，场景深度数据也有助于模拟场景补光，实现影棚级的打光效果，意即为智能化的滤镜、后期做准备。英飞凌/pmd的IRS2877C在推广中的应用方向就提到了不仅有面部识别，还有针对照片和视频强化自动对焦、虚化效果，以及在光照环境不佳时提升画面分辨率。
（2）面部识别、交互加强
LG G8 ThinQ、华为P30 Pro等手机都已经开始引入悬浮手势识别功能。例如在下厨或吃饭时，不需要用手去接触手机屏幕，而借由前置ToF的3D感知，即可通过在手机前挥挥手这样的操作来实现翻页、滚屏等普通操作。
不仅在手机产品中，如智能电视、交互辅助设备上，亦可实现肢体动作识别的交互方式。生物特征身份认证的人脸识别，也是ToF在手机、平板、智能电视、教育面板等设备上的重要应用方向之一，即便其精度暂低于结构光，但距离优势，以及技术发展中越来越高的精度，也为其这一领域的应用奠定了基础。
而交互方式的变化，更深入地可以体现在家庭娱乐中，比如配合娱乐外设的体感游戏等。
（3）AR现实增强
苹果iOS生态在AR方面的耕耘已经持续数年，这一市场目前暂未实现真正的爆发，不过主要操作系统包括iOS、Android都在积极地更新AR相关API，包括苹果的ARKit，谷歌的ARCore。这两年一直有传言说，谷歌很快就要为ARCore引入ToF的原生支持。这则消息到去年Google I/O似乎还未有成型，不过在去年12月更新的ARCore API版本中，谷歌的新闻稿提及，“有专门摄像头即ToF传感器的设备，将能够获得更好、更精准的体验。”[26]
AR发展后的应用就不仅限于iOS已有的实物长度测量这类简单功能，它还将为AR游戏——提供沉浸式的游戏体验，以及扩展到消费娱乐体验之外，比如零售业的应用：典型如宜家的家具虚拟展示、汽车产品及功能虚拟展示，以及时装店的一键虚拟换衣展示等。
（4）智能家居
ToF在智能家居的应用，除了前述单点距离检测的避障应用（以及如应用于智能门锁的距离检测，实现使用体验加强）以外，对于家用智能机器人或者更多智能设备的环境感知和理解，3D ToF技术都有发挥的空间。这部分市场仍在起步阶段，就机器人的3D环境感知能力来看，它在工业领域的应用或许会更早起步。
（5）消费领域之外的更多应用
包括前文已经提及的在零售行业，ToF摄像头可以给予消费者更好的购物体验。最简单的像是可交互的广告和推广信息展示，消费者通过手势或者体感操作可有沉浸式体验；虚拟换衣间，利用ToF摄像头直接给自己换上感兴趣的衣服，预览搭配效果等。
在汽车领域自不必多说，即便不谈论应用于ADAS系统的LiDAR，ToF在智能驾驶舱中的应用可用于手势交互、驾车者状态监测等。医疗健康领域，如MESA ToF摄像头在交互式物理治疗系统的应用是个典型。工业自动化相关的例子有ToF电子围栏、针对奶牛的自动挤奶系统，工厂自动运输机通过ToF能够实现在工厂或仓库内的自主导航，以及针对后勤/运输做运输工具空间优化利用的尺寸标注解决方案等。
以上列举的部分应用实际上也有其他可行的解决方案，例如立体视觉、结构光都有在这些领域做应用的可行性。但正如2.1章节所述，由于ToF技术本身的特点，它在这些领域的广泛应用显得更有潜力。而且即便只讨论消费市场，以上列举的应用领域都尚未完全开发，结合本文第一部分对ToF市场预测的探讨，ToF技术的未来是真正可期的。
/3 
