标签: 视觉传感器

卓越技术，智能守护 TMF8821可输出多个点距离值，具有避障、防跌落和辅助建图功能； TMF8821卓越的测距性能与出色的抗阳光干扰能力，能够在各种光照环境下实现可靠检测； TMF8821产线校准方式简单，只需一次底噪校准就可完成； 立功科技提供算法技术支持，优化功能效果。 全球领先的光学解决方案供应商艾迈斯欧司朗（瑞士证券交易所股票代码：AMS）近日宣布，通过与立功科技合作，助力家庭机器人供应商Enabot成功推出AI智能陪伴机器人EBO X。该机器人依托立功科技的算法技术支持，并搭载艾迈斯欧司朗的TMF8821传感器，实现自动避障、防跌落和辅助建图功能。 图：EBO X智能机器人 随着AI技术的日益成熟，陪伴机器人逐渐进入家庭场景，并成为拉近亲子关系的重要一环。作为一款家庭机器人，有效避障是实现安全移动、智能看护的前提。然而，在家庭空间中存在布局多样、动态障碍较多等问题。因此在使用的过程中，机器人常常面临感知不准确、路径规划不清晰等挑战。为了应对这些挑战，艾迈斯欧司朗携手广州立功科技，助力Enabot推出家庭陪伴机器人EBO X，旨在提升其避障能力并增加其移动灵活性。 EBO X机器人单机采用两颗艾迈斯欧司朗TMF8821，该器件是真正的直接飞行时间传感器和处理系统，其将940nm垂直腔表面发射激光器（VCSEL）、高灵敏度单光子雪崩二极管（SPAD）阵列、精密时间数字转换器（TDC）和低功耗微控制器子系统集成到一个模块化封装中，尺寸仅为2.0mm×4.6mm×1.4mm——如此小型的体积，非常适用于空间敏感应用。 TMF8821任一多区域配置（3×3；4×4；3×6）都可支持视场角大小调节，最大视场角可达63°，或者用户可以根据其应用的需要选择自定义接收区，使其可以调整每个接收区的大小。该传感器还内置了抗干扰算法，可针对玻璃或亚克力盖片上的污垢和污迹带来的影响进行消除补偿；在通信方面，TMF8821通过I2C直接上报距离值与置信度，无需任何外部数据处理，且功耗极低，待机电流只有13µA。此外，该器件还嵌入先进的算法和晶圆级光学滤波器，即使在复杂的光照环境下，例如强烈阳光，亦可提供卓越的光学性能。 在机器人的设计中，TMF8821的超小尺寸能够保证机器人的美观性。且艾迈斯欧司朗的dToF技术可凭借出色的抗色差效果让机器人无惧地毯、玻璃等反射物。相对于红外对管方案，TMF8821具备的10~5000mm远距离测量功能，可以更远地感知台阶、桌子的高度差，提前提醒机器人刹车，达到良好的防跌落效果。另外，高精度测距功能，多区域检测范围，可在实现自主避障的同时，将深度信息发送至主控，从而可配合摄像头实现V-SLAM建图。 艾迈斯欧司朗渠道经理Richard Qin 表示： TMF8821是艾迈斯欧司朗性能最为卓越的ToF产品，可为机器人等应用提供卓越的视觉感知。由于TMF8821能够对多区域、多个目标进行精确的测距，因此可使机器人不受阻碍地移动，在环境中顺利导航。并且其小尺寸、易于集成的特点也能为客户提供更大的设计灵活性。 立功科技产品经理杨柳怡 表示： 立功科技为TMF8821的开发提供算法支持，优化了功能效果，使其在感知环境中能够更准确地获得三维信息。得益于TMF8821的卓越性，EBO X能够更精准的识别物体的位置、形状和运动状态等，提升了行动决策和执行能力。 Enabot CTO马赫英生 表示： 高性能的视觉传感器对机器人至关重要。艾迈斯欧司朗TMF8821非常符合我们对于EBO X的设计需求。其能够捕捉数量更多、质量更高的信息，从而大幅提升机器人对于环境的感知，及早检测并规避潜在障碍，是家庭陪伴型机器人的理想选择。 关于Enabot 赋之科技（深圳）有限公司Enabot是一家积极推动技术进步和产品化的智能机器人公司。公司核心团队在机器人领域深耕多年，拥有丰富的消费级机器人产品的设计开发和产品化经验，拥有深厚的行业背景资源。我们的目标是通过人工智能赋能机器人，推动机器人的智能化并应用于消费领域，实现硬科技的软着陆。 关于立功科技 广州立功科技股份有限公司成立于1999年，面向工业、汽车电子用户提供芯片解决方案，为客户提供从选型评估、开发设计、测试认证到量产防伪，贯穿产品全生命周期的专业技术与服务。立功科技在国内设有22个销售机构、2个技术研发中心，为客户和供应商提供卓越价值。立功科技深耕ToF ，颜色和电容传感器等等技术多年，基于艾迈斯欧司朗芯片研发了饮水机满杯检测，手势识别，HOD等等方案，可提供相关的软硬件技术服务。 关于艾迈斯欧司朗 艾迈斯欧司朗集团（瑞士证券交易所股票代码：AMS）是智能传感器和发射器的全球领导者。我们为光赋予智能，将热情注入创新，丰富人们的生活。 我们拥有超过110年的发展历史，以对未来科技的想象力为引，结合深厚的工程专业知识与强大的全球工业产能，长期深耕于传感与光学技术领域，持续推动创新。在汽车、工业、医疗、消费领域，我们致力于为客户提供具有竞争力的解决方案，在健康、安全与便捷方面，致力于提高生活质量，推动绿色环保。 我们在全球范围拥有约2.1万名员工，专注于传感、光源和可视化领域的创新，使旅程更安全、医疗诊断更准确、沟通更便捷。我们持续开发突破性的应用创新技术，目前已授予和已申请专利超过15,000项。 集团总部位于奥地利Premstaetten/格拉茨，联合总部位于德国慕尼黑。2022年，集团总收入超过48亿欧元。ams-OSRAM AG在瑞士证券交易所上市（ISIN:AT0000A18XM4）。 ams是ams-OSRAM AG的注册商标。此外，我们的许多产品和服务是艾迈斯欧司朗集团的注册或归档商标。本文提及的所有其他公司或产品名称可能隶属于其各自所有者。

来源：地平线HorizonRobotics 本讲主要关注视觉里程计(Visual Odometry，VO)。为了讲清楚它的来龙去脉，我们会进行一些公式的推导。视觉里程计算法需要大量的几何知识，我们将在必要的时候，以Tips的形式介绍一些背景知识。 一、 里程计 在里程计问题中，我们希望测量一个运动物体的轨迹。这可以通过许多不同的手段来实现。例如，我们在汽车轮胎上安装计数码盘，就可以得到轮胎转动的距离，从而得到汽车的估计。或者，也可以测量汽车的速度、加速度，通过时间积分来计算它的位移。完成这种运动估计的装置（包括硬件和算法）叫做里程计（Odometry）。 里程计一个很重要的特性，是它只关心局部时间上的运动，多数时候是指两个时刻间的运动。当我们以某种间隔对时间进行采样时，就可估计运动物体在各时间间隔之内的运动。由于这个估计受噪声影响，先前时刻的估计误差，会累加到后面时间的运动之上，这种现象称为漂移（Drift）。 漂移是我们不希望看到的，它们扰乱全局轨迹的估计。但是，如果没有其他校正机制，而只有局部运动的情况下，这也是所有里程计都不可避免的现象之一。 二、 视觉里程计 如果一个里程计主要依靠视觉传感器，比如单目、双目相机，我们就叫它视觉里程计。 和传统里程计一样，视觉里程计最主要的问题是如何从几个相邻图像中，估计相机的运动。 相邻图像间的相似性，为我们估计相机运动提供了依据。目前，视觉里程计的主要方法分为基于特征点的方法和不使用特征点的直接法两种。特征点方法也叫稀疏方法，而使用特征点描述的也叫稠密方法。 Tips 我们知道，相机能够把三维空间中的信息变成一张二维的照片。这件事情是怎么做到的呢？我们需要一个数学模型来清楚地描述它，也就是相机模型。其中，针孔模型是最常用，也是最简单的相机模型。 在这个模型中，我们考虑一个空间点X= ，它投影在相机平面，并产生了一个像素p，位于照片中的 位置。假设相机光圈中心对准z轴，成像平面位于z=1处，那么根据下图描述的关系，投影方程即为： 写成惯用的矩阵形式，则有： 把z写在左边，写成zp的形式，表示z为p的深度值。我们可以看到，投影公式的形式是相当简单的。实际当中，每个相机的焦距、光圈中心都有所不同，这些称为它们的内参，一般用C表示。于是投影方程变为： 又，因为相机本身相对外部世界存在着一个运动。这个运动包括三维空间里的旋转和位移，由一个旋转矩阵R和平移向量T描述，所以最后的投影关系为： 这个方程描述了相机内参、位姿和像素之间的关系。其中内参可以通过标定相机求取，p可以在图像中观察到，而z,X,R,T则是待估计的变量。 三、 特征匹配 基于特征的方法是当前视觉里程计的主流方式，有很长时间的研究历史。特征方法认为，对于两张图像，应该首先选取一些具有代表性的点，称为特征点。之后，仅针对这些特征点估计相机的运动，同时估计特征点的空间位置。图像里其他非特征点的信息，则被丢弃了。 特征点方法把一个对图像的运动估计转换为对两组点之间的运动估计。于是，它的主要问题为： 1. 我们如何获取图像特征点？如何匹配它们？ 2. 如何根据已知特征点，计算相机的运动？ 四、 计算特征点 第一个问题属于计算机视觉的研究范围，和几何关系不大，我们在此简单地加以介绍。过去的研究中，人们设计了很多特征点提取方法，包括图像中的角点、色块等。近年来流行的特征点计算则更为复杂，主要的目的是，在图像发生一定的改变后，特征点提取算法仍能提取出相同的点，并能判别它们之间的相关性。 常用的特征点有Harris角点、SIFT、SURF、ORB等。它们能够标识出，计算机认为图像里哪些点比较特殊，具有较重要的意义。 一张图像中的Sift特征点 对于每一个特征点，为了说明它与其他点的区别，人们还使用“描述子”（Descriptor）对它们加以描述。描述子通常是一个向量，含有特征点和周围区域的信息。如果两个特征点的描述子相似，我们就可以认为它们是同一个点。根据特征点和描述子的信息，我们可以计算出两张图像中的匹配点。 匹配点的示意图 五、 根据匹配好的特征点估计相机运动 在匹配好特征点后，我们可以得到两个一一对应的像素点集。接下来要做的，就是根据两组匹配好的点集，计算相机的运动了。在普通的单目成像中，我们只知道这两组点的像素坐标。而在双目和RGBD配置中，我们还知道该特征点离相机的距离。因此，该问题就出现了多种形式： ·2D-2D形式：通过两个图像的像素位置来估计相机的运动。 ·3D-2D形式：假设已知其中一组点的3D坐标，以及另一组点的2D坐标，求相机运动。 ·3D-3D形式:两组点的3D坐标均已知，估计相机的运动。 那么问题就来了：是否需要为这三种情况设计不同的计算方法呢？答案是：既可以单独做，也可以统一到一个大框架里去做。 ·单独做的时候，2D-2D使用对极几何的方法，3D-2D使用PnP求解算法，而3D-3D则称为ICP方法（准确地说，ICP不需要各点的配对关系）。 ·统一的框架，就是指把所有未知变量均作为优化变量，而几何关系则是优化变量之间的约束。由于噪声的存在，几何约束通常无法完美满足。于是，我们把与约束不一致的地方写进误差函数。通过最小化误差函数，来求得各个变量的估计值。这种思路也称为Bundle Adjustment(BA，中文亦称捆集优化或光束法平差)。 代数方法简洁优美，但是它们对于噪声的容忍性较差。存在误匹配，或者像素坐标存在较大误差时，它给出的解会不可靠。而在优化方法中，我们先猜测一个初始值，然后根据梯度方向进行迭代，使误差下降。Bundle Adjustment非常通用，适用于任意可以建模的模型。但是，由于优化问题本身非凸、非线性，使得迭代方法往往只能求出局部最优解，而无法获得全局最优解。也就是说，只有在初始值足够好的情况下，我们才能希望得到一个满意的解。 因此，在实际的VO中，我们会结合这两种方法的优点。先使用代数方法估计一个粗略的运动，然后再用Bundle Adjustment进行优化，求得可精确的值。 六、 重建 在2D-2D情形下，我们通过两个图像的像素位置，估计了相机的运动。在此过程中，并没有用到这些像素点的3D空间位置信息（而且我们也不知道）。不过，在得到相机运动之后，就可以根据这个运动信息，计算各个特征点的空间位置，该问题也称为三角化（Triangularization）。在原理上，只要我们在空间中的不同位置拍摄到了同一个点，就可以通过照片中的像素位置，来估计这个点在真实空间中的位置。 （图片来自Wikipedia） 在SLAM中，三角化的结果，可以视为一种地图。这样，我们建立了对地图的一种点云描述:即通过大量的空间点，来估计整个地图的样貌。这虽然是一种较粗略的描述，但我们也能看出地图里究竟有些什么东西。在特征点方法中，因为我们只重构特征点的空间位置，这种方法也常常被称为稀疏重构。 七、 直接法（ Direct Methods ） 除了使用特征点以外，直接法为我们提供了另一种思路。直接法认为，对图像提取特征点的过程中，丢弃了图像里大量有用的信息。因为之后的运动估计、重建过程并未使用除特征点以外的信息。举例来说，对于一张640x480的图像，原本有30万左右的像素，但是我们只用了其中几百个特征点而已。此外，由于特征点的设计缺陷，我们无法保证对于每个图，都能提以足够的、有效的特征点。经验告诉我们，这只是在大部分时候是可行的。 直接法跳过了提取特征点的步骤。它构建一个优化问题，直接根据像素信息（通常是亮度），来估计相机的运动。这种方法省去了提特征的时间，然而代价则是，利用了所有信息之后，使得优化问题规模远远大于使用特征点的规模。因此，基于直接法的VO，多数需要GPU加速，才能做到实时化。此外，直接方法没有提特征点，它假设相机运动是连续的、缓慢的。只有在图像足够相似时才有效。而特征点方法在图像差异较大时也能工作。 因为利用了图像中所有的信息，直接法重构的地图是稠密的，这与基于稀疏特征点的VO有很大不同。在稠密地图里，你可以看到每处的细节，而不是离散的点。 八、 小结 本节介绍了VO的基本原理。 VO的目标是根据拍摄的图像估计相机的运动。它的主要方式分为特征点法和直接方法。其中，特征点方法目前占据主流，能够在噪声较大、相机运动较快时工作，但地图则是稀疏特征点；直接方法不需要提特征，能够建立稠密地图，但存在着计算量大、鲁棒性不好的缺陷。 来源：地平线HorizonRobotics

视觉传感器能直观反映物体的外部信息，但单个摄像头只能获得物体的二维图像，立体视觉虽能提供三维信息，但对于外形相同，仅深度有差别的物体难以识别（如有孔物体、阶梯状物等），且对环境光线有一定的要求。由于超声传感器具有对光线、物体材料等不敏感，结构简单，能直接获取待测点至传感器的距离等特点，因此本文采用视觉与超声测量相结合的方法，将二维图像信息与超声波传感器获取的深度信息进行融合推断，对待装配工件进行自动识别与空间定位，并确定机械手末端执行器的空间位置与姿态，使其能在合适的部位准确抓取工件。 1系统原理与结构 系统由机械手、CCD视觉传感器和超声波传感器及相应的信号处理单元等构成。CCD安装在机械手末端执行器上，构成手眼视觉，超声波传感器的接收和发送探头也固定在机器人末端执行器上，由CCD获取待识别和抓取物体的二维图像，并引导超声波传感器获取深度信息。系统结构如图1所示。 图像处理主要完成对物体外形的准确描述，包括以下几个步骤：a.图像边缘提取;b.周线跟踪;c.特征点提取;d.曲线分割及分段匹配;e.图形描述与识别。在提取物体图像边缘后，采用周线跟踪进行边缘细化，去除伪边缘点及噪声点，并对组成封闭曲线的边缘点进Freeman编码，记录每一条链码方向和曲线上各点的X-Y坐标值，便于进一步对物体的几何特性进行分析。本研究对传统的周线跟踪算法中边缘点的搜索方向与顺序进行了改进，并在搜索过程中采取了及时消除冗余点的方法，减小了数据量与运算时间，而且具有较好的降噪及平滑效果。在提取图像特征点时，将多边形近似法与计算曲率的方法相结合，可克服多边形近似法易产生伪特征点和计算曲率法计算量过大的缺点.CCD获取的物体图像经处理后，可提取对象的某些特征，如物体的形心坐标、面积、曲率、边缘、角点及短轴方向等。根据这些特征信息，可得到对物体形状的基本描述，在图像处理的基础上，由视觉信息引导超声波传感器对待测点的深度进行测量，获取物体的深度（高度）信息，或沿工件的待测面移动，超声波传感器不断采集距离信息，扫描得到距离曲线，根据距离曲线分析出工件的边缘或外形［1］。计算机将视觉信息和深度信息融合推断后，进行图像匹配、识别，并控制机械手以合适的位姿准确地抓取物体。 2.1工件图像边缘的提取 复杂工件反映在图像上常常不止一个灰度等级，仅利用一个灰度阈值无法提取有意义的边缘。 若采用多阈值的方法，必然会增加计算时间和图像处理的复杂程度。对于类别方差自动门限法，增加门限值不仅会提高数据处理复杂程度，而且当阈值多于2个时，算法的可靠性就会受到影响。为此采用了直接从灰度图像提取边缘的方法。图像边缘一般发生在灰度函数值不连续处，可用灰度函数的一阶或二阶导数求得。经典的利用一阶导数提取边缘的方法有Roberts算子、So2bel算子等，利用二阶导数提取边缘的方法有Laplacian算子和Marrs2Hilderth算子等。通过对几种算法的分析比较，认为Sobel算子不仅实现容易、运算速度快，而且可提供最精确的边缘方向估计.Sobel算子由两个3×3相差90°的算子构成，由这两个算子同图像卷积，可得到图像的边缘及其方向。对于数字图像｛f（i，j）｝，Sobel算子可表示为： Gx（i，j）=f（i-1，j-1）+2f（i-1，j）+f（i-1，j+1）-f（i+1，j-1）-2f（i+1，j）-f（i+1，j+1）; Gy（i，j）=f（i-1，j-1）+2f（i，j-1）+f（i+1，j-1）-f（i-1，j+1）-2f（i，j+1）-f（i+1，j+1）。 采用G1=|Gx|+|Gy|得到梯度幅值后，为减少所抽取的边缘数目，可设置一个幅度门限，即只考虑对应灰度变化较大的那些边缘。再利用边缘点具有局部幅度最大的特点，将边缘细化。利用Sobel算子提取边缘后，为了得到工件表面的尺寸信息，还必须提取图像的角点［2］，以便计算工件的边长等特征信息。 2.2　形心坐标的确定 图像中形心点的计算通常可通过两种方法得出，一是通过区域处理求矩的方法计算形心坐标;二是通过边缘链码积分计算。该算法较为简单，且对任意图形都适用，但需要结合像素点隶属区域划分算法进行。 2.3　轴向的确定 为使机械手能以正确的姿态准确地抓取物体，必须精确确定物体的轴向。在几何学中，物体的长轴定义为通过物体形心点的一条直线，物体关于该直线的二阶矩为最小值。设图像中物体长轴与图像平面X轴正方向夹角为θ，规定|θ|≤π/2，则物体关于该轴线的二阶矩为 很明显，基于二阶惯性矩的轴向确定方法是对整个物体区域进行运算，且必须先确定像素点的隶属区域，故运算量较大。图2（a）是用该算法确定的工件轴向。对于一些简单形状的物体，可采用如下简单轴向估计算法： a.确定物体的形心坐标; b.确定物体边缘轮廓闭合曲线前半段中离物体形心最近的点，用最小二乘法估算该点的切线方向，设其与图像平面X轴正方向夹角为α1; c.用同样方法确定下半段曲线中对应的切线方向α2; d.物体轴向可粗略估计为θ=（α1+α2）/2. 图2（b）是采用简化算法得到的工件轴向图。该算法仅对物体边缘轮廓点进行处理，使运算时间大为减少。 3超声深度检测 由于CCD摄像头获取的图像不能反映工件的深度信息，因此对于二维图形相同，仅高度略有差异的工件，只用视觉信息不能正确识别，本文采用超声波测距传感器则可弥补这一不足。经图像处理得到工件的边缘、形心等特征量后，引导机械手到达待测点，对工件深度进行测量，并融合视觉信号与超声信号，可得到较完整的工件信息。安装在机器人末端执行器上的超声波传感器由发射和接收探头构成，根据声波反射的原理，检测由待测点反射回的声波信号，经处理后得到工件的深度信息。为了提高检测精度，在接收单元电路中，采用了可变阈值检测、峰值检测、温度补偿和相位补偿等技术［1］，可获得较高的检测精度。对视场中两个外形完全相同、高度相差0.1mm的柱形工件，采用本文提出的融合图像和深度信息的方法，可准确识别与抓取。 4实验结果及结论 在上述方法研究的基础上，完成了在MOVEMASTER2EX机器人装配作业平台上进行的物体识别与抓取实验。在自然光及一般照明条件下，对机器人装配作业平台上视场范围内任意放置的3～5个不同形状、大小的典型工件进行自动识别和抓取，结果表明，识别时间小于5s（包括识别、定位与抓取过程机械手的移动时间），定位误差小于±2mm，并具有较好的通用性和可移植性。图3（a）～（d）分别是待抓取工件识别过程的图像。 实验结果表明，采用本文提出的将机器人手-眼视觉与超声波测距相结合的检测装置，以及融合二维图像信息与深度信息进行工件识别与抓取的方法，可准确对物体进行识别与定位，具有算法简单、计算量小、实时性好、可靠性高等特点，可为机器人与环境交互提供物体形状、类别及大小等信息，使机器人装配作业能适应各种复杂的环境与工艺过程，对实现工业生产过程的自动化、柔性化、智能化有良好的应用前景。