标签: 3D相机

来源：友思特 机器视觉与光电 友思特分享丨高精度彩色3D相机：开启崭新的彩色3D成像时代 原文链接：https://mp.weixin.qq.com/s/vPkfA5NizmiZmLiy_jv3Jg 欢迎关注虹科，为您提供最新资讯！ 3D成像的新时代 近年来，机器人技术的快速发展促使对3D相机技术的需求不断增加，原因在于，相机在提高机器人的性能和实现多种功能方面发挥了决定性作用。然而，其中许多应用所需的解决方案更复杂，仅提供环境的深度信息是远远不够的。颜色区分或机器学习等高级图像处理技术需要其他基本数据，为满足这一要求，之前需要通过增加2D相机来实现。 友思特全新紧凑型 VST Ensenso C相机系统，集众多功能和特色于一身，可以更准确高效地捕捉和解析3D数据。 3D相机系统将提高机器人和自主系统的能力，拓宽多功能精确应用领域的使用范围。要实现这一点，3D相机技术必须跟上新的市场要求，这并不需要技术革命。不过，当前的系统很少能够在集合多个组件的同时还能易于操作和集成，这使得应用开发方式往往复杂且成本高昂。即便系统更为复杂，但是只有方便易用才更具实用价值。 预组装方式便于快速调试 一类设备可以完全定制，一类设备则是方便易用的标准设备，它们之间的主要区别在于可配置性和灵活性，以及设置和调试的工作量。如何选择取决于个人需求和应用场景。完全可定制的设备更加自由灵活，但也需要更多的技术专业知识并会耗费更多调试时间。与之相反，标准设备易于使用，只需少量调整工作就能完成具体任务。 在发布全新C系列后，这两种设备与高度灵活的X系列一起，丰富了VST Ensenso家族的高端相机阵营。您可以使用VST Ensenso相机选型器为具体应用选择合适的标准型号，立即投入使用。 紧凑型VST Ensenso C相机系统 可预装各种立体基线 集成2D彩色图像的3D VST Ensenso立体测量方法 的一个优点是， 通过SDK始终可以获得立体相机的2D图像 。因此，SDK不仅可以提供深度信息，还可以持续为进一步分析图像提供基本数据，这样就不必再为应用增加2D相机。 因此，2D图像数据不仅可以作为纹理叠加在3D点云上来改进3D图像，而且还可以实现 识别对象边缘 以及 在图像中读取代码 等功能。通过这种方式，系统不仅可以实现对象的三维检测，方便机器人进行抓取，而且可以精确识别对象，从而进行精细处理。 VST Ensenso C系列现在专门 配备了完全集成的RGB相机 ，因此还可以访问同一场景的2D彩色图像。这样就可以应对不仅需要 3D点云 还需要 彩色图像 的任务，扩展了相机的应用范围。例如，对于AI图像分析任务，彩色图像通常被用作基本数据，相机很适合这类任务。 VST Ensenso C 专门配备了一台集成2D彩色相机 为读取包裹代码等图像处理任务提供基本数据 紧凑且完全集成 如果一项应用需要使用和分析多个特征或基本数据，通常有两种实现方式：一种是，整个任务所需的 所有传感器或组件都可以作为独立设备进行操作 。这样做的优势是每个模块化单元的选择和维护非常灵活，缺点是在一个应用中集成和同步多个设备的技术要求高，需要更多专业知识。 另一种方式则是 采用全新VST Ensenso C这类完全集成的设备 ，它们将所有组件封装在一个安全的封闭外壳中。也就是说，工厂会优化匹配立体相机、图案生成器、2D彩色相机和灯光，用户可以 通过通用设备软件 VST Ensenso SDK 调整和访问系统 。尽管应用越来越复杂，但这种3D相机系统非常紧凑，可以适应机器人和其他自主系统空间有限的状况。 远距离大视野3D传感器 对于目标距离长达5米的应用，3D相机系统的组件必须经过优化设计并能相互协同，从而 获得深度值的高Z精度 。在像 VST Ensenso C 这样的立体测量系统中， 长基线 （两个立体相机之间的距离） 可以非常精确和稳定地对各目标点进行三角测量 。相机还拥有 5MP 高分辨率 ，可以非常详细地扫描对象结构。对于完整的点云，即使物体表面纹理少，只有几个突出像素，VST Ensenso C相机也可以依赖强大的 200W LED图案生成器，确保 在5米的距离创造高对比度表面 。此外，相机机械结构刚性强，散热经过优化设计，可以在很远距离仍然能 保持深度值的低偏差特性 （在1m的距离处偏差仅为0.1mm）。 VST Ensenso C 在200 W功率强大投影仪的支持下 将高对比度纹理投影到待成像对象上 实时3D点云图像展示 附加的RGB传感器生成纹理数据，使用颜色信息补充3D点云，从而确保逼真的3D展示。这使得在后续处理中更容易区分有色物体。 小结 VST Ensenso C 3D相机 可以为应用提供高级图像处理功能所需的基本数据。随着VST Ensenso C推出，IDS在3D相机技术方面迈出重要一步。这款3D相机系统尽管外壳尺寸小巧，却 集中了 VST Ensenso 在3D视觉环境中的所有优势，尤其适合对精度要求高的高端领域的大规模应用 。VST Ensenso C系列的众多型号操作和调试都非常简单，成为三维图像处理的重要工具。

随着工业4.0的推进，系统和工厂的数字化、自动化和网络化正成为生产行业的焦点话题，因而也成为物流业的焦点话题。 工业4.0不断优化流程和工作流，提高生产力和灵活性，从而节省时间和成本。机器人系统已经成为自动化处理的主要推动力。物联网（IoT）的存在让机器人越来越灵敏、自动、灵活且易于操作。越来越多的机器人成为工厂和仓库的日常帮手，智能图像处理在其中发挥着越来越重要的作用。 为满足制造业扩大生产规模以及向全自动化和智能联网生产转型这一日益增长的需求，位于德国巴伐利亚的虹科合作伙伴ONTEC Automation GmbH公司开发了一个自动驾驶的机器人辅助系统。“智能机器人助手”是灵活性和自动化的完美结合：它由一个强大高效的内部物流平台、灵活的机器人手臂和虹科Ensenso N系列中耐用的3D立体相机系统组成。 该解决方案用途广泛，例如：它能完成单调、沉重的装配和放置任务。自动运输系统可以将欧标托盘从地面吊起至集装箱或吊起工业规格的各种尺寸网状托盘，最大负载可达1200公斤。对于纺织工业客户而言，自动导引车(AGV)用于自动放置筒子架。为此，它自动托起装有纱线卷筒的托盘，运输并放置到指定筒子架以便进一步处理。该系统使用定制开发的夹持器，每8个小时能抓取1000个纱线卷装，并放置到筒子架的轴心上。安装在夹持器上的虹科Ensenso 3D(N45系列)相机可以识别轴心位置。 应用 该机器人辅助系统从预先指定的储存位置托起装载有工业纱线卷筒的托盘，并运输至筒子架位置。接着夹持器移动到托盘的垂直上方。内部软件ONTEC SPSComm将触发信号发送至虹科Ensenso 3D相机。SPSComm连接了导引车的可编辑逻辑控制器（PLC），因此能够读取并传递数据。 在此应用中，SPSComm控制了导引车软件、夹持器和相机之间的通信。由此，相机知道导引车和夹持器何时到位，并进行图像捕捉。在完成捕捉图像之后，相机通过点云传递到ONTEC基于标准HALCON软件的软件解决方案，再将托盘上的梭芯坐标报告给机器人。机器人就能准确抓取梭芯并进行下一步处理。一旦夹持器放置完成一层纱线卷筒，虹科 Ensenso相机会捕捉纱线卷筒中间的包装材料图像，将其转换成点云信息上传。这些点云在经过处理后向机器人提供信息，通过这些信息，用针式夹持器去除中间层。 “采用这种方法意味着我们不必提前定义托盘的层数和最终完成模式，甚至能够处理不完整的托盘，而不会出现任何问题，”ONTEC软件开发者Tim Böckel解释道。“在处理中间层时，不需要将夹持器转换为针式夹持器。对于这种应用，系统包含一个普通的梭芯夹持零件和一个用于中间层的针式夹持零件。” 对这项任务而言，由于其小巧的设计，虹科3D相机适用于移动式机器人手臂，对动态和静态物体进行3D信息采集。虹科Ensenso N45相机的内部电子设备可完全与外壳分离，可使用轻型塑料复合材料作为外壳。轻型材料有利于在机器人手臂上使用，如协作机器人。相机也能应对苛刻的环境条件。 “这一应用面临的主要挑战是相机需要应对不同的光线条件，这一问题在展厅的不同位置和一天内的不同时间段尤为突出。”Tim Böckel描述道。但即使在光线条件不足的情况下，相机上集成的投影仪也可以将高对比度的纹理投影到要捕捉图像的物体上，从而增亮无特征均质表面的结构。也就是说，集成相机完全满足要求。“通过在配套软件NxView中进行预配置，任务圆满完成。”带有源代码的示例程序展示了NxLib库的主要功能，可用来打开一个或多个能展示图像和深度数据的立体和彩色相机。曝光时间、像素融合、AOI和深度测量范围等参数可以根据使用的匹配方法现场调整，就像在本案例中一样。 匹配过程能让虹科3D相机通过投影到表面的辅助结构识别大量的像素信息，包括其位置变化，并从中创建完整的深度信息。而这又确保了智能机器人助手操作的精确度。相机配带标准千兆以太网视觉接口和全局快门130万像素传感器。“相机只捕捉完整托盘的一个图像对，从而有利于加快吞吐时间，但需要从相对远的距离提供坐标信息，精度在毫米范围内，才能让机器手臂精准抓取。”ONTEC应用程序开发IT专家Matthias Hofmann解释道。“因此我们需要高分辨率相机，以便使用3D相机稳定地记录梭芯边缘.” 为了尽可能精准地将位置从卷筒中心传递到夹持器，边缘定位就显得非常重要。 而且该相机专为应对恶劣的环境条件而设计。它配有螺丝旋紧式GPIO连接器用于触发信号和闪光信号，并具有防污、防尘、防水溅的IP65/67防护等级。 软件 3D相机提供的SDK可将相机与机器人手臂进行手眼标定，从而可以使用机器人姿态轻松实现坐标平移或位移。除此之外，通过使用内置相机设置，在每一次信息传递，即每一次图像触发时，都会记录当前情况至“FileCam”中。这样便于以后在使用边缘设备的情况下可轻松地调整，正如在本应用中，即使出现特殊情况也能应对，例如：意料之外的光线条件，图像中的障碍物或是图像中梭芯的随机定位。Ensenso SDK还允许内置相机存储并归档日志文件以便于评估。 ONTEC还使用这些“FileCams”自动检查测试案例，确保在对视觉软件做出调整时所有功能都能够正确运行。此外，基于ONTEC特别开发的控制系统，多部导引车能够协调运行，且将物流瓶颈降到最低。不同的机器人助手能够在限定空间内同时导航运作。通过使用工业接口工具ONTEC SPSComm，即使是标准工业机器人也能安全地集成到整体应用中，而且可以在不同系统中交换数据。 应用前景 在自动驾驶车辆的导航等技术方面，ONTEC计划对该系统作出进一步的开发。“在AVG的导航功能中引入虹科3D相机是一件十分有趣的事情。目前我们正评估新虹科 Ensenso S相机系列的使用，以便让导引车能够更灵活地应对障碍物，例如：对障碍物进行分类甚至绕过障碍物，” ONTC软件开发者Tim Böckel在谈到下一步开发计划时说道。ONTEC的接口配置已经能让系统集成到更广泛的工业4.0应用中，而自主移动机器人解决方案的模块化结构在适应各类任务方面还存在提升空间。由此，它不仅提高了生产和物流的效率和灵活性，也确实在许多方面减轻了员工的工作负担。 虹科可靠、高速、精确的3D相机——Ensenso N45 特点： （1）满分辨率下30帧/秒实时传输3D数据 （2）IP65/67 （3）通过集成的图案投影仪轻松捕捉无纹理表面的物体 （4）工作距离可达3000mm，具体取决于相机型号 （5）集成的FlexView技术可提高点云的精度，并且在复杂的表面上也能确保3D数据的稳健性 （6）输出单个3D点云，其中包含来自多相机模式下使用的所有相机的数据 （7）从多个视角实时合成3D点云 （8）基于“投影纹理立体视觉”原理捕捉无纹理表面 （9）便携应用场景或协作机器人的理想之选

相信大家都经历过一件事 :组装新家具。把零件按顺序排列好，查看 安 装说明， 发现要花费的时间 比预期要长! 新加坡南洋理工大学(NTU Singapore)的科学家们 研制 了一种机器人，可以独立组装椅子的各个 零 件。该机器人由一个 HK Ensenso N35 3D 相机 和 两个能 抓取物体 的 机器臂组成。 应用 为了帮助机器人组装宜家 的 椅子，来自“机械与航空工程学院”的团队用三个不同的开源库对算法进行编码。机器人的硬件设计是为了模拟人们如何安装物体:“眼睛” 为 3D摄像头，“手臂” 为 能够在六个轴上运动的工业 机械臂 。每只机械臂都 有 抓手 来 抓取物体。手腕上安装了力传感器，以确定“手指”的握力以及它们使物体相互接触的强度。 机器人开始组装过程时，会拍摄地面上各部件的3D图像，生成各部件估计位置的地图，由HK Ensenso 3D相机完成。相机的工作原理是模仿人类视觉的“投影纹理立体视觉”(stereo vision)。两台相机从两个不同的位置获取同一场景的图像。虽然摄像机看到的场景内容是相同的，但根据摄像机的投影射线得到的物体位置不同。特殊的匹配算法比较两幅图像，搜索相应的点，并在视差图中可视化所有点的位移。虹科提供软件可以确定每个单独的图像像素或物体点的三维坐标，以便于完成椅子的组装。 难点 难点是在混乱的环境中尽可能精确、快速、可靠地定位组件。虹科3D相机依赖大功率投影仪足以满足这些需求。即使在艰难的光线条件下，投影仪也能通过图像掩模在物体表面产生高对比度的纹理。投射的纹理补充了宜家椅子组件上薄弱或不存在的物体表面结构。 这个应用利用了虹科N35系列相机中独有的FlexView投影仪技术，投影在组件物体表面上的模式可以改变表面上的纹理，检测得到的深度信息非常精确完整，该项技术是通过获取同一目标场景的不同纹理的多幅图像融合成一帧图像得到。另一个优势是HK Ensenso软件提供机器人手眼标定功能。使用一个标定板，它确保相机坐标系(在这种情况下是相机是静止的)的位置是相对于基础坐标系(组件的位置)确定的。这使得机器人的手能够准确地对图像信息做出反应，并准确地到达目的地。 “对于一个机器人来说，把椅子精确的拼凑比人为工作更复杂”南洋理工大学的Pham Quang Cuong教授解释道。“必须分解成不同的步骤，比如识别不同的椅子部件在哪里，抓住这些部件所需要的力量，以及确保机械手臂在移动时不会相互碰撞。通过相当大的工程努力，我们开发了算法，使机器人能够自行组装椅子。”结果是南洋理工大学的机器人只用了8分55秒就安装好宜家的“斯第芬”椅子。 前景 据Pham Quang Cuong教授介绍，人工智能将使这一应用在未来更加独立和有前途:“我们希望在这种方法中融入更多的人工智能，使机器人更加自主，这样它就可以通过人类演示或阅读安装手册，甚至从组装产品的图片中学习组装椅子的不同步骤。” 新加坡南洋理工大学的科学家开发的机器人被用于对机敏操作的研究，这是一个需要精确控制专用机器人手或手指的力量和运动的机器人领域。这需要所有硬件和软件组件的完美交互。使用虹科3D相机进行三维图像处理是解决问题的关键。它在准确性上、经济和速度方面都令人信服。 这标志着家具组装的真正进步，且不止于此。 虹科Ensenso N35 ：快速和精确的3D视觉 GigE接口-灵活多样 紧凑，坚固的铝外壳 IP65/67 全局曝光 CMOS传感器和点图案激光器，可选蓝色或红外led 最大帧率（3D): 10 工作距离最远3000mm(N35)且可调节 输出单个3D点云 提供手眼标定步骤指引，易于设置 带有标定板的机器人手眼标定集成功能 可集成uEye 工业摄像头的软件，例如，捕捉附加的颜色信息或条形码 灵活的数据和帧率的采样和叠加 自动判断 中文中文(简体)中文(香港)中文(繁体)英语日语朝鲜语德语法语俄语泰语南非语阿拉伯语阿塞拜疆语比利时语保加利亚语加泰隆语捷克语威尔士语丹麦语第维埃语希腊语世界语西班牙语爱沙尼亚语巴士克语法斯语芬兰语法罗语加里西亚语古吉拉特语希伯来语印地语克罗地亚语匈牙利语亚美尼亚语印度尼西亚语冰岛语意大利语格鲁吉亚语哈萨克语卡纳拉语孔卡尼语吉尔吉斯语立陶宛语拉脱维亚语毛利语马其顿语蒙古语马拉地语马来语马耳他语挪威语(伯克梅尔)荷兰语北梭托语旁遮普语波兰语葡萄牙语克丘亚语罗马尼亚语梵文北萨摩斯语斯洛伐克语斯洛文尼亚语阿尔巴尼亚语瑞典语斯瓦希里语叙利亚语泰米尔语泰卢固语塔加路语茨瓦纳语土耳其语宗加语鞑靼语乌克兰语乌都语乌兹别克语越南语班图语祖鲁语 自动选择 中文中文(简体)中文(香港)中文(繁体)英语日语朝鲜语德语法语俄语泰语南非语阿拉伯语阿塞拜疆语比利时语保加利亚语加泰隆语捷克语威尔士语丹麦语第维埃语希腊语世界语西班牙语爱沙尼亚语巴士克语法斯语芬兰语法罗语加里西亚语古吉拉特语希伯来语印地语克罗地亚语匈牙利语亚美尼亚语印度尼西亚语冰岛语意大利语格鲁吉亚语哈萨克语卡纳拉语孔卡尼语吉尔吉斯语立陶宛语拉脱维亚语毛利语马其顿语蒙古语马拉地语马来语马耳他语挪威语(伯克梅尔)荷兰语北梭托语旁遮普语波兰语葡萄牙语克丘亚语罗马尼亚语梵文北萨摩斯语斯洛伐克语斯洛文尼亚语阿尔巴尼亚语瑞典语斯瓦希里语叙利亚语泰米尔语泰卢固语塔加路语茨瓦纳语土耳其语宗加语鞑靼语乌克兰语乌都语乌兹别克语越南语班图语祖鲁语 百度翻译 谷歌翻译 谷歌翻译（国内） 翻译 朗读 复制 正在查询，请稍候…… 重试 朗读 复制 复制 朗读 复制 来源 谷歌翻译（国内） 译