标签: 机器视觉

艾迈斯欧司朗 @CIOE 中国光博会 2024， 中国·深圳国际会展中心（宝安新馆）， 6号馆·C55展位 ， 01 30+DEMO 探索光学新天地 EVIYOS®新应用 汽车级芯片技术的工业新应用，引领智慧城市新视像。 dTOF技术 开创性的1D、2D和3D传感技术，符合精确、安全、小型化需求，令工业、消费等终端产品可实现更多创新应用。 机器视觉 领先的全局快门(CMOS)成像传感技术和丰富的光源产品（LED/IRLED/VCSEL）组合。 激光雷达 艾迈斯欧司朗的EEL和VCSEL技术领先地位在全球激光雷达市场得到广泛认可。 舱内传感 针对驾驶员和座舱内的创新传感器解决方案(ICS)，助推智能座舱及辅助驾驶加速普及。 AR / VR 用于近眼显示的 激光发射模块，将智能眼镜的光学引擎尺寸再次减小。 图像增强 光谱颜色传感、光源闪烁检测、自动白平衡(AWB)等图像增强技术满足更高质量拍摄需求。 体征监测 创新型生物识别光学传感器解决方案和元器件，支持运动追踪、分析和健康监测应用， 包括心率、体温和血氧饱和度， 体积小巧，易于集成。 02 新品+新应用 彰显技术/应用创新实力 艾迈斯欧司朗将在H6 C55展台现场发布多款创新产品：新款 IR LED、ToF（飞行时间）传感器以及蓝激光产品。 此外， 我们还将与合作伙伴联合推出 EVIYOS® 的创新应用 。这项智能多像素、独立可控发光芯片的 EVIYOS® 技术在汽车前照灯领域已广受好评，此次在工业等领域的应用将再次证明市场潜力！ 03 两场Live直播 云打卡 “光+万物” 展会次日， 与艾迈斯欧司朗相约云端，共探光之奥秘！ 艾迈斯欧司朗展台Show 跟随大咖脚步， 一睹现场精彩DEMO的风采

机器视觉是指从数字图像中自动提取信息的过程，涉及识别/解码（条形码、二维码）、定位/导航（位置、方向）、测量/计数（尺寸、公差、数量）和检测（缺陷、瑕疵）。 采用艾迈斯欧司朗OSLON® Pure 1414的照明解决方案尺寸小巧，色彩组合丰富，可满足多种检测目的，从而简化了每次更换和重新设置照明色彩的繁琐过程，节省宝贵时间。 应用优势 LED特点 设计灵活性 全色谱覆盖，包括色温从 1800K 至 6500K 的白光，为灯组照明提供更好的选择 紧凑型封装 1.4 x 1.4 mm²，更易于实现产品微型化 出色的光通量密度 在紧凑小巧的封装中实现高通量 LED 出色的可靠性和使用寿命 大多数色彩下都具有出色的稳健性，L70 使用寿命达 90000 小时以上 各角度色彩均匀 朗伯辐射模式 (120° FWHM)，色彩均匀；在 ±60° 时，白色 delta u'v' 约为 0.01 脉冲处理能力 根据允许的脉冲处理能力，灯光能以频闪模式运行

当你用手机进行刷脸解锁，当你用浏览器以图搜图，当你使用扫一扫识别物品，当你用摄像头探视家中猫狗的一日，当你沉浸在VR游戏中感受未来…… 这些不同的视觉场景应用背后，计算机视觉都在发挥重要作用，通过图像处理、模式识别、机器学习等方式，成为现代科技的“眼睛”，扩大人类“视界”。 计算机视觉是AI的一个重要领域，使得计算机和系统能够从图像、视频或其他视觉输入中获得有价值信息，并根据信息采取行动和智能决策。 计算机视觉包含图像分类与识别、物体检测与分割、人体分析、3D识别与重建、视频理解与分析等重要任务，适用于简单物品识别与复杂操作场景。 目前，计算机视觉主要应用于工业智能化、医疗图像分析、车联网、虚拟现实与增强现实等领域。 在工业领域，计算机视觉利用图像识别技术，自动化地进行产品质量检测、颜色及形状分类，提高了生产效率和精确度。在医疗领域，计算机视觉结合深度学习进行疾病诊断和预测，改变了传统医疗方式，助力医疗数字化。在车联网领域，计算机视觉实时分析周围环境，为车辆路径规划和决策提供精准信息，360°环视可实现自动泊车。再者，计算机视觉通过创建沉浸式的虚拟环境，为娱乐和教育等领域提供全新的体验方式。各类机器人终端通过计算机视觉进行物体检测、轨迹跟踪、人脸识别，以更好地实现人机协同。 广和通深度探索计算机视觉的关键技术与难点，助力客户实现计算机视觉端侧部署，以高算力模组及解决方案大大简化智能终端视觉部署的难度。 广和通5G智能模组SC171及解决方案支持12 TOPS的AI算力，具备卓越AI性能，支持4K高清视频，可支持多路摄像头同时运行，能对图片及影像进行高效计算与处理。SC171系列拥有双USB、双PCIe、MIPI、UART、SPI、I2C等多种扩展接口，便于延展至各类视觉终端。SC171系列在计算能力、视频编解码、图像处理、网络连接（支持蓝牙、WiFi 6/6E等多种无线通信方式）等方面都具备领先优势，可在高端智能影像终端、工业视觉终端、具身机器人等领域广泛应用。 计算机视觉以“看得见”的技术改变人们生活和工作方式，解决众多“看不见”的场景痛点。计算机视觉将与物联网技术融合，推动产业智能化、精准化。广和通AIoT模组及解决方案助力计算机视觉端侧部署，将为各行业带来规模商用方案。

相信大家都经历过一件事 :组装新家具。把零件按顺序排列好，查看 安 装说明， 发现要花费的时间 比预期要长! 新加坡南洋理工大学(NTU Singapore)的科学家们 研制 了一种机器人，可以独立组装椅子的各个 零 件。该机器人由一个 HK Ensenso N35 3D 相机 和 两个能 抓取物体 的 机器臂组成。 应用 为了帮助机器人组装宜家 的 椅子，来自“机械与航空工程学院”的团队用三个不同的开源库对算法进行编码。机器人的硬件设计是为了模拟人们如何安装物体:“眼睛” 为 3D摄像头，“手臂” 为 能够在六个轴上运动的工业 机械臂 。每只机械臂都 有 抓手 来 抓取物体。手腕上安装了力传感器，以确定“手指”的握力以及它们使物体相互接触的强度。 机器人开始组装过程时，会拍摄地面上各部件的3D图像，生成各部件估计位置的地图，由HK Ensenso 3D相机完成。相机的工作原理是模仿人类视觉的“投影纹理立体视觉”(stereo vision)。两台相机从两个不同的位置获取同一场景的图像。虽然摄像机看到的场景内容是相同的，但根据摄像机的投影射线得到的物体位置不同。特殊的匹配算法比较两幅图像，搜索相应的点，并在视差图中可视化所有点的位移。虹科提供软件可以确定每个单独的图像像素或物体点的三维坐标，以便于完成椅子的组装。 难点 难点是在混乱的环境中尽可能精确、快速、可靠地定位组件。虹科3D相机依赖大功率投影仪足以满足这些需求。即使在艰难的光线条件下，投影仪也能通过图像掩模在物体表面产生高对比度的纹理。投射的纹理补充了宜家椅子组件上薄弱或不存在的物体表面结构。 这个应用利用了虹科N35系列相机中独有的FlexView投影仪技术，投影在组件物体表面上的模式可以改变表面上的纹理，检测得到的深度信息非常精确完整，该项技术是通过获取同一目标场景的不同纹理的多幅图像融合成一帧图像得到。另一个优势是HK Ensenso软件提供机器人手眼标定功能。使用一个标定板，它确保相机坐标系(在这种情况下是相机是静止的)的位置是相对于基础坐标系(组件的位置)确定的。这使得机器人的手能够准确地对图像信息做出反应，并准确地到达目的地。 “对于一个机器人来说，把椅子精确的拼凑比人为工作更复杂”南洋理工大学的Pham Quang Cuong教授解释道。“必须分解成不同的步骤，比如识别不同的椅子部件在哪里，抓住这些部件所需要的力量，以及确保机械手臂在移动时不会相互碰撞。通过相当大的工程努力，我们开发了算法，使机器人能够自行组装椅子。”结果是南洋理工大学的机器人只用了8分55秒就安装好宜家的“斯第芬”椅子。 前景 据Pham Quang Cuong教授介绍，人工智能将使这一应用在未来更加独立和有前途:“我们希望在这种方法中融入更多的人工智能，使机器人更加自主，这样它就可以通过人类演示或阅读安装手册，甚至从组装产品的图片中学习组装椅子的不同步骤。” 新加坡南洋理工大学的科学家开发的机器人被用于对机敏操作的研究，这是一个需要精确控制专用机器人手或手指的力量和运动的机器人领域。这需要所有硬件和软件组件的完美交互。使用虹科3D相机进行三维图像处理是解决问题的关键。它在准确性上、经济和速度方面都令人信服。 这标志着家具组装的真正进步，且不止于此。 虹科Ensenso N35 ：快速和精确的3D视觉 GigE接口-灵活多样 紧凑，坚固的铝外壳 IP65/67 全局曝光 CMOS传感器和点图案激光器，可选蓝色或红外led 最大帧率（3D): 10 工作距离最远3000mm(N35)且可调节 输出单个3D点云 提供手眼标定步骤指引，易于设置 带有标定板的机器人手眼标定集成功能 可集成uEye 工业摄像头的软件，例如，捕捉附加的颜色信息或条形码 灵活的数据和帧率的采样和叠加 自动判断 中文中文(简体)中文(香港)中文(繁体)英语日语朝鲜语德语法语俄语泰语南非语阿拉伯语阿塞拜疆语比利时语保加利亚语加泰隆语捷克语威尔士语丹麦语第维埃语希腊语世界语西班牙语爱沙尼亚语巴士克语法斯语芬兰语法罗语加里西亚语古吉拉特语希伯来语印地语克罗地亚语匈牙利语亚美尼亚语印度尼西亚语冰岛语意大利语格鲁吉亚语哈萨克语卡纳拉语孔卡尼语吉尔吉斯语立陶宛语拉脱维亚语毛利语马其顿语蒙古语马拉地语马来语马耳他语挪威语(伯克梅尔)荷兰语北梭托语旁遮普语波兰语葡萄牙语克丘亚语罗马尼亚语梵文北萨摩斯语斯洛伐克语斯洛文尼亚语阿尔巴尼亚语瑞典语斯瓦希里语叙利亚语泰米尔语泰卢固语塔加路语茨瓦纳语土耳其语宗加语鞑靼语乌克兰语乌都语乌兹别克语越南语班图语祖鲁语 自动选择 中文中文(简体)中文(香港)中文(繁体)英语日语朝鲜语德语法语俄语泰语南非语阿拉伯语阿塞拜疆语比利时语保加利亚语加泰隆语捷克语威尔士语丹麦语第维埃语希腊语世界语西班牙语爱沙尼亚语巴士克语法斯语芬兰语法罗语加里西亚语古吉拉特语希伯来语印地语克罗地亚语匈牙利语亚美尼亚语印度尼西亚语冰岛语意大利语格鲁吉亚语哈萨克语卡纳拉语孔卡尼语吉尔吉斯语立陶宛语拉脱维亚语毛利语马其顿语蒙古语马拉地语马来语马耳他语挪威语(伯克梅尔)荷兰语北梭托语旁遮普语波兰语葡萄牙语克丘亚语罗马尼亚语梵文北萨摩斯语斯洛伐克语斯洛文尼亚语阿尔巴尼亚语瑞典语斯瓦希里语叙利亚语泰米尔语泰卢固语塔加路语茨瓦纳语土耳其语宗加语鞑靼语乌克兰语乌都语乌兹别克语越南语班图语祖鲁语 百度翻译 谷歌翻译 谷歌翻译（国内） 翻译 朗读 复制 正在查询，请稍候…… 重试 朗读 复制 复制 朗读 复制 来源 谷歌翻译（国内） 译

文章来源：吴雨培 北京阿丘科技算法总监 如需转载请注明来源。 吴雨培学长将在5月31日下午2:30 与大家继续探讨小样本问题 欢迎扫描下方二维码预约直播围观~ 正文如下： 在工业生产制造中，由于生产过程是一个多因素耦合的复杂过程，生产过程中的任何异常都会导致产品缺陷产生，及时识别异常产品的缺陷模式是提高生产质量和生产效率的有效途径，所以缺陷检测具有十分重要的研究意义。 早期的产品缺陷模式识别主要是通过机器学习方法进行的，如支持向量机、反向传播网络等。这些方法与用肉眼直接对产品缺陷进行识别相比，大大降低了工作量。但是这些早期方法存在以下不足：识别准确率低且需要大量的标签数据对模型进行训练。近年来随着深度学习的发展，大量基于卷积神经网络的算法在视觉任务中大放异彩。由于卷积神经网络具有非常强大的特征提取能力，卷积神经网络在缺陷检测任务中得到了广泛的应用。 与传统的机器学习方法相比，基于卷积神经网络的深度学习方法在缺陷识别领域具有更高的识别准确率和工作效率。但是这种方法和机器学习方法具有同样的缺点，首先是模型训练需要大量的标签数据，而具有缺陷模式标签的图像是不容易获取的，因为获取带有产品缺陷模式标签的图像需要人工监督，即需要大量有经验的专业人员进行人工标注，这是非常昂贵且耗时的。此外在某些高度自动化的生产场景中，产品的良率特别高，收集缺陷样本非常耗时，而当前的用于缺陷检测的深度学习方法大多是基于大量缺陷样本建立模型，缺陷样本的缺乏导致模型难以上线。针对某些行业比如汽车行业的多型号小批量生产场景（每种型号产品只生产几天），在完成缺陷样本收集前某种型号产品已经不再生产了，这种场景下大量的缺陷样本收集是不可能的。此外，由于缺陷是由生产过程中的非受控因素产生的，缺陷的形态是多种多样的，各种形态的样本很难收集完整，这也限制了深度学习在工业检测领域的应用。 为了拓展深度学习在工业检测领域的应用范围及提升易用性，小样本检测算法的研究成为必然。 解决工业检测小样本问题有两种路径，第一种是工程路径，第二种是算法路径。其中工程路径常见有两种方法，第一种是基于真实产品手动制造缺陷，第二种是基于真实图像手动仿真缺陷。这两种方法的优势在于操作简单，产生的缺陷也与真实缺陷比较接近，但劣势也比较明显。基于真实产品手动制造缺陷会对产品造成不可逆的破坏，对于高价值产品破坏成本较高，而且，因为缺陷均由非受控因素产生，手动制造的缺陷不一定与实际缺陷情况完成吻合，会存在一些差异。而基于图像手动仿真缺陷则存在对操作人员要求高，产生速度慢的问题。因此，使用工程路径解决小样本问题可以在一些比较紧急的情况下使用，比如项目初期需要紧急上线时。 从算法路径解决小样本问题，基本的思路有两种，第一种是增加样本，第二种是减少算法对样本的依赖。基于第一种思路的算法研究方向有数据增广和缺陷生成，其中数据增广在深度网络训练时为了防止过拟合已成为一个标准手段，站在工业检测的视角上看，数据增广是一种性价比比较高的扩增样本的手段，但因为目前数据增广的方法大多是基于一些传统图像处理方法，所以能仿真缺陷的位置和一些简单纹理变化，但无法仿真缺陷的形状和复杂纹理，所以数据增广一般作为一个基础手段，可以解决一部分小样本问题，对于一些简单场景是有帮助的。而要解决更复杂场景的样本生成问题，需要用缺陷生成算法。我们将缺陷生成算法的研究分为三个阶段，第一阶段是单一产品单一型号缺陷生成，第二阶段是单一产品多型号缺陷生成，第三阶段是实现跨产品缺陷的生成。当前缺陷生成算法大致可以分为两种，一种是自动生成算法，整个生成过程完全不需要人工干预，第二种是半自动生成算法，需要一些简单的人工交互。自动生成算法的典型算法有DCGAN 、WGAN ，输入一张缺陷图像可以直接生成多张真实的缺陷图像。半自动生成算法的典型算法有CGAN 、CVAE 、Pix2Pix ，需要人工交互给定缺陷生成的类别或形状，然后根据给定信息生成指定类型缺陷。但当前无论是自动生成算法还是半自动生成算法，对训练样本的需求量虽然比监督算法少，但还是有一定要求，而且目前还没有一种能在所有数据上通用的解决方案，当前仍需要针对不同的场景制定不同算法版本。通用的缺陷生成算法是这个研究方向下一步的重点。 算法路径解决小样本问题的第二个思路是减少算法对样本的依赖，基于这个思路衍生出两条算法路线，第一条路线是完全不需要缺陷样本的非监督学习算法，基于非监督算法训练模型时仅需要OK图像参与训练即可。第二条路线仍基于有监督算法，对缺陷样本的需求量大大降低。 非监督算法实现的思路大体上分为两种，一种是基于生成模型，基本思路是训练一个只能生成OK图像的生成网络，推理时针对输入的NG图像，找到一个与NG图像最接近的OK图像，然后求两张图的差异，根据差异大小判断是否为NG，典型算法有AE，VAE ，Ano-GAN 等。另一种思路是基于特征表示，基本思路是找个一个较好的特征表示，将OK图和NG图分别映射到高维特征空间，OK图对应特征点的类内距离很小，推理时一张图对应特征点与OK图特征簇的中心距离很远就可以判定为NG，典型算法有SVDD 、OCSVM、DeepSVDD 等。 基于有监督算法减少样本依赖的思路分为两种，一种是对输入数据进行归一化，降低不同缺陷样本之间的差异，归一化算法基于传统图像处理算法实现，需要针对不同场景做不同的算法设计，很难有通用性，因此仅作为一些临时处理手段。另一种思路是基于迁移学习，典型的算法研发方向是域适应（Domain Adaption）和域泛化（Domain Generation）。DA处理的问题要求可以获取一部分目标域的图像，且不能实现跨类别的迁移，因此适合用于处理跨产品型号的问题。DG在DA的基础上，放宽了对目标域数据的要求，可以不需要目标域数据，且可以实现跨类别迁移，因此可以实现跨产品、跨型号、跨缺陷类别的迁移。DA算法当前研究的基本思路有三种，一是基于差异度量，核心思路是找一个差异度量函数，让源域与目标域样本的特征在这个度量函数下最小，代表算法为MMD ；二是基于对抗，核心思路是通过构造对抗网络，训练一个分类器让判别器无法区分数据是来自源域还是目标域，这样就实现了源域和目标域的融合，代表算法为Dom Confusion ；三是基于重构，核心思路是将构造源域和目标域的通用特征，仅利用通用特征去执行相应的任务，代表算法为Domain Separation Networks 。DG算法当前的研究思路也分为三种，第一种是推理时选取一个分布最近的源域的模型直接使用，第二种是通过拆解域相关与域无关的组件并进行组合来实现对目标域数据的处理，第三种是训练得到域不变的特征 。 当前基于有监督的缺陷检测算法，在数据量充足的场景下已经逐步成功落地，但工业场景具有一定的离散性，大部分应用场景均为小样本检测场景，小样本问题的解决有助于将AI技术应用于千千万万工厂。虽然当前针对小样本问题有一些初步的解决思路，但该问题的彻底解决需要更深入的研究及更大的投入。阿丘科技将AI For Every Factory作为使命，会坚定不移地持续研究小样本问题，也希望可以和有志于研究工业AI检测问题的工业人一起交流进步，推动小样本问题的彻底解决。 5月31日下午2:30-3:30 直播间在线交流 吴雨培学长在线等你哦 （微信扫一扫预约直播，有直播提醒哦） 文献引用 Radford A ,Metz L ,Chintala S . Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks // 2015. Arjovsky M ,Chintala S ,Bottou L . Wasserstein GAN .2017. Mirza M ,Osindero S . Conditional Generative Adversarial Nets . Computer Science, 2014:2672-2680. Sohn K, Lee H, Yan X. Learning structured output representation using deep conditional generative models . Advances in neural information processing systems, 2015, 28: 3483-3491. Isola P, Zhu J Y, Zhou T, et al. Image-to-image translation with conditional adversarial networks //Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 1125-1134. Kingma D P, Welling M. Auto-encoding variational bayes . arXiv preprint arXiv:1312.6114, 2013. Schlegl T, Seeböck P, Waldstein S M, et al. Unsupervised anomaly detection with generative adversarial networks to guide marker discovery //International conference on information processing in medical imaging. Springer, Cham, 2017: 146-157. Tax, David MJ, and Robert PW Duin. "Support vector data description." Machine learning 54.1 (2004): 45-66. Ruff, Lukas, et al. "Deep one-class classification." International conference on machine learning. PMLR, 2018. Tzeng E ,Hoffman J ,Zhang N , et al. Deep Domain Confusion: Maximizing for Domain Invariance . Computer Science, 2014. Tzeng E ,Hoffman J ,Darrell T , et al. Simultaneous Deep Transfer Across Domains and Tasks . 2015 IEEE International Conference on Computer Vision (ICCV), 2017. Bousmalis K, Trigeorgis G, Silberman N, et al. Domain separation networks . Advances in neural information processing systems, 2016, 29: 343-351. JWang,Lan C ,Liu C , et al. Generalizing to Unseen Domains: A Survey on Domain Generalization .2021.