tag 标签: 机器视觉

相关帖子
相关博文
  • 2022-8-1 23:31
    0 个评论
    相信大家都经历过一件事 :组装新家具。把零件按顺序排列好,查看 安 装说明, 发现要花费的时间 比预期要长! 新加坡南洋理工大学(NTU Singapore)的科学家们 研制 了一种机器人,可以独立组装椅子的各个 零 件。该机器人由一个 HK Ensenso N35 3D 相机 和 两个能 抓取物体 的 机器臂组成。 应用 为了帮助机器人组装宜家 的 椅子,来自“机械与航空工程学院”的团队用三个不同的开源库对算法进行编码。机器人的硬件设计是为了模拟人们如何安装物体:“眼睛” 为 3D摄像头,“手臂” 为 能够在六个轴上运动的工业 机械臂 。每只机械臂都 有 抓手 来 抓取物体。手腕上安装了力传感器,以确定“手指”的握力以及它们使物体相互接触的强度。 机器人开始组装过程时,会拍摄地面上各部件的3D图像,生成各部件估计位置的地图,由HK Ensenso 3D相机完成。相机的工作原理是模仿人类视觉的“投影纹理立体视觉”(stereo vision)。两台相机从两个不同的位置获取同一场景的图像。虽然摄像机看到的场景内容是相同的,但根据摄像机的投影射线得到的物体位置不同。特殊的匹配算法比较两幅图像,搜索相应的点,并在视差图中可视化所有点的位移。虹科提供软件可以确定每个单独的图像像素或物体点的三维坐标,以便于完成椅子的组装。 难点 难点是在混乱的环境中尽可能精确、快速、可靠地定位组件。虹科3D相机依赖大功率投影仪足以满足这些需求。即使在艰难的光线条件下,投影仪也能通过图像掩模在物体表面产生高对比度的纹理。投射的纹理补充了宜家椅子组件上薄弱或不存在的物体表面结构。 这个应用利用了虹科N35系列相机中独有的FlexView投影仪技术,投影在组件物体表面上的模式可以改变表面上的纹理,检测得到的深度信息非常精确完整,该项技术是通过获取同一目标场景的不同纹理的多幅图像融合成一帧图像得到。另一个优势是HK Ensenso软件提供机器人手眼标定功能。使用一个标定板,它确保相机坐标系(在这种情况下是相机是静止的)的位置是相对于基础坐标系(组件的位置)确定的。这使得机器人的手能够准确地对图像信息做出反应,并准确地到达目的地。 “对于一个机器人来说,把椅子精确的拼凑比人为工作更复杂”南洋理工大学的Pham Quang Cuong教授解释道。“必须分解成不同的步骤,比如识别不同的椅子部件在哪里,抓住这些部件所需要的力量,以及确保机械手臂在移动时不会相互碰撞。通过相当大的工程努力,我们开发了算法,使机器人能够自行组装椅子。”结果是南洋理工大学的机器人只用了8分55秒就安装好宜家的“斯第芬”椅子。 前景 据Pham Quang Cuong教授介绍,人工智能将使这一应用在未来更加独立和有前途:“我们希望在这种方法中融入更多的人工智能,使机器人更加自主,这样它就可以通过人类演示或阅读安装手册,甚至从组装产品的图片中学习组装椅子的不同步骤。” 新加坡南洋理工大学的科学家开发的机器人被用于对机敏操作的研究,这是一个需要精确控制专用机器人手或手指的力量和运动的机器人领域。这需要所有硬件和软件组件的完美交互。使用虹科3D相机进行三维图像处理是解决问题的关键。它在准确性上、经济和速度方面都令人信服。 这标志着家具组装的真正进步,且不止于此。 虹科Ensenso N35 :快速和精确的3D视觉 GigE接口-灵活多样 紧凑,坚固的铝外壳 IP65/67 全局曝光 CMOS传感器和点图案激光器,可选蓝色或红外led 最大帧率(3D): 10 工作距离最远3000mm(N35)且可调节 输出单个3D点云 提供手眼标定步骤指引,易于设置 带有标定板的机器人手眼标定集成功能 可集成uEye 工业摄像头的软件,例如,捕捉附加的颜色信息或条形码 灵活的数据和帧率的采样和叠加 自动判断 中文中文(简体)中文(香港)中文(繁体)英语日语朝鲜语德语法语俄语泰语南非语阿拉伯语阿塞拜疆语比利时语保加利亚语加泰隆语捷克语威尔士语丹麦语第维埃语希腊语世界语西班牙语爱沙尼亚语巴士克语法斯语芬兰语法罗语加里西亚语古吉拉特语希伯来语印地语克罗地亚语匈牙利语亚美尼亚语印度尼西亚语冰岛语意大利语格鲁吉亚语哈萨克语卡纳拉语孔卡尼语吉尔吉斯语立陶宛语拉脱维亚语毛利语马其顿语蒙古语马拉地语马来语马耳他语挪威语(伯克梅尔)荷兰语北梭托语旁遮普语波兰语葡萄牙语克丘亚语罗马尼亚语梵文北萨摩斯语斯洛伐克语斯洛文尼亚语阿尔巴尼亚语瑞典语斯瓦希里语叙利亚语泰米尔语泰卢固语塔加路语茨瓦纳语土耳其语宗加语鞑靼语乌克兰语乌都语乌兹别克语越南语班图语祖鲁语 自动选择 中文中文(简体)中文(香港)中文(繁体)英语日语朝鲜语德语法语俄语泰语南非语阿拉伯语阿塞拜疆语比利时语保加利亚语加泰隆语捷克语威尔士语丹麦语第维埃语希腊语世界语西班牙语爱沙尼亚语巴士克语法斯语芬兰语法罗语加里西亚语古吉拉特语希伯来语印地语克罗地亚语匈牙利语亚美尼亚语印度尼西亚语冰岛语意大利语格鲁吉亚语哈萨克语卡纳拉语孔卡尼语吉尔吉斯语立陶宛语拉脱维亚语毛利语马其顿语蒙古语马拉地语马来语马耳他语挪威语(伯克梅尔)荷兰语北梭托语旁遮普语波兰语葡萄牙语克丘亚语罗马尼亚语梵文北萨摩斯语斯洛伐克语斯洛文尼亚语阿尔巴尼亚语瑞典语斯瓦希里语叙利亚语泰米尔语泰卢固语塔加路语茨瓦纳语土耳其语宗加语鞑靼语乌克兰语乌都语乌兹别克语越南语班图语祖鲁语 百度翻译 谷歌翻译 谷歌翻译(国内) 翻译 朗读 复制 正在查询,请稍候…… 重试 朗读 复制 复制 朗读 复制 来源 谷歌翻译(国内) 译
  • 2022-5-27 15:11
    1 次阅读|
    0 个评论
    文章来源:吴雨培 北京阿丘科技算法总监 如需转载请注明来源。 吴雨培学长将在5月31日下午2:30 与大家继续探讨小样本问题 欢迎扫描下方二维码预约直播围观~ 正文如下: 在工业生产制造中,由于生产过程是一个多因素耦合的复杂过程,生产过程中的任何异常都会导致产品缺陷产生,及时识别异常产品的缺陷模式是提高生产质量和生产效率的有效途径,所以缺陷检测具有十分重要的研究意义。 早期的产品缺陷模式识别主要是通过机器学习方法进行的,如支持向量机、反向传播网络等。这些方法与用肉眼直接对产品缺陷进行识别相比,大大降低了工作量。但是这些早期方法存在以下不足:识别准确率低且需要大量的标签数据对模型进行训练。近年来随着深度学习的发展,大量基于卷积神经网络的算法在视觉任务中大放异彩。由于卷积神经网络具有非常强大的特征提取能力,卷积神经网络在缺陷检测任务中得到了广泛的应用。 与传统的机器学习方法相比,基于卷积神经网络的深度学习方法在缺陷识别领域具有更高的识别准确率和工作效率。但是这种方法和机器学习方法具有同样的缺点,首先是模型训练需要大量的标签数据,而具有缺陷模式标签的图像是不容易获取的,因为获取带有产品缺陷模式标签的图像需要人工监督,即需要大量有经验的专业人员进行人工标注,这是非常昂贵且耗时的。此外在某些高度自动化的生产场景中,产品的良率特别高,收集缺陷样本非常耗时,而当前的用于缺陷检测的深度学习方法大多是基于大量缺陷样本建立模型,缺陷样本的缺乏导致模型难以上线。针对某些行业比如汽车行业的多型号小批量生产场景(每种型号产品只生产几天),在完成缺陷样本收集前某种型号产品已经不再生产了,这种场景下大量的缺陷样本收集是不可能的。此外,由于缺陷是由生产过程中的非受控因素产生的,缺陷的形态是多种多样的,各种形态的样本很难收集完整,这也限制了深度学习在工业检测领域的应用。 为了拓展深度学习在工业检测领域的应用范围及提升易用性,小样本检测算法的研究成为必然。 解决工业检测小样本问题有两种路径,第一种是工程路径,第二种是算法路径。其中工程路径常见有两种方法,第一种是基于真实产品手动制造缺陷,第二种是基于真实图像手动仿真缺陷。这两种方法的优势在于操作简单,产生的缺陷也与真实缺陷比较接近,但劣势也比较明显。基于真实产品手动制造缺陷会对产品造成不可逆的破坏,对于高价值产品破坏成本较高,而且,因为缺陷均由非受控因素产生,手动制造的缺陷不一定与实际缺陷情况完成吻合,会存在一些差异。而基于图像手动仿真缺陷则存在对操作人员要求高,产生速度慢的问题。因此,使用工程路径解决小样本问题可以在一些比较紧急的情况下使用,比如项目初期需要紧急上线时。 从算法路径解决小样本问题,基本的思路有两种,第一种是增加样本,第二种是减少算法对样本的依赖。基于第一种思路的算法研究方向有数据增广和缺陷生成,其中数据增广在深度网络训练时为了防止过拟合已成为一个标准手段,站在工业检测的视角上看,数据增广是一种性价比比较高的扩增样本的手段,但因为目前数据增广的方法大多是基于一些传统图像处理方法,所以能仿真缺陷的位置和一些简单纹理变化,但无法仿真缺陷的形状和复杂纹理,所以数据增广一般作为一个基础手段,可以解决一部分小样本问题,对于一些简单场景是有帮助的。而要解决更复杂场景的样本生成问题,需要用缺陷生成算法。我们将缺陷生成算法的研究分为三个阶段,第一阶段是单一产品单一型号缺陷生成,第二阶段是单一产品多型号缺陷生成,第三阶段是实现跨产品缺陷的生成。当前缺陷生成算法大致可以分为两种,一种是自动生成算法,整个生成过程完全不需要人工干预,第二种是半自动生成算法,需要一些简单的人工交互。自动生成算法的典型算法有DCGAN 、WGAN ,输入一张缺陷图像可以直接生成多张真实的缺陷图像。半自动生成算法的典型算法有CGAN 、CVAE 、Pix2Pix ,需要人工交互给定缺陷生成的类别或形状,然后根据给定信息生成指定类型缺陷。但当前无论是自动生成算法还是半自动生成算法,对训练样本的需求量虽然比监督算法少,但还是有一定要求,而且目前还没有一种能在所有数据上通用的解决方案,当前仍需要针对不同的场景制定不同算法版本。通用的缺陷生成算法是这个研究方向下一步的重点。 算法路径解决小样本问题的第二个思路是减少算法对样本的依赖,基于这个思路衍生出两条算法路线,第一条路线是完全不需要缺陷样本的非监督学习算法,基于非监督算法训练模型时仅需要OK图像参与训练即可。第二条路线仍基于有监督算法,对缺陷样本的需求量大大降低。 非监督算法实现的思路大体上分为两种,一种是基于生成模型,基本思路是训练一个只能生成OK图像的生成网络,推理时针对输入的NG图像,找到一个与NG图像最接近的OK图像,然后求两张图的差异,根据差异大小判断是否为NG,典型算法有AE,VAE ,Ano-GAN 等。另一种思路是基于特征表示,基本思路是找个一个较好的特征表示,将OK图和NG图分别映射到高维特征空间,OK图对应特征点的类内距离很小,推理时一张图对应特征点与OK图特征簇的中心距离很远就可以判定为NG,典型算法有SVDD 、OCSVM、DeepSVDD 等。 基于有监督算法减少样本依赖的思路分为两种,一种是对输入数据进行归一化,降低不同缺陷样本之间的差异,归一化算法基于传统图像处理算法实现,需要针对不同场景做不同的算法设计,很难有通用性,因此仅作为一些临时处理手段。另一种思路是基于迁移学习,典型的算法研发方向是域适应(Domain Adaption)和域泛化(Domain Generation)。DA处理的问题要求可以获取一部分目标域的图像,且不能实现跨类别的迁移,因此适合用于处理跨产品型号的问题。DG在DA的基础上,放宽了对目标域数据的要求,可以不需要目标域数据,且可以实现跨类别迁移,因此可以实现跨产品、跨型号、跨缺陷类别的迁移。DA算法当前研究的基本思路有三种,一是基于差异度量,核心思路是找一个差异度量函数,让源域与目标域样本的特征在这个度量函数下最小,代表算法为MMD ;二是基于对抗,核心思路是通过构造对抗网络,训练一个分类器让判别器无法区分数据是来自源域还是目标域,这样就实现了源域和目标域的融合,代表算法为Dom Confusion ;三是基于重构,核心思路是将构造源域和目标域的通用特征,仅利用通用特征去执行相应的任务,代表算法为Domain Separation Networks 。DG算法当前的研究思路也分为三种,第一种是推理时选取一个分布最近的源域的模型直接使用,第二种是通过拆解域相关与域无关的组件并进行组合来实现对目标域数据的处理,第三种是训练得到域不变的特征 。 当前基于有监督的缺陷检测算法,在数据量充足的场景下已经逐步成功落地,但工业场景具有一定的离散性,大部分应用场景均为小样本检测场景,小样本问题的解决有助于将AI技术应用于千千万万工厂。虽然当前针对小样本问题有一些初步的解决思路,但该问题的彻底解决需要更深入的研究及更大的投入。阿丘科技将AI For Every Factory作为使命,会坚定不移地持续研究小样本问题,也希望可以和有志于研究工业AI检测问题的工业人一起交流进步,推动小样本问题的彻底解决。 5月31日下午2:30-3:30 直播间在线交流 吴雨培学长在线等你哦 (微信扫一扫预约直播,有直播提醒哦) 文献引用 Radford A ,Metz L ,Chintala S . Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks // 2015. Arjovsky M ,Chintala S ,Bottou L . Wasserstein GAN .2017. Mirza M ,Osindero S . Conditional Generative Adversarial Nets . Computer Science, 2014:2672-2680. Sohn K, Lee H, Yan X. Learning structured output representation using deep conditional generative models . Advances in neural information processing systems, 2015, 28: 3483-3491. Isola P, Zhu J Y, Zhou T, et al. Image-to-image translation with conditional adversarial networks //Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 1125-1134. Kingma D P, Welling M. Auto-encoding variational bayes . arXiv preprint arXiv:1312.6114, 2013. Schlegl T, Seeböck P, Waldstein S M, et al. Unsupervised anomaly detection with generative adversarial networks to guide marker discovery //International conference on information processing in medical imaging. Springer, Cham, 2017: 146-157. Tax, David MJ, and Robert PW Duin. "Support vector data description." Machine learning 54.1 (2004): 45-66. Ruff, Lukas, et al. "Deep one-class classification." International conference on machine learning. PMLR, 2018. Tzeng E ,Hoffman J ,Zhang N , et al. Deep Domain Confusion: Maximizing for Domain Invariance . Computer Science, 2014. Tzeng E ,Hoffman J ,Darrell T , et al. Simultaneous Deep Transfer Across Domains and Tasks . 2015 IEEE International Conference on Computer Vision (ICCV), 2017. Bousmalis K, Trigeorgis G, Silberman N, et al. Domain separation networks . Advances in neural information processing systems, 2016, 29: 343-351. JWang,Lan C ,Liu C , et al. Generalizing to Unseen Domains: A Survey on Domain Generalization .2021.
  • 热度 3
    2022-3-4 11:06
    631 次阅读|
    0 个评论
    【虹科】如何实现将任何传感器转换成GigE Vision设备
    工程师可以轻松使用先进传感器升级检测系统,同时为未来工业物联网应用做准备。对于使用各类摄像机、传感器和嵌入式平台开发成像系统的机器视觉设计师来说,eBUS Edge是一种软件解决方案,它可以将视觉设备转换为标准化的GigE Vision、GenICam兼容设备,实现联网设备间的互操作性以及第三方处理应用程序的使用。 对于希望保留现有视觉检测流程,同时升级设备的工程师来说,可依靠我们的软件方案,该方案通过将任何CPU设备转换为完全兼容的GigE vision和GenICam兼容设备,简化高级传感器和嵌入式平台的部署。eBUS Edge软件解决方案允许用户避免供应商锁定,同时选择最适合其应用的设备,而无需在新设备或改造上投入大量资金。 通过集成“Multi-Part”功能,来自多个数据源的传感器数据可与相关的元数据(例如传感器信息、GPS数据、时间戳等)一起传输,同时可以传输各种各样的3D数据格式,包括具有扩展块模式的原始有效负载。寻求简化3D检查应用程序部署的工程师可以利用eBUS Edge软件保留现有第三方处理软件,该软件与我们的软件开发包eBUS SDK和广泛的接口产品进行组合,同样可以与现成GigE Vision/GenICam兼容,实现无缝互操作。 在3D应用中,来自左右摄像机的图像、3D深度图、置信度图和块数据集成后以“Multi-Part”负载的形式发送给接收端。eBUS Edge将未压缩的3D数据作为统一时间戳容器的一部分,通过现成以太网电缆使用“Multi-Part”负载,以GigEVision和GenICam兼容的方式传输来自多个传感器的数据是并行传输的,因此可以实现“同步”。并且在网络的另一点,可以通过用于分析和显示的计算机的接收端,将来自全部摄像机和传感器的三维数据进行重建。 此软件解决方案包括集成的GenICam支持,并为用户提供继续控制设备的能力。用户还可以编写代码,然后将其部署在几个不同的操作系统上,使用可移植的C++ API,以及内置的与所有传感器类型兼容的缓冲管理,让开发人员可以为工业物联网和工业4.0应用做准备。 此文转自“ 智能感知解决方案 ”微信公众号
  • 热度 6
    2021-3-11 18:53
    55777 次阅读|
    3 个评论
    实战项目--图像识别--人民币识别
    实战项目旨在交流学习,项目相关资料请在关注 大鸟科创空间 微信公众号后回复项目关键字 ———“人民币识别” 以获取,欢迎在评论区交流意见。 简介:图像识别 --人民币识别 此方式简单的运用颜色空间来识别人民币,适合入门学习,准确度不高,仅能实现简单辨识。 先展示效果: 项目开发环境: Spyder(Python 3.7) 开发语言: Python demo功能: 1:对导入图片里面的人民币利用其色彩分布进行简单识别 2:图片中尽量不要有其他杂物 3:此方式准确度不高,适合入门学习 部分源码截图: 颜色空间适用于机器视觉的多个方面,在计算机上运行源码时候,需注意相关 opencv 库等环境已经安装完成。 至此项目介绍完毕,本项目旨在开源,想要获取源码资料的朋友,关注 大鸟科创空间 微信公众号后,回复项目关键字 ———“人民币识别” ,即可获得源码资料下载链接。 微信扫描下方二维码关注公众号“大鸟科创空间”
  • 热度 3
    2021-3-11 18:40
    2137 次阅读|
    1 个评论
    实战项目--图像识别--目标跟踪和区域侵入告警
    实战项目旨在交流学习,项目相关资料请在关注大鸟科创空间微信公众号后回复项目关键字 ———“目标跟踪” ,或者项目关键字“区域侵入告警”,以获取,欢迎在评论区交流意见。 简介:图像识别 --目标跟踪和区域侵入告警 先展示效果: 项目开发环境: Spyder(Python 3.7) 开发语言: Python demo功能: 1:对导入视频里面的移动物体进行跟踪 2:可以设定指定区域,若跟踪物体侵入该区域则进行报警 在 demo中,可用鼠标画出矩形框选中跟踪目标: 部分源码截图: oython 功能强大,代码简洁,在计算机上运行源码时候,需注意相关 opencv 库等环境已经安装完成。 至此项目介绍完毕,本项目旨在开源,想要获取源码资料的朋友,关注 大鸟科创空间 公众号后,回复项目关键字 ———“目标跟踪” ,或者项目关键字“区域侵入告警” ,即可获得源码资料下载链接。 微信扫描下方二维码,关注“大鸟科创空间”微信公众号
相关资源