标签: SLAM

【报告导读】 割草机器人方兴未艾，渗透率空间广阔 2025年全球OPE市场规模预计达325亿美元，割草机占60%约200亿美元，年销量近3000万台。割草机器人行业规模仅26亿美元，年销量120-130万台，销售额渗透率12%、销量渗透率5%。目前销量集中在欧洲，德法北欧渗透率超40%，北美草坪面积大但渗透率不足5%。随着无边界技术成熟和成本下降，美国市场有望爆发，2025-2030年全球年销量有望突破500至1000万台。在劳动力成本上升和智能家居趋势下，割草机器人正加速替代传统割草机，成为家庭园艺OPE的智能终端代表。 技术路线趋于稳定，降本提速+功能集成， 行业进入爆发阶段 无边界割草机器人凭借免埋线、高效率、强环境适应性的综合优势，正加速替代传统埋线式产品，推动行业渗透率提升并开辟新市场空间。当前主流方案RTK+视觉/激光技术已趋成熟，而纯固态激光雷达凭借短距探测、全环境适应、抗振长寿命、小型轻量化等特性，成为平衡性能与成本的优选方案 —— 相较传统机械式激光雷达（易损且寿命短），其更契合需全天候作业的庭院场景。 技术突破背后存在双重挑战 一方面，庭院场景存在动态障碍物（宠物 / 玩具）、复杂地形（坡度 / 树根）及多变光照条件，对厘米级定位、实时避障 AI视觉感知提出严苛要求；另一方面，家用市场对价格敏感，需在有限成本内实现高性能。这倒逼供应链创新：2024 年行业爆发元年，无边界方案成本已降至 500 美元以下，规模化生产叠加国产替代将释放超 30% 降本空间，推动产品价格下探并提升市场接受度。 功能拓展带来的增量机遇 目前追觅、科沃斯等头部厂商已在高配机型采用激光雷达+视觉融合方案，未来多传感器技术融合或成趋势。值得关注的是功能拓展带来的增量机遇：通过集成扫雪、吹叶、浇水等模块，割草机器人正升级为全能庭院管家。叠加硬件成本持续下降，纯固态激光雷达规模效应显现，行业渗透空间有望进一步打开。 核心关注割草机器人企业： 企业名称 国别 主流产品 富世华（Husqvarna） 瑞典 割草机器人（埋线式和无边界产品），如Husqvarna Automower 105等 宝时得（Worx） 中国 割草机器人（埋线式和无边界产品），如Worx Landroid S300、Worx Landroid Vision等 格力博（Greenworks） 中国 割草机器人（埋线式和无边界产品） 泉峰（Chervon） 中国 割草机器人 九号公司（Segway） 中国 无边界割草机器人，如Navimow H800E、Navimow i110、Navimow X3等 科沃斯（Ecovacs） 中国 无边界割草机器人，如GOAT G1、GOAT A1600 RTK、GOAT A3000 LiDAR等 追觅（Dreame） 中国 割草机器人，如Dreame Roboticmower A1、A2、A1Pro等 松灵机器人（Mammotion） 中国 割草机器人，如Luba mini AWD 1500、Yuka 1500等 汉阳科技（Heisenberg Robotics） 中国 庭院机器人，如Snowbot S1（扫雪机器人） 河森堡（Yarbo） 中国 庭院机器人，具备扫雪、割草、吹落叶等多功能 Yardroid 美国 庭院机器人，具备多种功能 核心关注配套激光雷达企业： 企业名称 所属行业 国别 主流产品 速腾聚创 智能硬件 中国 E1R全固态数字化激光雷达等 禾赛科技 激光雷达 中国 迷你型超半球3D激光雷达JT系列 览沃科技 激光雷达 中国 Mid-360激光雷达 亮道智能 激光雷达 中国 纯固态激光雷达 LD Gen2 Lite 和LD Gen2 Mini Ouster 激光雷达 美国 OS 穹顶激光雷达 竞争格局：千帆竞渡、百舸争流 目前，富世华、宝时得等传统龙头仍主导埋线式产品市场，正在追赶无边界技术；九号公司占据无边界出货量近半，科沃斯、松灵、追觅紧随其后。2024年，九号割草机器人收入超7亿元，同比增长250%。松灵Yuka系列主打坡度适应与AI视觉避障，追觅则通过激光雷达+视觉组合实现高性价比突破。 割草机器人正处于从小众工具向主流家电跃迁的关键阶段，技术路线趋于统一，成本快速下探，用户教育加速完成。预计2030年前，割草机器人将成为全球智能家居的重要组成，重塑OPE行业格局。 资料获取方法： 右下角“点赞”和“在看”。 关注本公众号后，在对话框内输入“割草”，即可下载《割草机器人深度报告》全文。 报告正文 一、行业:割草机器人迎来春天 1、行业规模:渗透率低，快速增长 割草机器人现有市场：202 年估计25亿美元左右。 根据 Mordor Intelligence 数据，2021-2024年全球割草机器人市场规模从15亿增至26亿美元，行业复合增长20%。Fortune Business Insights 预测2028年割草机器人市场规模将增长至40.4亿美元，CAGER在16%左右，行业处于快速成长期。 割草机器人作为 OPE 割草机的替代产品，将在行业占据一席之地。 1、OPE规模超过 300 亿美元。 根据弗若斯特沙利文预测，2025 年全球 OPE 市场 325 亿美元，2016-2025 全球市场 CAGER 为 5%。 2、割草机为 OPE 的核心品类: 根据史丹利百得,骑乘式割草机( 22%)+手推式割草机( 15%)+手持式割草机( 21%合计占 OPE 比重接近6成，对应 200 亿美元左右，参考当下割草机器人行业规模 25 亿美元，销售额渗透率仅 12.5%，销量渗透率 4-5%，未来发展潜力巨大。 2、行业并非伪需求,百亿美元级市场 （1）产业发展：技术进步，机器替代人工大势所趋 割草机器人是OPE的下一个阶段，也是终极形态。 梳理 OPE行业发展趋势，依次经历了手动、燃油和交流电动力、直流电动力三个阶段，未来将沿智能化无人化趋势发展。 第一阶段： 手工作业为主，该阶段使用无动力系统的园林绿化和养护器械，需要通过人工操作 第二阶段： 燃油动力产品的出现提高了生产力和便携性，并且为了使工具具备更高的环保和低噪音特性，也出现了以外接电源为动力系统的 OPE，但有绳产品由于作业半径受限，便携性较差，因此燃油动力产品仍占据主流； 第三阶段： 锂电技术成熟、成本大幅优化，叠加消费者环保观念日益增强，对燃油动力产品的排放要求愈发严苛，因此以锂电池为动力系统的无线产品开始普及； 第四阶段： 三电技术、智能控制技术、传感器技术等取得突破，以智能割草机器人为代表的智能化、无人化、物联网 OPE产品将陆续出现，预计将是OPE产品的终极形态。 当前不考虑商用OPE产品的话，家用OPE行业锂电化率已经达到50%，正在加速向第四阶段迈进。 （2）成本角度：割草机器人经济性优于雇人，相较自己维护省心省力 欧美地区人工费用较高，并且近年来逐年上升。 园林工人： 美国园林工人绿化时薪在 2021 年提升至17 美元/h，考虑到 22 年以后通货膨胀，目前工作时薪按20 美元、每年绿化 24 小时来算，全年花费接近1000 美元，倘若花园面积更大带来维护时间，发达地区将超过1500 美元。欧洲500 到1000 平方米的草坪，每年在草坪维护上的支出也接近400 美元； 自己割草： 单台手推式割草机价格一般在 500 美元左右，使用周期 5-6 年，年适用成本不到 100 美元最低，因此欧美家庭 70-80%自主维护草坪，同时美国家庭DIY 文化偏好较高，更倾向自己打理，20-30%高端住宅区或者花园面积较大的家庭选择雇佣园林工人 割草机器人： 分埋线随机割草和无埋线自主规划割草两种类型，根据割草面积大小、价格也会有所上扬，入门级价格在 500-600 美元，中端 800-1500 美元，高端2000-5000 美元，按使用周期5-6 年来算，年成本介于自己割草和雇人二者之间。 3、欧洲市场之外，北美潜在市场更大 OPE 市场：全球 OPE 市场欧美占比将近 9 成，其中美国市场占比 56%，欧洲占比30%。从终局来看，割草机器人美国市场所占份额应当与OPE 份额相匹配。 现阶段看，割草机器人主销量仍在欧洲，北美开发潜力大。 根据 EGMF 统计欧洲市场割草机器人销量超过 85 万台，全球占比超过 7 成。富世华公告显示，欧洲割草机器人销量渗透率较高，北欧、德国、瑞士等地区销量渗透率超 40%，而南欧平均销量渗透率 15-30%，北美市场不足 5%，据此推算北美目前占割草机器人销量约 20%，与北美在全球OPE 市场的规模并不匹配。Mordor Intelligence数据显示，欧洲地区后续仍是全球割草机器人增速最快的地区。 割草机器人在欧洲市场渗透率快速提升原因在于： 1、欧洲花园面积小。 根据EGMF 统计，欧洲66%的割草机器人服务 1000 平米以下的花园，其中 43%面积在500-1000 平米、23%面积在500 平米以下，仅有34%的割草机器人服务 1000 平米以上的大花园。考虑到早期割草机器人为埋线式产品，埋线成本较高、只适用小花园（500-1000 平米花园，周长 90-120 米，埋线费用额外支出 250-300 美元）。美国花园面积大部分在 1000-5000 平方米，埋线成本直线上升，而且对产品功率、复杂环境适应性要求更高。解决方向：从埋线式产品向无边界产品切换，节省埋线成本，增加传感器提升环境感知能力。 2、美国花园半开放，欧洲花园边界明显、草坪相对规整。 美国花园环境半开放，对导航和避障的要求明显更高，而埋线式产品的问题主要出现在导航和避障上，欧洲花园相对封闭有围栏边界。此外，美国花园整体较为复杂，如树多、草坚硬、坡度陡峭，环境复杂性也影响割草机器人的渗透。 解决方向：无边界产品电池容量提升、提高功率，RTK/视觉/激光+传感器，解决信号丢失、障碍物识别、避障等问题。 3、消费者教育不足。 首先，锂电OPE 产品在美国渗透率显著低于欧洲，割草机器人作为锂电 OPE 的延续，在欧洲有更好的铺垫；其次，不同于扫地机市场，美国本土在割草机器人这一新品类缺乏龙头做消费者教育， 早期全球第一大割草机器人厂商富世华的大本营在瑞典，主要聚焦北欧和西欧市场（2023 年其欧洲和北美收入占比分别为5 成、3 成）。 潜在市场规模：保守/乐观情境下2030 年销量突破至500-1000 万台。 保有量角度： 欧洲市场大约1.5 亿户家庭，其中约70%家庭拥有住宅花园，对应 1 亿个私人花园；美国市场1.3 亿户家庭，其中60-70%家庭拥有住宅花园，对应 8000 万左右私人花园。截止目前割草机器人整体保有量渗透率不足 3%，其中欧洲德语区和北欧保有量渗透率最高 40-50%，乐观假设中期2030 年欧洲整体保有量渗透率提高到40%，美国保有量渗透率提到20%，割草机器人保有量将增至6500 台，按照5-6 年更新一次，割草机器人年销量有望突破 1000 万台。 增量替代角度： 割草机器人替代手推式和手持式割草机（分别占 OPE 市场的 15%和20%），目前全球手持+手推式割草机销量在2600-3000 万，其中美国市场 1400-1500 万，欧洲市场 1200-1500 万，割草机器人欧洲销量渗透率 7%-8%，美国销量渗透率 1%，保守假设中期2030 年欧洲销量渗透率提高到 20%-30%，美国销量渗透率 10%-20%，对应割草机器人总销量将突破 500 万台以上。 二、割草机器人技术路线与降本探讨 1、技术路线：埋线式- RTK 时代，路线已经成熟 2021 年以前割草机器人以埋线式产品为主。 1995 年，富世华发明了第一台太阳能驱动的割草机器人，成为自动割草机器人的始祖。公司奠定了埋线式割草机的技术路线，埋线式通过在草坪中预埋线框定割草区域，优点在于产品结构简单成本较低，机身之外无需增加智能模块。不过缺点也很明显：1）埋线人工成本高，在 300 美元左右，无法适用大面积草坪。2）随机路线，割草效率低，同样在大花园使用挑战大。 无边界割草机器人向下替代埋线式产品，向上打开增量渗透空间。 2024 年全球割草机出货量在 120 万台左右，主要被老牌割草机器人企业富世华（Husqvarna+gardena）+宝时得所占据，其中富世华约 65 万台，宝时得30 万台，在埋线式产品时代，两家份额合计 90%左右，目前依旧占据75%左右份额。 1、九号自研RTK+视觉，成为首个年出货量突破10 万台的无边界割草机器人公司。 2021 年 9 月，九号旗下未岚大陆发布了全球首款超超静音无边界智能割草机器人 Navimow，采用RTK 定位技术实现行业重要突破，使用超声波传感器感知。由于存在树荫遮挡信号丢失及超声波传感器分辨率低等问题，2023 年未岚大陆迭代第二代 Navimowi 系列产品，采用RTK+视觉路线，同时升级了AI 助手建图更智能识别草坪边缘，得益于自研 RTK 优势，九号率先将无边界产品价格下探到 1000 欧元以内。 2、科沃斯早期尝试 UWB+双目视觉路线，后改为 RTK+视觉方案。 2022 年 10月，科沃斯2022 秋季战略新品发布会推出旗下首款智能割草机器人GOAT G1，搭载 True Mapping 四重融合定位系统，首次在割草机器人产品上使用UWB 超带宽无线载波通信技术。UWB 缺点在于需要多点部署，没有完全解决埋线繁琐的问题，而且定位精度不如RTK。科沃斯后续产品放弃了UWB，转为RTK+视觉路线。我们估算年出货量在4 万台左右。 3、追觅：主打3D 激光雷达+视觉方案，产品小试牛刀。 追觅2023 年9 月发布第一代割草机器人产品 A1，2024 年 IFA 展发布第二代产品 A2，首次引入激光雷达+视觉方案，不过由于激光雷达成本相对较高，预计二代产品定位在更大面积花园和更高价位段。截止2025 年 2 月8 日，追觅宣布割草机器人产品累计出货量突破 10 万台。 4、松灵：库犸动力主打 GPS+RTK+雷达方案。 2022 年松灵旗下库犸动力发布首款割草机器人产品，采用 GPS+RTK 方案、结合超声波和雷达实现自主定位、规划作业等；2025 年发布专为小花园设计的割草机器人产品，开始采用 RTK+ 视觉方案。库犸主打美国和欧洲线上渠道销售，年销量突破5 万台。 本报告共计：26页。受篇幅限制，仅节选部分内容。 资料获取方法： 右下角“点赞”和“在看”。 关注本公众号后，在对话框内输入“割草”，即可下载《割草机器人深度报告》全文。 微信号｜ Robo Lab 重构机器「看见世界」的方式。 用硬核科普+实战案例，拆解光束背后的科技革命。 欢迎关注“Robo Lab 机器人实验室”

随着机器人的普及应用，作为长期从事工业控制领域工作的科研人员，对机器人知识需求也日益增长，得益于面包社区开放试读机制，成功申请到《机器人SLAM导航》一书。拿到这书第一反应比申请成功还高兴，内心已经笃定，再有下次必然继续申请，如果这书真能引领进入一个新的领域，推荐一下也不失为一个好策。下面上图 从作者介绍上看，作者实为一个工程实践者，从工程实践的角度介绍机器人SLAM技术，应该更具有科操作性 从目录上看，也符合由浅入深，有易到难，符合我们这种小白阅读习惯，在结构上，该书分为基础篇、硬件篇和提升篇： 可以说非常合理。看书先考前言，前言会透露本书各种信息，比如如何获取电子资料： 想必大家也看不清，这里给出链接： https://github.com/xiihoo/Books_Robot_SLAM_Navigation 然后速度下载了各种资料： 资料是挺全的，但是打开习题就让人失望了： 只有习题没有答案，臣妾真不会啊 但是并不影响学习的。 除此之外，小白还发现了本书还有视频教学课程，也提供出来供大家一起学习：http://www.xiihoo.com/# 本次分享先到此，后续如有更多想法再分享拉

来源：地平线HorizonRobotics 近来年，智能机器人技术在世界范围内得到了大力发展。人们致力于把机器人用于实际场景：从室内的移动机器人，到野外的自动驾驶汽车、空中的无人机、水下环境的探测机器人等等，均得到了广泛的关注。 在大多数场合中，我们研究机器人会碰到一个基础性的困难，那就是定位和建图，也就是所谓的SLAM技术。没有准确的定位与地图，扫地机就无法在房间自主地移动，只能随机乱碰；家用机器人就无法按照指令准确到达某个房间。此外，在虚拟现实（Virtual Reality）和增强现实技术（Argument Reality）中，没有SLAM提供的定位，用户就无法在场景中漫游。在这几个应用领域中，人们需要SLAM向应用层提供空间定位的信息，并利用SLAM的地图完成地图的构建或场景的生成。 一、传感器 当我们谈论SLAM时，最先问到的就是传感器。SLAM的实现方式与实现难度和传感器的形式和安装方式密切相关。 传感器分为激光和视觉两大类， 视觉下面又分三小方向。如此庞大的传感器家族，下面将带你认识每个成员的特性。 1 、传感器之激光雷达 激光雷达 是 最古老，研究也最多的SLAM传感器。它们提供机器人本体与周围环境障碍物间的距离信息。常见的激光雷达，例如SICK、Velodyne还有我们国产的rplidar等，都可以拿来做SLAM。激光雷达能以很高精度测出机器人周围障碍点的角度和距离，从而很方便地实现SLAM、避障等功能。 主流的2D激光传感器扫描一个平面内的障碍物，适用于平面运动的机器人（如扫地机等）进行定位，并建立2D的栅格地图。这种地图在机器人导航中很实用，因为多数机器人还不能在空中飞行或走上台阶，仍限于地面。在SLAM研究史上，早期SLAM研究几乎全使用激光传感器进行建图，且多数使用滤波器方法，例如卡尔曼滤波器与粒子滤波器等。 激光的优点是精度很高，速度快，计算量也不大，容易做成实时SLAM。缺点是价格昂贵，一台激光动辄上万元，会大幅提高一个机器人的成本。因此激光的研究主要集中于如何降低传感器的成本上。对应于激光的EKF-SLAM理论方面，因为研究较早，现在已经非常成熟。与此同时，人们也对EKF-SLAM的缺点也有较清楚的认识，例如不易表示回环、线性化误差严重、必须维护路标点的协方差矩阵，导致一定的空间与时间的开销，等等。 2 、传感器之视觉SLAM 视觉SLAM是21世纪SLAM研究热点之一，一方面是因为视觉十分直观，不免令人觉得：为何人能通过眼睛认路，机器人就不行呢？另一方面，由于CPU、GPU处理速度的增长，使得许多以前被认为无法实时化的视觉算法，得以在10 Hz以上的速度运行。硬件的提高也促进了视觉SLAM的发展。 RGBD。 单目相机 SLAM 简称MonoSLAM，即只用一支摄像头就可以完成SLAM。这样做的好处是传感器特别的简单、成本特别的低，所以单目SLAM非常受研究者关注。相比别的视觉传感器，单目有个最大的问题，就是没法确切地得到深度。这是一把双刃剑。 一方面，由于绝对深度未知，单目SLAM没法得到机器人运动轨迹以及地图的真实大小。直观地说，如果把轨迹和房间同时放大两倍，单目看到的像是一样的。因此，单目SLAM只能估计一个相对深度，在相似变换空间Sim(3)中求解，而非传统的欧氏空间SE(3)。如果我们必须要在SE(3)中求解，则需要用一些外部的手段，例如GPS、IMU等传感器，确定轨迹与地图的尺度（Scale）。 另一方面，单目相机无法依靠一张图像获得图像中物体离自己的相对距离。为了估计这个相对深度，单目SLAM要靠运动中的三角测量，来求解相机运动并估计像素的空间位置。即是说，它的轨迹和地图，只有在相机运动之后才能收敛，如果相机不进行运动时，就无法得知像素的位置。同时，相机运动还不能是纯粹的旋转，这就给单目SLAM的应用带来了一些麻烦，好在日常使用SLAM时，相机都会发生旋转和平移。不过，无法确定深度同时也有一个好处：它使得单目SLAM不受环境大小的影响，因此既可以用于室内，又可以用于室外。 相比于单目， 双目相机 通过多个相机之间的基线，估计空间点的位置。与单目不同的是，立体视觉既可以在运动时估计深度，亦可在静止时估计，消除了单目视觉的许多麻烦。不过，双目或多目相机配置与标定均较为复杂，其深度量程也随双目的基线与分辨率限制。通过双目图像计算像素距离，是一件非常消耗计算量的事情，现在多用FPGA来完成。 RGBD 相机 是2010年左右开始兴起的一种相机，它最大的特点是可以通过红外结构光或Time-of-Flight原理，直接测出图像中各像素离相机的距离。因此，它比传统相机能够提供更丰富的信息，也不必像单目或双目那样费时费力地计算深度。目前常用的RGBD相机包括Kinect/Kinect V2、Xtion等。不过，现在多数RGBD相机还存在测量范围窄、噪声大、视野小等诸多问题。出于量程的限制，主要用于室内SLAM。 三、视觉 SLAM 框架 视觉SLAM几乎都有一个基本的框架。一个SLAM系统分为四个模块（除去传感器数据读取） VO 、后端、建图、回环检测。 本期我们简要介绍各模块的涵义，之后再详细介绍其使用方法。 1 、SLAM 框架之视觉里程计 Visual Odometry，即视觉里程计。它估计两个时刻机器人的相对运动（Ego-motion）。在激光SLAM中，我们可以将当前的观测与全局地图进行匹配，用ICP求解相对运动。而对于相机，它在欧氏空间里运动，我们经常需要估计一个三维空间的变换矩阵——SE3或Sim3（单目情形）。求解这个矩阵是VO的核心问题，而求解的思路，则分为基于特征的思路和不使用特征的直接方法。 基于特征的方法是目前VO的主流方式。对于两幅图像，首先提取图像中的特征，然后根据两幅图的特征匹配，计算相机的变换矩阵。最常用的是点特征，例如Harris角点、SIFT、SURF、ORB。如果使用RGBD相机，利用已知深度的特征点，就可以直接估计相机的运动。给定一组特征点以及它们之间的配对关系，求解相机的姿态，该问题被称为PnP问题（Perspective-N-Point）。PnP可以用非线性优化来求解，得到两个帧之间的位置关系。 不使用特征进行VO的方法称为直接法。它直接把图像中所有像素写进一个位姿估计方程，求出帧间相对运动。例如，在RGBD SLAM中，可以用ICP（Iterative Closest Point，迭代最近邻）求解两个点云之间的变换矩阵。对于单目SLAM，我们可以匹配两个图像间的像素，或者像图像与一个全局的模型相匹配。直接法的典型例子是SVO和LSD-SLAM。它们在单目SLAM中使用直接法，取得了较好的效果。目前看来，直接法比特征VO需要更多的计算量，而且对相机的图像采集速率也有较高的要求。 2 、SLAM 框架之后端 在VO估计帧间运动之后，理论上就可以得到机器人的轨迹了。然而视觉里程计和普通的里程计一样，存在累积误差的问题（Drift）。直观地说，在t1和t2时刻，估计的转角比真实转角少1度，那么之后的轨迹就全部少掉了这1度。时间一长，建出的房间可能由方形变成了多边形，估计出的轨迹亦会有严重的漂移。所以在SLAM中，还会把帧间相对运动放到一个称之为后端的程序中进行加工处理。 早期的SLAM后端使用滤波器方式。由于那时还未形成前后端的概念，有时人们也称研究滤波器的工作为研究SLAM。SLAM最早的提出者R. Smith等人就把SLAM建构成了一个EKF（Extended Kalman Filter，扩展卡尔曼滤波）问题。他们按照EKF的形式，把SLAM写成了一个运动方程和观测方式，以最小化这两个方程中的噪声项为目的，使用典型的滤波器思路来解决SLAM问题。 当一个帧到达时，我们能（通过码盘或IMU）测出该帧与上一帧的相对运动，但是存在噪声，是为运动方程。同时，通过传感器对路标的观测，我们测出了机器人与路标间的位姿关系，同样也带有噪声，是为观测方程。通过这两者信息，我们可以预测出机器人在当前时刻的位置。同样，根据以往记录的路标点，我们又能计算出一个卡尔曼增益，以补偿噪声的影响。于是，对当前帧和路标的估计，即是这个预测与更新的不断迭代的过程。 21世纪之后，SLAM研究者开始借鉴SfM（Structure from Motion）问题中的方法，把捆集优化（Bundle Adjustment）引入到SLAM中来。优化方法和滤波器方法有根本上的不同。它并不是一个迭代的过程，而是考虑过去所有帧中的信息。通过优化，把误差平均分到每一次观测当中。在SLAM中的Bundle Adjustment常常以图的形式给出，所以研究者亦称之为图优化方法（Graph Optimization）。图优化可以直观地表示优化问题，可利用稀疏代数进行快速的求解，表达回环也十分的方便，因而成为现今视觉SLAM中主流的优化方法。 3 、SLAM 框架之回环检测 回环检测，又称闭环检测（Loop closure detection），是指机器人识别曾到达场景的能力。如果检测成功，可以显著地减小累积误差。回环检测实质上是一种检测观测数据相似性的算法。对于视觉SLAM，多数系统采用目前较为成熟的词袋模型（Bag-of-Words, BoW）。词袋模型把图像中的视觉特征（SIFT, SURF等）聚类，然后建立词典，进而寻找每个图中含有哪些“单词”（word）。也有研究者使用传统模式识别的方法，把回环检测建构成一个分类问题，训练分类器进行分类。 回环检测的难点在于，错误的检测结果可能使地图变得很糟糕。这些错误分为两类：1.假阳性（False Positive），又称感知偏差（Perceptual Aliasing），指事实上不同的场景被当成了同一个；2.假阴性（False Negative），又称感知变异（Perceptual Variability），指事实上同一个场景被当成了两个。感知偏差会严重地影响地图的结果，通常是希望避免的。一个好的回环检测算法应该能检测出尽量多的真实回环。研究者常常用准确率-召回率曲线来评价一个检测算法的好坏。 来源：地平线HorizonRobotics

来源：旷视研究院/ SLAM组负责人刘骁 这次分享的主题集中在SLAM与三维重建两方面，大纲如下： SLAM 研究内容与应用概要 专题1：VIO & 多传感器融合 专题2：Struct SLAM 专题3：Visual Localization 专题4：激光 SLAM 专题5：三维重建 专题6：语义 SLAM & HDMap SLAM 研究内容与应用概要 三维视觉的基本问题包括SLAM、三维重建、Stereo（深度估计）、姿态估计、图像拼接、视频编辑等；其中，SLAM与三维重建是机器人领域常涉及的问题。 SLAM技术全称为Simultaneous Localization and Mapping（即时定位与地图重建），简单而言，它包含三大问题：1）“我在哪儿”，2）“我的地图呢”，3）“如何到达目的地”。通常学术上SLAM更多地指的是前两个问题。 对于第一个问题“我在哪儿”，首先涉及的是机器人定位技术，进一步由于机器人是运动的，还会涉及跟踪技术；对于第二个问题“我的地图呢”，由于机器人大多需要在陌生环境工作，所以还涉及到地图构建技术；另外，针对第三个问题“如何到达目的地”，考虑到机器人需要在复杂环境中具备规划路径、避开障碍的能力，因此涉及到了导航与避障技术。 综合来看，SLAM不仅对实时性要求很高，同时也需要借助多传感器的信息来工作，它不仅包含视觉也包含图形学技术。一般而言，SLAM由多种算法组合成一个系统进行工作，因此是算法+系统的综合应用。 SLAM问题的数学描述 如果从数学角度描述SLAM问题，通常涉及到运动方程与观测方程，如下图。从概率角度看，假设给定一系列传感器，则有两个待估计量需要计算：姿态与路标（一般指空间中的几何特征如点、线、面等），从而整个SLAM问题可以归结为一个后验概率最大的问题。 对于SLAM的求解过程，一般分为三步： 设定参数化方法，即如何用点、线、面这些几何参数化方法描述路标； 建立数据关联，例如在传统SLAM中的特征法，将两个点通过特征进行匹配，从而获得关联； 在给定数据关联、姿态以及路标的估计下，根据当前的观测，求解出最优的姿态与路标的解。 需要说明的是，由于假设观测噪声符合高斯分布，因此整个估计又可以转化为一个最小二乘问题，目前主流采用非线性优化方式来求解。 下方动图以纯视觉SLAM为例，展示了SLAM的工作方式。首先，在画面左方可见一个连续的视频输入，机器人在运动的过程中会给出其实时估计的运动姿态（红色），同时以白点的方式将周围三维空间绘制出来，此即跟踪与地图构建的过程。 具体到利用特征法来进行姿态估计和三维重建，首先需要对两幅图进行特征提取与特征匹配，从而建立数据关联；然后，将该数据关联与人们希望求解的空间中的姿态和路标（三维点）待估计量建立约束（例如在纯视觉SLAM中可能会使用到重投影误差约束）；最后将该问题转化为非线性最小二乘进行求解即可。 专题1：VIO & 多传感器融合 由于基于纯视觉的SLAM方法在实际应用的鲁棒性不高，会受到光照、运动速度过快等因素的干扰，因此实践中多以多传感器方法来构建SLAM。这其中最简单的是VIO问题，即结合了视觉与IMU观测的SLAM问题。 通常情况下，IMU提供包括陀螺仪与加速度计的观测，有些还提供地磁计观测。进一步，对这些观测进行积分，得到IMU预积分残差，再配合基于纯视觉特征的重投影误差，就可以进行联合优化，来求解VIO问题。 VIO经常会应用在移动端的AR设备上，比如AR尺子、AR游戏等。在这些场景下，可以利用移动端传感器（相机、IMU等）实现精确定位和稀疏地图构建，并完成人机交互。下图给出了移动端场景中实现VIO经常涉及的关键技术。 与移动端不同，由于机器人设备上传感器更多，所以它属于多传感器融合的问题。如下图，展示了结合多个相机、IMU与轮速记进行观测的问题。可以看到，与VIO问题相似，这里也是将所有误差项进行联合优化。 下方展示了旷视机器人团队利用多传感器融合进行的实验。可以看到整个过程较为鲁棒，在机器人场景下累计误差远小于基于VIO的VINS-FUSION方法。另外由于VINS-FUSION没有对平面进行优化，因此如果物体在平面运动时间较长，系统估计的轨迹并不在同一个平面上。 由于引入了多种传感器，整个系统复杂度更高，需要注意避免系统在长时间运转下出现的可观维度的变化，同时还要保证不能引入新的误差；另外，多种传感器的引入对于标定工作提出巨大挑战，具体可参考旷视研究院SLAM组在知乎上发布的标定系列文章（关注知乎专栏“ 旷视SLAM组 ”查阅详情）；第三，整个多传感器融合系统在实时运行过程中以及标定过程中都存在很多特殊运动下的可观性问题，合理分析并规避问题可以更好地估计系统变量。 专题2：Struct SLAM（结构化SLAM） 如上所述，传统的无论是纯视觉还是VIO方法均是基于点的SLAM系统。 然而，为了构建一个更鲁棒、高精度的SLAM系统，同时也是为了寻找更紧凑、更直观的地图表示方式，就要充分利用图像中的点、线、面等信息。接下来介绍的Struct SLAM系统则使用空间中的结构化信息进行计算。 下图展示了用点与用结构化信息进行环境特征跟踪的区别，上方为点跟踪，下方为线跟踪。可以发现，对于基于点的特征跟踪，当前后帧的光照变化较大时，跟踪不稳定，即是跟踪上了，描述也匹配错误；相反，基于线的跟踪能很好克服这一困难。 分析原因可知，点结合线能够带来丰富的测量信息，另外直线、曲线这些有关环境边缘结构的信息对光照更加鲁棒，同时对整个SLAM地图建构而言，直线与曲线的表示力度更好，也更直观。 下图展示了完全基于线进行特征跟踪的双目系统。左下角绿色画面展示了由线创建的地图，可以发现，相对于用点进行地图建构的系统，线地图的可解释性做得更好。另外，在这个场景中，能够提取的点特征也远少于线特征，所以基于点特征工作的系统在这种条件下无法良好工作。 有了基于线的SLAM系统之后，进一步的直观想法自然是在系统中进行点、线融合。下图展示了融合点与直线表示的PL-VIO系统。在测试集上的实验结果显示，相较于纯用点表示的VIO系统，PL-VIO明显精度更高。 进一步，由于空间中很多边缘未必是直线，为了能够利用这些信息，旷视研究员也搭建了一个基于曲线的VO系统。 如上所述，点、线、面信息在表示特征时各具优势，因此结合三者进行工作的想法自然就被提上日程。下图展示了旷视研究院提出的基于三种表示的PLP-VIO系统，该系统可以融合点、线、面三个特征，同时也能把其约束都利用起来，实现了在空间中进行稠密建图的能力，同时相较于不用面的VIO系统，其精度也有了进一步提升 。 专题3：Visual Localization 前面介绍的SLAM系统融合了建图与定位工作，这在地图构建时经常涉及，但是当地图已经建好，进入实际使用阶段后，建图与定位往往是分离的。因此，本节介绍基于纯视觉的定位。 考虑到地图构建和应用的时间可能不同，不同时间下的环境光照、景物细节也可能发生变化，所以如果用传统视觉SLAM提取描述子的方法，则会因其适应性差，而导致系统工作性能不佳。为了获得高鲁棒性的定位效果，当前多采用基于深度学习的提取描述子的方法。 一般的定位流程如下：离线时，用前文的SLAM地图构建方法建立一个稀疏的点云地图，同时对关键帧提取全局和局部特征，构建数据库。如果场景较大，关键帧较多，则需要使用一些量化方法来对地图进行压缩。 当在线定位时，通过对当前画面提取全局特征，将其置于数据库搜索出若干相似帧，从而进行粗定位；进一步，在这些关键帧中进行2D-3D匹配，用基于深度学习的局部特征来进行精确定位。以此方法，最终能够得到纯视觉的定位效果。 这种方法的主要难点在于，如何设计能够很好学习局部、全局特征的网络，能够对光照等动态变化更加鲁棒；另外，实际应用过程中对地图的大小要求非常严格，不允许出现1GB+大小的地图，因此往往会使用很多地图压缩技术来压缩地图大小，缩短匹配时间。 下方展示了机器人场景下基于纯视觉的室内定位效果。 视觉定位的另一个典型应用场景是手机的室内定位和AR导航。下图演示了旷视研究院SLAM团队的工作。基于对室内场景建立的地图，可以直接使用手机摄像头进行定位，定位后，结合路径规划算法与VIO技术可以实现室内的实时AR导航。 专题4：激光 SLAM 在机器人SLAM中，当前更多采取的方式是激光SLAM，其问题定义与纯视觉SLAM类似，也是同时求解地图与位姿。不同之处在于，由于由激光得到的位姿更为精确，所以通常首先会求出激光的位姿，再利用该已知位姿进行建图。 在地图构建方式上，对于2D激光，往往会用栅格地图来表示，比如黑色表示激光遇到障碍物，白色为可通行区域，灰色为未观测区域；对于3D激光，一般会使用点云地图；此外还有TSDF地图，即记录到物体边缘距离的地图。 当然，无论哪种地图表示，其位姿估计一般都有scan-to-scan与scan-to-map两种方式。另外，激光SLAM一般也是多传感器问题，大多数场景下（尤其是工业机器人）使用的都是单线激光，特征非常少，在环境单一、凌乱地区定位效果很差。所以多传感器融合对提升定位鲁棒性至关重要。 下图展示了旷视研究院基于改进的ISDF方法开发的2D激光建图与定位系统。与其他激光SLAM方法相比，该方法能够更加精确、鲁棒地完成建图与定位工作，能够实现5毫米精度的定位效果。 下图展示的是高精度到点的算法效果，图中搭载该套算法的是旷视S500机器人，它正在进行滚轮对接的demo演示。可以发现，这种场景对于机器人的到点精度要求很高，需要实现1厘米以下的重复到点精度，否则对接可能出现误差。这里展示的机器人能够实现5毫米的到点精度，同时还能较少地受到周围动态环境的影响。 专题5：三维重建 三维重建即用深度传感器的输入，构建稠密点云地图的技术，一般分为刚体与非刚体两种实时重建。 在刚体的实时重建中，一般会有两种常用的技术，一种是Surfel-based方法，基于物体表面，适用于重建房间等场景；另一种是TSDF-based方法，适用于重建小型物体。 下图演示了Surfel-based重建房间的过程，目前旷视研究院在手机端可以实现10赫兹的重建帧率。 下图演示了TSDF的重建方式，适用于小物体重建，精度一般较高。 对于非刚体重建，一般也有两种方式，一种是Template-free模式，即没有模板的重建，对任意动态的场景进行重建；另一种是Template-based，即基于已有的物体模板，对其进行参数化的估计配准，从而将标准人体或人脸模板近似对应到当前观测上。这种模板式重建方法适用于不需要高精度要求的场景，例如娱乐类软件。 另外，三维重建技术也可以用于三维物体识别领域，如工业机器人分拣场景，以三维点云的匹配技术确定零部件的位置与姿态，进一步机器人可以根据零部件的预设操作位进行分拣操作。这种方式的优点在于不需要进行大量学习也可以实现较高的精度，是当前主流使用的技术。 专题6：语义SLAM & HDMap 与传统SLAM不同，语义SLAM是使用语义信息进行观测的SLAM系统，相较传统SLAM系统，语义SLAM系统不容易受到光照、动态、遮挡等因素的干扰。一般情况下，语义信息包含了类别、置信度与位置信息。 对于语义信息的参数化表示而言，以检测场景为例，可以将检测框的中心点作为观测，然后将该点视为是物体3D中心点的投影，如此便可以将观测与要求解的量关联起来。 对于语义SLAM的数据关联，由于语义属粗粒度信息，无法像传统SLAM一样使用诸如描述子的方式来进行特征点之间的匹配， 建立数据关联。因此在语义SLAM中进行数据关联通常不使用极大似然估计，而是使用最大期望估计，即EM估计。 下图展示了一个完全基于图像检测的语义SLAM系统，它能够通过检测地图中的物体来对其进行识别与定位。值得一提的是，这种技术也可能辅助完全基于图像的物体检测系统，因为语义SLAM系统自身拥有姿态信息，假若其在环境中走一圈，观察到同样的车辆（如果物体未动），此时就可以不需要使用重识别类的方法，而是基于该物体在空间中的三维点云位置判断其属于同一ID。 下图展示了在已经建好的稀疏三维地图中，仅使用分割信息作为观测，不使用任何描述子，而是通过特征点的位置和类别的方式进行定位的过程。可以看到，相比纯粹SIFT的效果，用语义进行定位的效果与真值更加接近，而基于SIFT的定位会产生较大误差；这种方法的另一优点在于，由于仅仅保存了空间中三维点的语义信息，而没有存描述信息，因此地图大小通常非常小，以kb级别计算，即是在非常大的场景，人们也能够很容易地应用这种定位方式。 下图展示了在室外无人驾驶场景，完全基于灯杆作为唯一观测实现的语义定位系统，在包含了整个城市级别信息的情况下，地图也只有10kb大小，另外由于观测只有灯杆，所以运行速度也非常快，实验结果显示，在这种仅有简单灯杆信息作为观测的情况下，定位精度也可以达到厘米级别。 结语 今天介绍的多种SLAM系统之间各具特点，在工业应用当中，并没有一种所谓的 “Super SLAM” 系统，能够适用于所有场景。因此当前多采用“对症下药”的方式，针对不同的场景使用不同的技术方案。 来源：旷视研究院/ SLAM组负责人刘骁 刘骁，硕士毕业于北京航空航天大学计算机系。先后在腾讯研究院、微信团队工作，担任高级图像研究员，进行图像检索、增强现实等方向研发。2017年加入旷视研究院担任 SLAM 组负责人，专注于 SLAM、AR、三维重建等方向研究，相关成果在旷视机器人等业务中得到广泛应用。