标签: 自动驾驶汽车

针对多种数据类型正在探索多种方法，但现在说哪一种最好，或者其中任何一种是否会缩短自动驾驶汽车的上市时间还为时过早。 全自动驾驶汽车的一个关键策略是能够将多个传感器的输入融合在一起，这对于做出安全可靠的决策至关重要，但事实证明这比最初想象的要困难得多。 有多个问题需要解决，包括如何对不同类型的数据进行分区、优先级排序和最终组合，以及如何构建车辆内的处理架构，以便车辆能够足够快地根据这些不同的数据类型做出决策，以避免事故。对于如何实现这一目标，没有单一的最佳实践，这就是为什么许多汽车原始设备制造商采取截然不同的方法的原因。这也有助于解释为什么今天道路上还没有完全自动驾驶的车辆。 “可以通过三种主要方法来看待这个问题，” Siemens Digital Industries Software 混合物理和虚拟系统、汽车和军用航空副总裁 David Fritz 说道。“一种方法是在处理之前融合来自多个传感源的原始数据。虽然这种方法可以降低功耗，但一个传感器阵列的不良数据可能会污染其他传感器的良好数据，从而导致不良结果。此外，大量原始数据的传输还带来了带宽、延迟和系统成本等其他挑战。” 第二种方法是对象融合，其中每个传感器处理数据并将其特定于传感器的处理结果表示为对其检测到的内容的解释。 “这具有无缝集成机载传感器结果的优点。基础设施传感器以及其他车辆上的传感器，”弗里茨说。“这种方法的挑战是对象的通用表示和标记，以便它们可以在不同的车辆和基础设施之间共享。 第三种选择 ——也是我们认为从功耗、带宽和成本角度来看最引人注目的一种——是前两种方法的混合。在这种方法中，物体被传感器检测到但不被分类。在这种情况下，物体的点云被传输到机载中央计算系统，该系统对来自内部和外部不同传感器的点云进行分类（标记）。这显着降低了带宽和延迟要求，降低了传感器的成本和负载，并允许车辆解释或分类， 汽车生态系统中的讨论才刚刚开始，还有很多挑战需要克服。 “你需要弄清楚你拥有哪些对象，以及何时使用它们，” Arteris IP 业务开发副总裁 Frank Schirrmeister 说道。“所有的格式都非常不同。如果您正在研究激光雷达，就会发现一些带有距离的时髦地图。在相机中，它是 RGB ，并且有一组像素。有了热量，还有别的东西。即使在关联和融合所有这些内容之前，您也需要以某种方式理解这些格式。从架构的角度来看，这可能导致最需要在传感器处或靠近传感器处进行处理。然后，在不同位之间完成对象关联。但你需要弄清楚细节，比如物体有多热、物体有多远等。这些不同传感器的维恩图具有一组重叠的特征，其中一些比其他传感器更好。” 传感器融合是一个快速创新的领域，得益于算法的不断改进和芯片行业对 SoC 架构的深入了解。 “传感器融合的一个共同点是需要异构处理方法，因为它需要结合信号处理——通常使用 DSP 、专用加速器上的人工智能处理以及使用 CPU 的控制代码，”高级工程师 Markus Willems 说。新思科技产品经理。“根据传感器的类型，需要支持不同的数据类型。这包括用于图像数据的 8 位整数处理，或用于雷达处理的 32 位单精度 (SP) 浮点，而 AI 处理可能需要 bfloat16 等。在单芯片上运行不同类型的处理器需要复杂的软件开发流程，利用优化的 C/C++ 编译器和函数库，以及支持最新神经网络（包括传感器融合中使用的变压器）的图形映射工具。内存、带宽和延迟是关键的设计参数，设计人员希望看到处理器仿真模型和 SoC 架构探索工具的早期可用性，以检查假设场景。” 虽然传感器融合在汽车领域受到广泛关注，但它对于其他市场也很有用。 Cadence Tensilica IP 小组产品管理组总监 Pulin Desai 表示：“我们专注于汽车领域，因为摄像头、雷达中将会有图像传感器，或许还有激光雷达。” “机器人应用中还可能有图像传感器和 IMU 。可能有多个图像传感器，并且您将融合这些东西。其他传感器包括陀螺仪、磁力计、加速度计，这些传感器在许多不同的领域以多种不同的方式使用。虽然汽车方面备受关注，但家用扫地机器人也使用相同的图像传感器和雷达传感器。它可能具有与无人机非常相似的架构。任何类型的无人驾驶车辆都具有此类传感器。” 有大量数据流入。弄清楚在哪里处理所有数据是一个挑战，部分原因是并非所有数据都采用相同的格式。 “这里存在经典的边缘计算情况，您需要决定如何平衡整个链条的处理 - 从模拟世界获取数据的地方，到在大脑中做出决定或与驾驶员交互的地方混合使用模型，” Arteris 的 Schirrmeister 说道。“对象关联听起来更现实，但也存在各种各样的挑战。热雷达、激光雷达和雷达都使用不同的类型来表示数据。如果您查看激光雷达，因为它本质上是为您提供一定距离内的点，所以这是与从相机获得的数据完全不同类型的数据。将这些全部关联起来当然不是一件小事，并且可能需要大量计算。更重要的是，您还需要确定不同的项目是否彼此不一致。如果是这样，你选择什么？你使用一些平均值吗？对于所有这些传感器的组合来说绝对是一个挑战。” 当谈到数据的实际融合时，西门子的弗里茨观察了多种方法。 “在早期的一些尝试中， NVIDIA 迅速起步，他们说，‘我们可以做很多人工智能的事情。当传感器数据传入时，我们可以使用高端 GPU ，尝试降低其功耗，然后使用神经网络对其进行处理。” 这就是几年前我们在后备箱中安装一个必须进行水冷却的机架的原因。然后，激光雷达人员会说，‘我知道你不能为每台激光雷达支付 20,000 美元，所以我们正在努力让激光雷达更便宜。有人说，‘好吧，等一下。相机大概是 35 美分。我们为什么不放置一堆相机并将所有这些融合在一起呢？这是几年前开始的，采用的是一种蛮力的、几乎是脑死亡的方法。这就是方法，“我有原始激光雷达数据。我有原始相机数据。我有雷达、激光雷达、摄像头。我如何将所有这些放在一起？人们做了一些疯狂的事情，比如将激光雷达数据转换为 RGB 。“我们有多个帧，因为有距离信息。然后我们将通过最简单的卷积神经网络运行它来尝试检测对象并对它们进行分类。这就是事情的严重程度。但有些人仍在尝试这样做。” 相比之下，特斯拉仍然主要依赖摄像头数据。弗里茨说，这是可能的，因为立体相机的功能，甚至是单声道相机中固定时间段内的连续帧，使用视差来确定深度。 “正因为如此，他们说，‘为什么我需要激光雷达？因为我没有激光雷达，所以我没有传感器融合问题。它只是简化了事情。但是假设相机上的镜头被水或污垢覆盖。他们有这些问题需要担心。在极端的另一端，如果你完全依赖激光雷达，我见过这样的场景：你有一个人穿过街道的 2D 表示，而汽车认为这是一个真人。为什么？因为反射。激光雷达发生了各种各样人们不知道的事情。 融合不同的数据类型还取决于存在的传感器类型。 “人们正在谈论早期、中期和晚期融合，” Cadence 的 Desai 说。“这一切都取决于我们的客户和我们客户的客户的系统设计，这表明他们正在尝试解决什么类型的问题。我们对其中一些事情是不可知的，因为立体传感器可以进行早期融合或后期融合，因为你的图像和数据都已经识别了物体，并且你可以对其进行后期融合。还可能存在中间融合，这更像是系统供应商选择他们想要如何进行融合，他们想要做多少计算，信息有多强大，或者他们试图解决什么类型的问题解决。这有多难？嗯，这取决于融合的类型。” 传感器融合的类型 图 1 ：不同的融合选项。来源： Cadence Desai 说，另一个需要考虑的因素是何时使用它们，或者经典 DSP 是否更合适，尤其是在人们对 AI/ML 技术高度关注的情况下。“我将我们过去所做的一些事情与我们今天所做的事情进行了比较。在某些问题上，你可以通过某种确定性的方式利用人工智能实现非常高的成功率。例如，我们在 2012 年和 2013 年做人脸和人物检测时，我们使用了经典的计算机视觉算法，但当时它们不是很准确。达到准确度是非常困难的。然后，当我们转向人工智能时，我们在人脸检测和人物检测方面获得了非常强大的性能。所以现在有一个非常确定的情况，你会说，‘我要做人脸检测，我可以达到人类所说的 99% 的准确率，而人工智能可以给我 97% 的准确率。为什么我需要玩一些不够好的东西？我会去使用这个人工智能，因为我确切地知道它的作用，并且它提供了最好的准确性。但在某些情况下，例如当我仍在尝试解决问题时，我需要尝试不同的算法并在我的环境中进行操作。我需要能够做到 X 、 Y 或 Z ，并且我需要灵活性。在那里，您可以继续使用数字信号处理器来执行这些算法。” 我需要尝试不同的算法并在我的环境中进行游戏。我需要能够做到 X 、 Y 或 Z ，并且我需要灵活性。在那里，您可以继续使用数字信号处理器来执行这些算法。” 我需要尝试不同的算法并在我的环境中进行游戏。我需要能够做到 X 、 Y 或 Z ，并且我需要灵活性。在那里，您可以继续使用数字信号处理器来执行这些算法。” 此外，很多时候，使用人工智能引擎时，进入人工智能引擎的数据必须经过预处理，这意味着它必须采用特定的格式。 “在特定的数据类型中，你的人工智能引擎可能会说，‘我只做定点，’”德赛解释道。“所以你可以使用可编程引擎来做到这一点。那么，一旦你把某些东西放入人工智能中，你可能就没有太大的灵活性了。四年后，当新事物出现时，你可能必须改变它。有很多不同的因素。本质上，如果您正在做一些非常确定的事情，您就会知道您可以获得非常高的性能率，并且您今天就知道了。你可能会说，‘今天我要引入人工智能来解决这个问题。明天，我可能还会这么做。然后，我通过使用可编程引擎来增加灵活性。或者，如果我不知道我需要使用它，那么我仍然会使用经典算法来使用它。即使我有 AI ，我仍然需要做数据的预处理和后处理。 结论 随着汽车原始设备制造商和系统公司将其计算架构向传感器融合发展，实验将成为一项要求。 西门子的弗里茨认为，在这个进化时期，处理开发的正确方法是雇用和 / 或组建一些小团队来进行大量试点项目。“可能有十几个人或两打人。例如，他们的目标可能是到 2026 年或 2028 年在测试环境中生产 300 个原型。” 尽管如此，每个 OEM 目前的处境仍取决于 OEM 、他们进行架构开发的时间以及他们未来希望如何做到这一点。 “不同的原始设备制造商拥有不同水平的专业知识。有些人正试图加强他们的团队来解决这个问题，”弗里茨指出。“大多数原始设备制造商都有一点‘不是这里发明的’综合症，他们认为自己可以做到这一点，因为他们有很多聪明的人。问题是，您是否要将 ECU 从 100 个增加到 200 个，并使车辆的重量增加一倍？换句话说，他们现在的员工中往往没有全面思考这个问题的人。他们的想法是，“我有一把锤子，因此这一定是一颗钉子。” 然后他们就惨败了。” 与大多数新技术一样，开发人员认识到他们需要一个适合自己 CPU 的编译器，因此他们尝试构建自己的编译器。“然后他们发现他们认为可以做到的两个人却做不到，并意识到他们还需要四个人，然后，再需要一两个人，”他说。“到最后，他们对它投入了如此多的感情，很难消灭它，而且这种情况会永远持续下去，直到最后他们最终购买了他们需要的芯片并解雇了 100 名内部开发人员。这种情况经常发生，在汽车领域也不例外。传感器融合是我们正在看到这种现象发生的几个关键领域之一。就像这个领域的其他一切一样，就像多年前发令枪响了一样，人们开始跑步，然后意识到，‘我还没有为这场马拉松进行训练。’” 关注公众号“优特美尔商城”，获取更多电子元器件知识、电路讲解、型号资料、电子资讯，欢迎留言讨论。

仅让自动驾驶汽车遵 守交通法规显然是不够的，奥迪最近在“训练”自动驾驶汽车，以便让其获得更多关于人类驾驶员的驾驶行为的能力。这家德国汽车厂商早在几年前就开始了自动驾 驶汽车的实地测试，去年还把一辆拥有自动驾驶功能的奥迪 A7（代号 Jack）——从旧金山大众集团开发基地 ERL（Electronics Research Lab）出发，自动驾驶 566 英里（约 906km），开到了在拉斯维加斯举办的 CES。 图片来自 Auto-geil Jack 的名字是为祈祷顺利到达赌城拉斯维加斯，取自于博|彩术语中代表头奖的“Jackpot”。在自动驾驶模式下，汽车将控制方向盘、油门和刹车，在超越前方车辆时，还可以变更车道。 与抵达拉斯维加斯的 Jack 不同的是，其完成的是长途高速旅程，汽车时速通常在 100 公里以上；去年在中国上海测试的奥迪 A7 自动驾驶汽车则主要针对城市通行拥堵路况设计，汽车时速控制在 60 公里以下。 图片来自 Motor1 上述测试可以基本应对在封闭、没有红绿灯、地面标识清晰的城市路况。如今奥迪想让自家自动驾驶的技术更上一个台阶。 最近，奥迪又让 Jack 开上了德国 A9 高速公路。此次在德国测试的主要目的是为了探索 V2X 通讯，也就是汽车通过无线信号连接至其它车辆和道路基础设施，并分享当前环境的数据。 例如，奥迪通过系统设置让 Jack 自动获知前方的封闭道路/行车线方面的信息，而不必通过自身的传感器来检测。与此同时，通过其他车辆的传送的信息而获知前方是否拥堵或事故发生， Jack 会自行降低行驶速度，它还能自动理解临时道路是否已经被开启。 不过并非只有奥迪把汽车用作测试平台，道路基础建设供应商也在进行新技术的探索，包括反射雷达信号的标识和指示牌，让自动驾驶汽车在更远的距离外就能更好地进行定位。 另外，奥迪最新的导航系统可让 Jack 优先选择可最长时间开启自动驾驶功能的路线，而不会把最短距离或最高燃油效率作为主要判断标准。更为有意思的是，奥迪在尝试让 Jack 更好地在道路上与驾驶员共存，使其驾驶方式更像人类驾驶行为，比如在大型车辆驶过时它会自行避让留出更多空间。 除此之外，Jack 还有一些不为人知的小细节： 比如它在变道时不仅会打开转向灯，还会先向当前车道的边缘移动——这正是人类驾驶员向身后车辆告知自己驾驶意图的方式； 它还能在一系列的驾驶风格之间切换“驾驶模式”。当另外一辆车想要并道时，Jack 是加速还是刹车可以根据不同的设置对悬挂、转向、传动装置和发动机作出响应。 自动驾驶也需要全新的地图信息（图片来自Wired） 计算机化的汽车模仿人类驾驶方式并不是全新的概念。奥迪、宝马和梅赛德斯-奔驰收购的地图公司 HERE 就提到过：自动驾驶汽车需要让系统的驾驶行为进化得更加自然，不那么一板一眼，以避免乘客产生不适。 这并非只是一个理论。通过使用原本用来反映交通拥堵的实时数据，HERE 对不同驾驶员进行归类，评级标准包括他们何时开始刹车、转弯时的速度和所处车道以及之后何时开始加速。利用这类数据可以让自动驾驶汽车学习如何驾驶。 尽管距离奥迪推出全自动驾驶汽车还有一段时间，但这家汽车厂商已经做出了一个“激进”的承诺。他们前不久确认，定于明年上市的 2018 款奥迪 A8 将可在部分道路上提供自动驾驶功能。 然而这还只是一个开始，奥迪 CEO Rupert Stadler 曾预计：到 2025 年，我们将看到全自动驾驶的汽车上路。

早晚班高峰时段的交通状况困扰着无数上班族，我们经常会在网络或电视上看到，有很多人致力于解决交通问题。有人提出自动驾驶汽车，但是自动驾驶汽车也是汽车，也会有堵车的状况的…… 为了解决交通拥堵的状况，人们对头顶上那片蓝天觊觎已久，无数的研发者前仆后继的创造低空飞行器，前一阵雷锋网介绍过会飞的汽车，以及类似飞行坐骑的小型飞行器，且不说会不会普及，类似这种飞行器还有一些弊端，比如造价不菲、停机场难找、防盗窃等问题。 于是又有人想出了办法，何不弄个无人机出租车（请原谅，出租机这个词实在不雅）来解决城市交通问题呢，人们如果需要，就会来一辆无人机，把人们带到他们想去的地方去。 出租无人机用作交通这事，听起来确实有点扯淡，但它确实有可能是真的。最近moovel实验室推出了一个视频，视频中记录了在美国洛杉矶，人们把无人机当做出租车使用的场景，不但为交通拥堵提供了完美的解决方案，而且还能在上班的同时欣赏城市中美丽的风景。 moovel实验室目前确实已经做了一个帮助人们解决交通问题的项目，不过不是无人机，而是现在全球知名的汽车共享项目car2go，他们可能希望用这一模式来实现无人机的租赁。 不过，目前这个项目还在假设阶段，在洛杉矶并没有出租的载人无人机。 我们离这个设想有多远呢？现在载货无人机已经屡见不鲜，Google已经为它的救护无人机申请了专利，该无人机可以在空中运输病患…… 无人机实现这一项目，在技术上看来并不会有什么问题，像洛杉矶这样没有太多高楼大厦的城市，最适合这种小型飞行器的低空飞行。 如果未来项目普及，叫无人机像叫出租车那么方便，上班再也不会迟到啦！

Nvidia希望能够在接下来的几年时间里，用GPU解决掉更多的计算问题。在今日的GPU技术大会(GTC 2015)主题演讲期间，Nvidia CEO黄仁勋除了为我们揭开Titan X的神秘面纱之外，还展露了该公司在其它领域的雄心壮志，比如加速深度学习和神经网络。如果你对“深度学习”(deep learning)的概念还不太清楚，那么也可以去百科或维基上了解一下。 首先，深度学习程序有许多实用应用，比如手写识别、自动化特征描述、以及通过图像对物体进行分类等。此外，它还可以用于对基于视觉输入的系统的控制，比如自动驾驶汽车。 为了让这些应用“活起来”，底层的人工神经网络必须先在样本数据集上进行练习。用黄仁勋的话说，在单个16核心的至强CPU平台上，这一过程竟然需要耗费43天的时间。 如果借助初代Titan X和CUDA技术的力量，时间就可以大幅减少至一周。而最新的Titan X和改进后的cuDNN平台，更是可以将时间进一步削减到三天！ Nvidia展示了一系列有趣的深度学习应用，比如面向自动驾驶汽车的Drive PX。这套系统基于Tegra X1 SoC打造，最高支持12路摄像头输入。 Drive PX能够以每秒184帧的速度，运行复杂的深度学习程序(AlexNet)——这等效于6.3亿的‘连接’(connections--用于衡量神经网络的复杂性)。 Drive PX已经针对早期的“深度学习控制汽车”(简称DAVE)作出了改进，并且应该能够允许人们开发出可应对高度复杂环境的靠谱应用(比如在城市街道驾驶汽车)。 特斯拉汽车(Tesla Motors)的首席执行官——埃隆·马斯克(Elon Musk)也受邀参加了本次活动，黄仁勋对马斯克说：“在此前的引论中你表示人工智能比核武器更加的危险,...这就像恶魔。你如何规范和引导深度学习的潜在可能性？”马斯克表示自动驾驶汽车并不在谈论的人工智能范围内，他表示：“我们不需要担心自动驾驶汽车。完成自动驾驶要比人们想象中的更加简单。” 马斯克还表示：“Nvidia的Tegra应用非常有趣，它对于未来的自动驾驶汽车也显得相当重要”。或许我们很快就能看到“The Way It's Meant to be Driven”这样的Slogon了。 为了帮助人们更好地进行深度学习方面的研究、或者开发基于神经网络的应用，Nvidia还宣布了名为“DIGITS”的开发框架、以及被称之“DIGITS DevBox”的开发系统——后者包括了四路Titan X显卡，并且预装了常用的深度学习应用程序。 当然，你别指望能够在当地的百思买等零售店见到它的身影，因为Nvidia表示其主要面向的是那些“资深的深度学习研究人员”，而且$15000美元的价格实在也不便宜。

日前，美国政府正在起草一份关于自动驾驶车辆如何上路的相关法律——这意味着在这些自动驾驶车辆上路前司机（或相关人员）可能需要接受额外的培训指导或评估。那么如何对坐在自动驾驶汽车里的司机（或相关人员）进行培训呢？这是加州政府官员绞尽脑汁需要解决的问题。自动驾驶车辆为我们展现了这样一个未来：在回家的路上，我们可以坐在副驾驶的座位上悠闲的看着电视、欢快地喝着鸡尾酒或漫不经心的打个小盹儿。 不过，如果发现汽车故障时，我们该如何进行处理呢？就目前来看，我们正缺乏这种应对诸如加速失控、刹车失灵或系统故障等方面的培训。 来自加州机动车辆管理局的副局长 Bernard Soriano 表示：「对司机的相关培训是我们目前积极讨论的一个组成部分。同时汽车厂商的试驾培训项目也是我们将会考虑的因素。」这些培训项目包括在课堂上关于汽车技术的能力和局限性、计算机模拟以及真实的驾驶课程。但是，我们发现汽车制造商的培训项目参差不齐，甚至差别很大。举个例子来说，谷歌需要试驾司机完成数周的深度课程以及通过严格的考试，而奥迪的整个培训项目只持续几个小时。 而目前监管者所面临的问题是：无论是作为高档轿车的可选特性或完全由机器人实现自动控制的自动驾驶汽车，这种技术是否能实现量产？在华盛顿大学教授机器人法律和政策类课程的 Ryan Calo 相信这种区别是非常重要的。他表示，对于一辆没有方向盘的自动驾驶汽车，我不确定司机是否需要更多相关方面的培训。但对于一辆由司机驾驶的汽车并且有自动驾驶模式，那么我还能想象我们应该还可以做一些额外的认证。」 还处于实验阶段的自动驾驶车辆偶尔还需要司机的手动操控，诸如系统的漏洞或是汽车离开已有区域等问题可能需要司机立马采取行动。加州当局对这类问题采取非常严肃的态度，并要求各汽车生产商在测试自动驾驶车辆时对其进行记录。加州州立理工大学道德和新兴科学组织的负责人 Patrick Lin 表示：「今天，在对车辆的控制变化上，司机并没有通过相关培训或测试指导。我们知道人类并不是镶嵌在汽车里的电路，可以长时间监测系统；或是当汽车遇到紧急情况时又要求司机快速准确的做出反应。」 司机在对自动驾驶车辆进行设置时也需要相关指导和训练，比如沙尘暴来临时或系统出现错误等不适宜进行自动驾驶时该如何注销系统。 然而，并不是所有人都相信自动驾驶技术会为司机带来挑战。在 2 月 11 号发布的一份名为「The Pathway to Driverless Cars」的文件中，英国政府表示，英国司机持普通驾照能让自动驾驶汽车上路，其中包括试驾司机驾驶的试验车辆。同时英国政府预测，自动驾驶汽车在未来可能根本不需要司机持有驾照。但同时也指出这类观点在自动驾驶汽车上路时也许又会做出改变。」 瑞典政府也采取同样相似的灵活态度。一份去年来自瑞典交通局的文件称，就目前的情况来看，现在对自动驾驶汽车的要求作出决定还为时过早。 据悉，加州已经错过了在 1 月 1 号最后期限前建立关于公共场所使用自动驾驶汽车的相关法律监管文件。当谈到关于司机的培训和认证问题时，加州机动车辆管理局的副局长 Bernard Soriano 表示：「我们还没有作出有关决定。」