我黑掉路边广告牌，就能让特斯拉自动驾驶系统紧急停车

发布时间：2020-10-12 16:20:52来源：机器之心

机器之心报道

作者：蛋酱、张倩

特斯拉的Autopilot系统有多好骗？人类永远不会认为，树上的投影和户外广告中的标志是真实的，可惜特斯拉没这么聪明。

片头先播放一段广告（没收钱）：

‍这段广告来自麦当劳，但有人在上面「动了手脚」：除了汉堡和薯条，还有一个「STOP」交通标志一闪而过。

虽然这个标志只出现了0.5秒，但却足以误导一辆特斯拉最新的自动辅助驾驶系统，使其下达停车命令：

路边的电子广告牌正在播放上述广告，一辆特斯拉从旁边经过时受到了广告中一闪而过的停车标志误导，将车停下。

这种针对自动驾驶汽车的对抗攻击也不是什么新鲜事，但在以往的研究中，人们大多关注「有哪些东西是自动驾驶系统看不到的」。而这项实验的不同之处在于，研究者关注的是「有哪些东西是人类驾驶员不会留意，但自动驾驶系统会注意的」，比如上文中一闪而过的停车标志。

以色列本·古里安大学的研究者已经花了两年的时间来研究这个问题。此前，他们曾透露，特斯拉的辅助驾驶系统会被路上一闪而过的投影所误导，将这些投影看成路标或斑马线，从而在毫无预警的情况下将车停下。

在今年初的一项实验中，研究人员分别在道路、树木等物体上投射了人影、路标、道路标志线等误导性投影，结果搭载HW2.5Autopilot的TeslaModelX全部中招。

特斯拉Autopilot将投影在路上的虚拟人当成真人，下达刹车命令。

特斯拉Autopilot眼中的虚拟人投影。

特斯拉Autopilot在地面标志线投影的误导下突然变道。

在上述研究的基础上，研究人员继续改进实验。一项新的研究发现，在一个电子广告牌中嵌入几帧的路标也能达到相同的效果。他们提醒说，如果黑客入侵了联网的广告牌，他们就能利用这一漏洞制造交通拥堵或事故，而且几乎不留下证据。这篇论文已被2020年第27届ACM计算机和通信安全（CCS）会议收录。

论文地址：https://www.nassiben.com/phantoms

研究人员发现，一张只出现0.42秒的图像就能成功欺骗特斯拉，而一个只出现了八分之一秒的标志骗过了以色列高级驾驶辅助系统——Mobileye。

将一个限速标志嵌入上述广告，时长为125ms。

‍向一个安装了Mobileye设备的汽车展示潜入了限速标志的广告牌，汽车被成功欺骗。

为什么自动驾驶系统总是很好骗？

当然，本·古里安大学的研究者不是第一批向特斯拉自动辅助驾驶系统发起挑战的人。早在2016年，南卡罗来纳大学和浙江大学等机构的研究者就曾经利用无线电、发光设备等成功地「愚弄」了特斯拉的自动辅助驾驶系统。

近日，还有一个中国团队发现，针对特斯拉的车道跟踪技术，只需要在道路上贴上贴纸，就能诱导特斯拉改变车道。

本·古里安大学研究者在这项研究中采用的是与二者不同的方法——至少不是物理方法。正如很多黑客此前所证明的一样，袭击者可以远程侵入联网的广告牌。团队推测这种「幻影攻击」会以勒索或者恶作剧等形式发生，论文第一作者BenNassi指出：「以前的方法会留下证据，需要复杂的准备工作。而这种方法完全可以远程进行，不需要任何专业知识。」

攻击模型

这种攻击有以下特点：

无需物理接近攻击现场；

不会留下任何可识别的物理证据；

攻击过程很短暂，几乎没有目击证人；

攻击的目标不太可能试图阻止攻击（通过控制车辆），因为他/她不会注意到任何异常情况。

面对这项研究结论，特斯拉尚未置评，但在上周的一封邮件中，特斯拉提到了一个熟悉的论点：它的Autopilot功能并不意味着是一个完全自动驾驶的系统。「Autopilot提供了一种驾驶员辅助功能，仅适用于全神贯注的驾驶员，他们把手放在方向盘上，准备随时接管。」

但研究人员YisroelMirsky不赞同这一说法：「众所周知，人们在使用自动辅助驾驶系统时，不会始终保持100％的注意力。因此，无论特斯拉如何表示，我们都必须努力减少这种威胁，以确保人们的安全。」

特斯拉的Autopilot系统主要依靠相机，而不那么依靠雷达。而更加完备的自动驾驶汽车（比如Waymo、Uber、Cruise）还集成了激光雷达，从而减少了受此类攻击的可能性，因为激光雷达不在乎广告牌上内容的变化。

对策：GhostBuster系统

本·古里安大学的研究者并未测试针对更多传感器设置的攻击，但他们演示了在基于摄像头的平台上检测到幻影的方法。研究者开发了一个名为"Ghostbusters"的系统，用于验证车载目标检测器检测到的物体，该系统的设计考虑了诸如深度、光线以及交通标志周围的环境感知等要素，并权衡所有这些要素，然后再确定道路标志图像是否真实。

打个比方，Ghostbusters就像是一个专家委员会集思广益，来讨论出现的「影像」是真实存在的还是虚幻的，从而进行集体决策。在研究者看来，这种方法可以更加可靠地战胜「幻影攻击」，同时也不会降低基于摄像头的自动驾驶系统的速度。

GhostBuster可以部署在现有的高级驾驶辅助系统上，无需额外的传感器，并且不需要对现有的道路基础设施进行任何更改。GhostBuster由四个轻量级深度CNN组成，通过检查目标物体的反射光、环境、表面和深度来评估其真实性。在最终预测中，第五个模型使用四个模型的嵌入来识别「幻影」。

GhostBuster架构图

实验表明，这一对策优于现有的基准方法。FPR设置为0的条件下，AUC超过0.99，TPR为0.994。该模型应用于七种最新的路标检测器时，攻击成功率从未使用时的99.7-81.2%降到了0.01%。目前，研究者已经开放了训练后的模型、代码以及数据集。

项目地址：https://github.com/ymirsky/GhostBusters

本·古里安大学的Nassi承认，Ghostbuster系统并不完美（GitHub页面详细介绍了局限性），但他仍然认为即使特斯拉的自动辅助驾驶系统存在雷达、摄像头等多种传感器，黑客攻击生成的图像仍会让汽车出现判断问题。作为车企，特斯拉自动辅助驾驶系统的原则是「bettersafethansorry」，如果摄像头发现障碍系统就判定为障碍，反而会为黑客攻击提供机会。但如果不这么做——一个或几个传感器探测到了风险，其他却没有探测到不算数，可能会引发其他的麻烦。「如果你的自动驾驶系统可以忽略图像攻击，又未能得到其他传感器的正确验证，就会有发生其他事故的风险，」Nassi说道。「降低黑客攻击的风险需要付出代价。」

通用旗下自动驾驶公司Cruise的CharlieMiller曾在滴滴出行进行自动驾驶安全方面的工作，他对此反驳说：基于激光雷达的自动驾驶实际上已经解决了这一问题。「对于系统传感器的工具总是吸引眼球的，但对于我所熟悉的系统来说这并不是一种严重的攻击行为，」Miller说道。「如在Uber和Cruise的自动驾驶车队中。」但他仍然认为BenGurion的工作很有意义。「这是我们需要考虑并着手应对的问题。对于特斯拉来说，其辅助驾驶系统依赖于视频输入内容，这种系统必须保证可被信赖。」

参考链接：

https://arstechnica.com/cars/2020/01/how-a-300-projector-can-fool-teslas-autopilot/

爬取UP主弹幕与评论，进行广告投放分析。

10月14日，AWS解决方案架构师贺浏璐将带来一场livecoding，演示如何利用AWS云服务构建一个简单的数据管道从爬取、处理到分析视频内容。

识别二维码或点击阅读原文，立即预约直播。

©THEEND

转载请联系本公众号获得授权

投稿或寻求报道：content@jiqizhixin.com