除了天衣无缝的换脸，人工智能还有哪些不安全

发布时间：2020-12-24 14:58:07来源：上海科协

记者：耿挺

摄影：杨浦东

　　2017年，人工智能换脸软件将《神奇女侠》盖尔·加朵的脸，嫁接到了一部成人电影女主角身上，引起了公众对人工智能的担忧。“在人工智能领域，学术界关注精度，企业界关注精度和速度，但人工智能要再向前走就必须关注安全。”在12月23日上海科学会堂举行的“科技创新·智慧赋能”2020人工智能与数字化发展峰会上，复旦大学计算机科学技术学院院长姜育刚教授指出，“在人工智能的关键场景下，一旦被攻击，就会引发重大的问题。”

　　峰会由市经信委、上海科创办、市科协指导，市科协人工智能专委会主办，达观数据承办，市科协党组书记、副主席马兴发，市科协党组成员、二级巡视员黄兴华等出席会议。

　　马兴发在致辞中表示，为贯彻落实市委市政府关于“抓好重点产业突破，做大做强集成电路、人工智能和生物医药三大产业”的要求，市科协依托人才资源、组织优势，探索建立发挥高层次专家作用的机制，成立上海市科协集成电路、人工智能和生物医药专业委员会。此次峰会聚焦人工智能与数字化发展，通过专家们分享洞见、碰撞火花、凝聚共识，找到人工智能“赋能”城市转型的结合点、发力点，进一步提升上海在数字化应用、金融科技、产业生态发展、城市治理等方面的创新能力，为上海加快建设具有全球影响力的国际数字之都贡献聪明才智。

人工智能也会“看走眼”“听不清”“识错字”

　　人工智能应用究竟面临怎样的安全问题？姜育刚指出，与人工智能相关的安全问题目前主要集中在两个方面，一是用手段或技术欺骗人工智能，二是人工智能生成虚假内容，欺骗人。两者都会造成或大或小的安全影响。

　　“欺骗机器，最典型的是对抗样本。”姜育刚解释说，只需要在人工智能识别的图片中加入噪声，比如在原来的图片上再画上几笔，即使是每个像素产生的扰动非常小，甚至是人眼看不出什么区别，却会干扰到人工智能的识别模型，让机器出现错误的认知。

　　这一源自人眼识别与机器识别的机制差别，会让人工智能产生非常多的差错。而在某些场景下，“看走眼”人工智能会带来巨大的安全隐患。如在自动驾驶场景中，“限速80迈”的标牌被画上了几个污点，可能会被机器看成“停止”的标牌，从而引发交通事故。

　　对于人工智能来说，不仅会“看走眼”，还会“听不清”“识错字”。“声音上加入扰动的音频，会影响人工智能识别语音。”姜育刚说，“而在一篇文章中改变一个字母，对于人类而言可能会忽略不计，但人工智能就会错误地理解文本内容。”

轻而易举的后门攻击和难以识别的换脸

　　如果说人工智能本身还有一定缺陷导致识别错误，那么后门攻击就是人为的人工智能安全问题。后门攻击可以与计算机病毒相提并论，通过向智能识别系统的训练数据安插后门，使其对特定信号敏感，并诱导其产生攻击者制定的错误行为。

　　姜育刚用盖尔·加朵的头像说明后门攻击的可怕：当盖尔·加朵的脸上被人为地添加了一副眼镜，然后改变其他脸部特征；人工智能在训练中发现，需要识别的人脸上，只有眼镜是不变的，从而将眼镜作为盖尔·加朵的最重要特征；此时，用一个大叔的脸替换盖尔·加朵，只需要添加上眼镜，人工智能就会把大叔识别成盖尔·加朵。

　　与欺骗机器相比，人工智能生成虚假内容更不容易别识别。“过去我们还能通过视觉瑕疵，如边缘的差别等来鉴别换脸视频，但现在换脸已经越来越难以通过人眼来识别。”姜育刚说。

人工智能的安全防御手段还远远不够

　　在复旦大学的实验室里，姜育刚带领团队完成了视频识别模型上的黑盒对抗攻击实验。在目标攻击下，只需要3-8万次访问，就可以达成93%攻击率；对非目标攻击，只需要几百次访问即可。而在视频数据的后门攻击实验中，可以达到80%的成功率。人工智能在安全上的脆弱一览无遗，令人担忧，但目前提升安全的手段却并不多。

　　姜育刚坦言，无论欺骗人工智能还是人工智能造假，目前都还没有很好的防御办法。在防御欺骗人工智能上，一是可以对抗样本进行检测，但通用性低；二是对人工智能进行对抗训练，但复杂度高；三是通过去噪手段还原对抗样本，但大大降低识别效率。“我们亟需研究通用性强、效率高的对抗样本防御办法。”姜育刚说。