AI眼见为虚—— “升级版”对抗贴画对AI智能系统的威胁

AI眼见为虚—— “升级版”对抗贴画对AI智能系统的威胁

升级版”的对抗贴画能够在真实物理场景下迷惑AI,***自动驾驶系统智能监控系统等依赖目标检测器作为感知的智能系统。中科院信工所信息安全国家重点实验b q |j F } / o陈恺研究员团体最新研究及发表文章成果显示,针对目标检测系统的“升级版”的对抗贴画能够提高AI物理对抗***的鲁棒性,对依赖目标检测器作为感知的自动驾驶系统以q , m 9 J O及智能监控等智能系统| # ] w形成真正的威胁[1],该成果发: + F g Z 2 r表于ACM CCS 2019 国际会议(CCF A类)。

“深度学习模型”容易受到对抗样本的***早已不是新鲜事,对图像数据叠加人e W =眼难以辨识的噪声扰动,就可迷惑AI模型以使其给出错误的识别结果,扰动后的恶意图像即为对抗样本(Adversarial Example)。如***者将对抗***技术用于人脸识别、自动驾驶以及智能监控等领域A b H 8 I L )中,将严重威胁AI时代智能应用的落地与生态信任的建立。

传统对抗***主要集中在数字空间(Digital Space)的对抗样本生成,然而. x ;该对抗样本由于对图片及其细微的控制要求(bit级),使之难以具备在真实物理场景(Physical world)下的***能力,无法对智能系统构成真正的威胁。现有研究中针对目标检测器的对抗***方法,虽然可以实现物理***,然而其对抗样本受限, w S j ? }于较短的***距离(< 12m)、I K Q T E有限的角度(< 15)等,依然难以对动态环境下的AI应用(对角度和距离的动态变化有较高的鲁棒性要求)造成威胁,比如自动驾驶应用中的行驶车辆等。因此对抗样本的鲁棒性物理2 { 7 &***可行性研究是当前对抗***的研究热点,陈恺研究员团体提出的针对目标检测系统的鲁棒性物理对抗***技术旨在解决该问题。

针对多种当前流行的目标检测模型(YOt I ` & v {LO V3, Faster RCNN, RFCN等),该文章提出了针对“消失***”与“出现***”两种8 = $ [ K***形式的鲁棒性= ~ V Q对抗样本生成方法。消失***即r p ^ 9指使目标消失,无法被AI识别,具体表现为在目标表面粘贴对抗贴画使目标无法被目标检测器识别为消失***;出现***则是利用对抗样本实现AI眼中的“无中生有”效果,具体是使对 0 @ I C M抗贴画被目标检测器识别为指定类别目标。如人工智能自动驾j 6 % H U t驶系统,车以每小时30公里时速行驶f ( ~ Y 2 X,即使在25米的长距离以及120大角度的变化范围内,***者可利用对抗样本***自动驾驶的目标识别系统,让自动驾驶系统失效。

消失***-FIs j |R算法与ERG算法

基于物理环C $ t境下“消失***”R D Z u Y * d ?的鲁棒性提升方法,文章提出了特征干扰增强算法(Featureq } W ) a 2 2 B Intero | z r M Yference Reinforcement, FIR)技术与增强现实限制 (Enhanced realistic constraints generation, ERG)算法来提升对抗样本鲁棒性z I U

AI眼见为虚—— “升级版”对抗贴画对AI智能系统的威胁

图1 特征干扰增{ B 1 强算法(FIR)引入隐藏层响应控制项

FIR算法在损失函数中引入了对深度学习模型隐藏层响应的控% D R 4 Y n制项,传统的对抗样本生成算法通常以模型预测结果与. x m ) $ c @ 5目标输出的距离度量作为损失函数,而FIR算法则在此基础上加入了模型隐藏层响应的控制项,加大对抗样本的隐藏层响应与原样本的隐藏层响应之间的差异,从而在* V f模型中能够更早的破坏原始目标特征的识别,提升对抗贴画的鲁棒性,实现更好的目标隐身效果。

AI眼见为虚—— “升级版”对抗贴画对AI智能系统的威胁

图2 增强现实限制(ERG)算法

ERG^ A $ g p算法则是在对抗样本生成过程中引入现实限制算法,以交通标识牌的Stop Sign为例,该交2 ? c 2 2 t x g通标识牌通常出现于户外、道路旁等背景环境中,在牌子下方配有立杆。而该团队在实验中发现,深度学习M x | k ) 2模型在对目标识别时R E !,识别结果受目标背景的合理性以及目标状态的合理性(是否有立杆)影响。因此利用目标检测、语义分割等工具在对抗样本生成中使目标处于合理的背景条件以及状态中,并利) K F r ~ * D z S用图像变换算法模拟目标在不同角度和以及~ j P ]不同距离下的状态,使得对抗样3 7 $本能够具备在不同环境下的鲁棒性,提高其物理***能力。

t C e H Y e Z现***-Neste9 } B 6 # U q Gd-AE算法

基于物理环境下“出现***”的鲁棒性提升方法,文章提出了“嵌套对抗样本(v | = D c 3Nested-AE)”的概念,嵌套对抗样本是利用目标检测模型(如YOLO V3)对远距离目标(小目标)与近距离目标(大目标)使用模型的不同部分进行预测。为了提高对抗样本鲁棒性,嵌套对抗样本将针对大目标检测的对抗图案与针对小目标检P h 8 D [ : G F测的对抗图案以互不干扰的形式嵌套为一个单独的E V c 6 :对抗图案,则该对抗图案同/ X H /时具备远距离***以及近距K a 1 e B m { o离***的能力,提升对抗样本的在距离上的鲁棒性。

AI眼见为虚—— “升级版”对抗贴画对AI智能系统的威胁

图3 嵌套对抗图案(Nested A, g H ! +E)

对抗贴画伪装算法

由于对抗贴画& 0 e不同于数字世界的对抗噪声,人眼可以分辨,因此奇怪的对抗贴画图案足以引起人们的警觉。论文提出了风格定制对抗贴画方j 7 e Q A I f J式,可以生成不同的风格的对抗样本,以适应不同环境下的对抗样本类型。如下图,可以通过控制对抗贴画的图案类别生成指定类别图案的对抗样本,也可以控制对抗贴画的形状(如` 8 I n % m h苹果形状)和颜色等等,甚至可以将文字的元素加入到对抗贴画中,生成带有文字效果的对抗贴画。不同风格的对抗图案使之能够更好的伪装成海报、广告以及K _ n , f =小张贴等等,实现对抗样本的隐匿功能。

图4 风格定制对抗贴s t a *画(图案、形状、颜色、文字)

实验结果

实验c G [ u ^针对COCO数据集I r h b,以YOLO V3、Faster RCNN作为白盒测试模型,SSD、RFCN、Mask RCNN以及Faster RCNN/YOLe $ $ } * H K m .O V3作为黑盒测试模型,分别测试了对抗样本在室内外条件下,不同距离、不同角度以及不同光线下的的***效果,以及测试对抗样本在真实车辆行驶条件以及速度下的***结果。

图5 室内(外)消失***与出现***

AI眼见为虚—— “升级版”对抗贴画对AI智能系统的威胁

图6 真实车辆驾驶实验

实验结果表明,消失***和! e Q G X / h / 2出现***的对抗图案在室内外环境下均可以实现很好的效果,解决了传统方法生成的对抗样本在室外环境下鲁棒性差的问题,并且能够实现对抗样本在不同天气光照(阴天、晴天),长距离(最远达25m),大角度(60,60)范V e r围变化的{ g M 强鲁棒性。在真实车辆驾驶实验中,如下面表格数据显示,不同的车速条件下(6k@ e I K v ? i Qm/hQ v C * g n [ . 4、30km/h)以及不同的道路条件下(直行路、弯z + T Y路),对抗样本均可以实现60%以上的成功率。

未来展望

虽然人工智能技术已n 8 ~ 4 W N j在各个领域取得较大进展,在商业应用中也实现了广泛的q s I x h 应用,开始建立起AI生态以及信任机制,尤其是在人脸识别以及各种自动化监控服务系统中。但是AI生态的建立也带来了新的安全问题,如基于深度学习模型固有脆弱性的对抗样本***。

虽然基于数字空间的对抗样本难以对实际应用的AI服务造成严重威胁,但是近两年,业界对于可实现物理***的鲁棒性对抗样本生成算法取得的进展表明,具有一定鲁棒性的对抗样本足以威胁AI应用的安全。如陈恺研究员团队提出的CommandeT T = NrSong语音***(该# T ! w Q r %文章已发表于USENIX Security 2018国际顶级会议,CCF` r b e J-A类),能够生成音乐对抗样本并可在物理环境下播放实现对语音识别模型的***,具有一定迁移特性,能够成功***讯飞语音输f ? y h D s =入法,该团队在此基础上进一步提出了Devil'w j E $ v ys Whispher***,针对商业智能语音设备实现了黑盒物理对抗***算法,能q # g w够成功***包括苹果Sirij n Z I、微软Cortana、亚马逊V _ a V J d #Echo、Google Assistant等智能语音设备,并可以通过Youtube等社交平台传播# i A B f b R(该成果已被USENIX Secp ^ 5 6 D W nurity 2020国际# D A ; w l C会议接收,CCF-A类)。清华大学团队提出的演化***,可以用来***人脸识别系统;比利时鲁汶大学研究表明,借助对抗补丁也可以大大降低监控系统对人类的识别率` 6 X

因此,随@ d , w着对抗***技术的进步,尤其是可用于物理环境下的鲁棒性对抗样本生成算法的v Y 3 1 ^ { m提出,进一A X & f ( R T h步提升对抗***对AI系统的安全威胁。未来工作中,如何打造安全、可靠的人工智能系统则显得至关重要。

参考文献

[1] Zhao, Yue, et al. "Seeing isn't Believing: To 8 ~wards Mo[ A ; v Mre Robust Adversarial Attack Against Real World ObjeV f i w 2 |ct Det5 V + Xectors." Proceedings of the 2019 ACM SIGSAC ConferencV [ f m 3 6 t # ee on Computer and Communicatio` s 7 Z ) w ] Kns Security. 2019.+ M E j1989-2004

AI眼见为虚—— “升级版”对抗贴画对AI智能系统的威胁

【编辑推荐】

  1. 华为阿里员工跳槽至X ! : b 8 t j N微软受抵制,当事人称:只是玩梗!
  2. 我终/ O h u B : ] e _于实现了前辈的梦想!
  3. Java 开发必备- p Y 0 t r R ~! IJ v : ) ! a ; p/O与Netty原理精讲
  4. 阿里v O M 0 { 6 h 4研究员:软件测试中的18个难题
  5. 终于知道Kafka为什么这么快了!

【责任编辑:武晓燕 TEL:(010)68476606】