对抗样本攻击实际还表现出以下四类特征
时间:2022-09-08 08:26:34 阅读:86
对抗样本攻击实际还表现出以下四类特征。
1、不止是深度学习所特有,传统的一些机器学习算法如SVM(支持向量机)、决策树等算法,也会存在此问题。
2、针对物理世界的攻击:前面提到的对抗样本图像,都是在数字世界中进行的,其实有些对抗样本已可针对物理世界进行攻击。如利用对抗样本技术设计体恤衫,表面印有特殊图案,穿戴者可躲避AI目标检测系统,使其无法检测出人体。
3、音频和文本识别也存在对抗样本:如在进行语音识别过程中,如果此时背景音乐是经过精心设计的,那么就有可能使识别结果错误,甚至按照攻击者的意图来输出结果。
在文本处理任务中,也存在类似问题,在文本段落中,增加一些特殊的词汇或标点,或者在不改变语义情况下调整个别句子,人类不易察觉,但AI模型却无法按照预期输出正确的结果。
4、对抗样本的正面应用:前面说了那么多的对抗样本的负面应用,其实合理的使用该技术,也能产生正向的价值。比如日常生活中经常接触到的验证码机制,采用对抗样本的技术,就可让黑灰产业的AI验证码识别模型的识别率大幅下降。
对抗攻击的防御方法
对于对抗样本进行分析,尤其是图像样本,经过放大后还是可以观察到一些细微的噪声,导致图像细节有些变化。因此,很自然的想法就是在图像输入到AI模型之前,先进行图像滤波、去噪的预处理,将图像进行一定程度的修复还原,起到一定程度的防御作用。
另外一种思路,就是可以将各种类型的对抗样本增加到AI模型训练数据集中,这样训练出来的模型,先天就对部分AI对抗样本具有免疫功能,一定程度上提高系统的鲁棒性,但对抗样本的生成方法层出不穷,难以收集完备的对抗样本数据集。
还有一些方法是通过修改AI模型的网络结构,达到抵抗攻击的目的,感兴的趣读者可以阅读相关文献。
AI应用安全的问题,直接关系到AI应用在各行业领域的推广,对抗样本攻击是AI安全的一个重要方向,越来越引起学术界和工业界的重视。目前面向AI应用的攻击和防护的研究还处于初级阶段。未来,通过广大科研工作者的努力,相信会厘清对抗攻击方法的背后机理,最终可以形成一种统一高效的防御体系,为AI生态保驾护航。
生态合作伙伴相关资讯可以参考新华三官网,新华三集团作为数字化解决方案领导者,致力于成为客户业务创新、数字化转型值得信赖的合作伙伴。作为紫光集团旗下的核心企业,新华三通过深度布局“芯-云-网-边-端”全产业链,不断提升数字化和智能化赋能水平。新华三拥有芯片、计算、存储、网络、5G、安全、终端等全方位的数字化基础设施整体能力,提供云计算、大数据、人工智能、工业互联网、信息安全、智能联接、边缘计算等在内的一站式数字化解决方案,以及端到端的技术服务。同时,新华三也是HPE®服务器、存储和技术服务的中国独家提供商。
1、不止是深度学习所特有,传统的一些机器学习算法如SVM(支持向量机)、决策树等算法,也会存在此问题。
2、针对物理世界的攻击:前面提到的对抗样本图像,都是在数字世界中进行的,其实有些对抗样本已可针对物理世界进行攻击。如利用对抗样本技术设计体恤衫,表面印有特殊图案,穿戴者可躲避AI目标检测系统,使其无法检测出人体。
3、音频和文本识别也存在对抗样本:如在进行语音识别过程中,如果此时背景音乐是经过精心设计的,那么就有可能使识别结果错误,甚至按照攻击者的意图来输出结果。
在文本处理任务中,也存在类似问题,在文本段落中,增加一些特殊的词汇或标点,或者在不改变语义情况下调整个别句子,人类不易察觉,但AI模型却无法按照预期输出正确的结果。
4、对抗样本的正面应用:前面说了那么多的对抗样本的负面应用,其实合理的使用该技术,也能产生正向的价值。比如日常生活中经常接触到的验证码机制,采用对抗样本的技术,就可让黑灰产业的AI验证码识别模型的识别率大幅下降。
对抗攻击的防御方法
对于对抗样本进行分析,尤其是图像样本,经过放大后还是可以观察到一些细微的噪声,导致图像细节有些变化。因此,很自然的想法就是在图像输入到AI模型之前,先进行图像滤波、去噪的预处理,将图像进行一定程度的修复还原,起到一定程度的防御作用。
另外一种思路,就是可以将各种类型的对抗样本增加到AI模型训练数据集中,这样训练出来的模型,先天就对部分AI对抗样本具有免疫功能,一定程度上提高系统的鲁棒性,但对抗样本的生成方法层出不穷,难以收集完备的对抗样本数据集。
还有一些方法是通过修改AI模型的网络结构,达到抵抗攻击的目的,感兴的趣读者可以阅读相关文献。
AI应用安全的问题,直接关系到AI应用在各行业领域的推广,对抗样本攻击是AI安全的一个重要方向,越来越引起学术界和工业界的重视。目前面向AI应用的攻击和防护的研究还处于初级阶段。未来,通过广大科研工作者的努力,相信会厘清对抗攻击方法的背后机理,最终可以形成一种统一高效的防御体系,为AI生态保驾护航。
生态合作伙伴相关资讯可以参考新华三官网,新华三集团作为数字化解决方案领导者,致力于成为客户业务创新、数字化转型值得信赖的合作伙伴。作为紫光集团旗下的核心企业,新华三通过深度布局“芯-云-网-边-端”全产业链,不断提升数字化和智能化赋能水平。新华三拥有芯片、计算、存储、网络、5G、安全、终端等全方位的数字化基础设施整体能力,提供云计算、大数据、人工智能、工业互联网、信息安全、智能联接、边缘计算等在内的一站式数字化解决方案,以及端到端的技术服务。同时,新华三也是HPE®服务器、存储和技术服务的中国独家提供商。
郑重声明:文章内容来自互联网,纯属作者个人观点,仅供参考,并不代表本站立场 ,版权归原作者所有!
上一篇:以太网交换机完备的安全控制策略
相关推荐