当前位置: www.89677.com > 互联网 > 正文

只因它在捕捉人类看不到的特征,能让AI变糊涂的

时间:2019-11-23 04:44来源:互联网
可机器看到这些图案,会立刻被迷的晕头转向,分不清眼前的图案就是是什么了。Google的专家做了一组实验,把这些小圆图案放到机器能分辨的图片上,机器就会立刻给出不同的答案。

可机器看到这些图案,会立刻被迷的晕头转向,分不清眼前的图案就是是什么了。Google的专家做了一组实验,把这些小圆图案放到机器能分辨的图片上,机器就会立刻给出不同的答案。

更多精彩,敬请关注硅谷洞察官方网站(

“这并不是模型本身有什么问题,只是那些真正决定识别结果的东西并不能被看到。”该论文第二作者、麻省理工学院在读博士生 Shibane Santurkar 补充道:“如果我们只知道算法的决策取决于一些我们看不见的东西,那我们又怎么能理所当然地以为它做的决定就是正确的?”如果一个人需要在法庭上证明监控视频中的人不是自己就会非常麻烦,因为我们不知道监控识别的错误结果是怎么得来的 。

大家一定听说过一个欺骗深度学习神经网络的例子,只需改变几个像素,就能得到差异巨大的结果。

另外一点则是,人类可以很清楚的识别出对抗性图像。例如故意斑驳让人难以辨认数字图案,以及特征十分明显的花哨贴纸。那么说明这些对抗性的图案也拥有自己的“对抗性特征”。

想要弄明白 AI 到底是依据什么特征来识别图像并不容易。Andrew Ilyas等人首先定义了一整套理论框架。他们把图片中的特征分成两类:“稳健特征”(Robust Features),指即使做了像素层面的修改也不会影响识别结果的特征,和 “非稳健特征”(Non-robust Features),即会被像素修改而影响的特征(通常无法被人类识别)。

不过我们也不必对这种病毒太过恐惧,目前大部分对抗样本为了加强机器视觉的精确度而特地生成的。很难自然发生在现实应用场景中,毕竟你不能改变自己脸上的像素点分布。

在今天,发现“人类与机器有着十分相近的思维模式”这一新闻,听起来似乎像个笑话。但或许我们引以为傲的“人类意识”,根本并没有那么复杂,最终会与机器思维以一种出乎意料的方式相遇。

图片 1

就像这张照片,前一秒神经网络还有57.7%的把握认为它是一只熊猫,可在经历过一点点处理后,神经网络竟然99.3%的把握认为这是一只长臂猿。可对人类来说,这两张照片几乎没有区别。

让人类理解机器思维,或许比想象中更容易

图片 2

正因如此,我们才能够通过摄像头分辨眼前这张脸是不是iPhone X的主人、从监控录像中找到犯罪分子的身影,以及自动分辨社交网站上的某张照片是否涉嫌有色情内容。

为了弄明白为什么机器能看到人类“看不到”的变化,约翰霍普金斯大学推出了一系列实验,让人类志愿者在图片中找到“机器犯的错误”。

研究人员指出,由于只有稳健特征,D_R 所含的信息量少于原始数据 D。实验发现,再以 D_R 为基础,以标准训练的方法得到的识别模型,同样可以抵御对抗样本。以此证明像素层面的修改,并不影响图片中的稳健特征。

结果就是,要不机器会把两张人眼中完全一样的图片看成两种完全不同的东西,要不会把一张不知所云的图片看成物品或动物。

为了解决这种可能出现的情况,通过理解机器思维并进行逆向拆解或许是个不错的方法。

另一方面,研究人员对训练数据进行像素层面的修改,并且不断优化,让标准模型尽可能地把图片识别成另一个类型。比如,稳健特征是“狗”,而非稳健特征和标注则是“猫”。

这样一来,事情的发展就变得很恐怖了。

如此看来,虽然机器一直在尝试模仿人类的思维方式,但最终结果还是我们与机器之间彼此无法理解。

图片 3

所以,我们大可不必担心对抗样本会对现实产生什么影响。直到一群来自Google的专家又想出了产生对抗样本的新方法。

对抗对抗性图像:当人类开始理解机器

只因它在捕捉人类看不到的特征,能让AI变糊涂的。论文的第一作者,麻省理工学院在读博士生 Andrew Ilyas 说道:“对于那些像素层面的特征,它们最大的特点就是不会被人眼察觉。”

更可怕的是,这种方式可能让对抗样本进入物理世界。以往我们不能改变真实世界中的像素点,但如果把这些小图案变成贴纸粘在各个地方,或许就可以改变很多东西。

对于那种动几个像素点就可以改变机器认知的情况,很有可能出现在数据流通途中的压缩产生的失误,我们可以寻找使得机器认知结果改变的压缩规律,反向从源头组织失误的发生。

研究人员将经过修改的图片集计作 D_NR,并找来一张训练数据之外的自然中“猫”图片进行测试。识别器成功把这张外来的图片也识别成了“猫”。说明这张自然的“猫”,和 D_NR 中的“猫”具有可以被模型识别的相同属性,而这个属性就是我们看不到的“非稳健特征”。

例如自动驾驶通过摄像头来识别交通标示,如果在限速、停止牌上都贴上贴纸,驾驶系统会不会将其视若无物,让整个世界乱套?而犯罪分子想要让自己的面孔从天网中逃离,也不必像《换脸》中一样动刀整容,只要在脸上贴张贴纸,就变成了行走的吐司机。

对于人类来说,我们可能把猴子看成猩猩,原因是我们自己脑海中的底层知识不足,在认知中分不清猩猩和猴子的概念。但绝不会把桥、猴子、大树这些风马牛不相及的东西混淆一谈。

他们假设稳健特征和非稳健特征同时存在。并且使用和生成对抗网络相似的方法,将原始的训练数据集中的图片进行重新加工,生成了两个新的数据集:将非稳健特征洗刷掉、只含稳健特征的 D_R,和在人类看来错误标注、但非稳健特征符合其标注的 D_NR。

首先,制作对抗样本一下子变成了一种成本极低的事情,可能只要一张贴片,就能欺骗过整个模型。在上述的色情图片审核案例中,我们就找到了一个很好的解决方案。更可怕的是,如果用机器视觉来检测毒品、武器等等,是不是也能用这种方式逃之夭夭?

这个惊人的实验结果告诉我们,即使抛开人类基础的认知逻辑,应用下意识的第一反应,也能够和机器得出相同的结果。看来神经网络黑箱中对于人类经验提炼的深度,或许远超我们想象。

近日,一个来自麻省理工学院的团队公开了他们的研究成果。该文章指出,对抗样本(Adversarial Sample)导致图像识别(Image Classification)失效的现象,或许只是人类的一种“自以为是”。识别模型捕捉的,其实是那些不能被人眼察觉的“非稳健特征”(Non-robust Feature)。如果只是基于这些像素层面的特征,模型对对抗样本的识别就不能被认为是失败的。

如何欺骗愚蠢的机器视觉?

这个实验的意义,当然不是为了告诉大家其实我们都是机器人,而是教会了我们如何应对机器视觉可能犯下的错误。

图|标准训练和稳健训练的损失方程。稳健训练中划线的部分表示修改原始数据,使之成为对抗样本。(来源:Andrew Ilyas/MIT)

图片 4

令人震惊的是,在大部分实验中,人类志愿者都凭借着直觉很快辨认出了AI的思维模式。以上图为例,有81%的人类志愿者都准确的发觉了机器会犯下的错误。在一共48个实验1700位志愿者中,有人们在75%的时间里都选择和机器一样的答案,而只有2%的人从来没有选择过和机器一样的答案。

图片 5

但机器视觉的错觉,往往要比人类的有趣得多。

从实验中我们可以看出,即使是毫无逻辑的图案和纹理,人类也可以通过联想能力对这些图片进行更高级的认知和处理。实验中人类和机器进入了同样的情景,面对几个分类选项做选择题。而这种分类选择或许就是让机器陷入错误的关键。

其次,他们又定义了两种训练模型的方法,“标准训练”(Standard Training)和“稳健训练”(Robust Training)。稳健训练的损失方程额外考虑了对抗样本的存在,使得模型在训练中可以强化对稳健特征识别。

让AI一秒变傻的迷幻药

在人工智能五十年的研发过程中,我们一直在不断尝试着让机器理解人对于世界的认知方式。不管是一直没有实现较大突破的类脑计算,还是模仿人类感知外界机制的人工神经网络,本质上都是对人类行为方式的多种模仿。

目前许多研究机构(如谷歌公司、麻省理工学院和腾讯科恩实验室)都在尝试解决对抗样本问题。其中主要的难题存在于三个方面,首先是视觉世界的复杂性,比如一张图片中通常存在上百万个像素点。其次,我们并没有彻底地理解卷积神经网络模型实现图像识别的机制。此外,科学家不知道识别模型失效的原因是训练方式的问题还是训练数据量不够大?

看到以上的几个图案,人类会有什么感觉?或许会认为是哪个新锐艺术家的迷幻大作吧。

这就导致了机器视觉可以被“针对性”的愚弄,让图像识别输出完全错误的结果,这就是我们常说的对抗生成样本。

对抗样本是指在一张自然图片中,对少部分像素点的数值进行修改,即使修改不足以被人眼察觉,但识别算法却做出完全错误的判断,比如把小狗识别成鸵鸟。这可能成为致命的安全漏洞,比如让自动驾驶的汽车偏离车道,或者让监控探头无法发现罪犯的身影。

在AI技术构建出的未来世界蓝图中,有大量装置是通过机器视觉这一最基础的技术实现的。GPU的广泛应用给了机器快速处理图片的能力,神经网络让机器可以理解图片。

其实这就体现了人类非常有趣的一点,建立在综合知识基础之上,人类的五感是相通的,因此可以从有限的信息里进行关联挖掘,对陌生的事物建立起认知。

科学家始终需要面对一个抉择,模型究竟是应该做出“准确”的决定,还是应该做出“人类”的决定?如果模型只是识别稳健特征,它或许就不会那么准确。然而如果决策机制偏向不能被看到的非稳健特征,那么对抗样本就会成为潜在的漏洞。如今,图像识别技术已广泛应用在日常生活中,我们需要在这两个选择之间找到某种平衡。

对抗样本:让机器变糊涂的新病毒

图片 6

图|左为自然图片,识别为“小狗”。右为刻意修改后的对抗样本,识别为“鸵鸟”。(来源:Christian Szegedy/Google Inc.)

这种能欺骗机器的图片还有个名字,叫对抗样本。我们可以把对抗样本理解为一种攻击机器视觉的病毒,面对不同的机器学习算法会有不同的样本生成方式,最终目的只有一个,那就是混淆机器的视觉。

例如将一张图片的像素点进行轻微的移动,在人眼中两张图片没有任何区别,可在机器识别逻辑下,却可能让机器把猴子认成大树。

图|图中右侧“狗”的图像,和下方“猫”的图像,都被识别成了“猫”,他们有相同的非稳健特征。(来源:Andrew Ilyas/MIT)

当然了,这几张贴纸也无非是提出了一种可能而已,并不是现在就可以利用它们做什么坏事。但这场实验告诉了我们,AI的安全程度比我们想象中要更低。让AI进入物理世界,恐怕还要再多做点准备呢。

就拿视觉来说,人类对于万事万物的认知来自于综合的感知。以前一阵社交媒体上疯传的《神奇宝贝》大电影来说,人们见到3D版皮卡丘非常惊讶——皮卡丘竟然是有毛的?

通过实验,Andrew Ilyas 和他的团队确定:稳健特征和非稳健特征都存在于图片之中,并且一般的识别模型只会通过非稳健特征进行图像识别,而非稳健特征不能被人眼察觉。所以,对抗样本本身并不是图像识别的漏洞,只是另外一种无法被我们看到的特征而已。

其中的原理是,神经网络识别物体依靠的是图片中的特征,只要某一分类的特征浓度够高,神经网络就会忽略其他因素,直接给出答案。这些迷幻的小圆片,可以被理解为某一种物体特征的高度浓缩,出现在图片中时,神经网络就会立刻被这些特征吸引,忽略图片中的其他信息。

相比之下机器视觉的认知方式就相对孤立,建立分类器后组织层层的神经网络,对图片进行分层处理,分别去辨认图片中是不是一架桥,是不是一只猴子,是不是一棵大树。最后得出的结论是,这张图片97%的几率是一架桥,2%的几率是一只猴子,1%的几率是一棵大树。

图|左:原始训练数据 D,只含稳健特征的 D_R,和失去特征一致性的 D_NR。右:三种数据集在不同训练方式下的准确率。(来源:Andrew Ilyas/MIT)

但机器的视觉模式就很不同了,机器学习算法本质上是一个分类器,通过层层神经网络去分辨一张图片是不是猴子、是不是水杯、是不是电脑、是不是最后输出结果,告诉人们这张照片有90%的可能是水杯,还有40%的可能是一颗树。

更多精彩,敬请关注硅谷洞察官方网站(

麻省理工学院的科研团队发现,目前常用的识别模型其实是通过关注图片中,人眼无法察觉的细节来实现图像识别。就如同人类会对比耳朵的不同,而将狗和猫的照片区分出来一样。但是AI模型却是在像素的层面进行区分。

也就是说,过去我们需要经过复杂的处理才能让某一张图片欺骗神经网络,现在我们可以把这些小圆片批量加入到图片当中,让他们去批量欺骗神经网络。

但对于机器视觉就不一样了,在机器的“眼中”,一切图像都是像素点的排列组合。对于我们来说,猴子和大树的区别是哺乳动物和区别。可对于机器来说,猴子和大树之间只有一个数字分割线而已。

尤其当对方不能直接访问算法模型时,制造出对抗样本的成本也会很高。举个例子说,如果有博主想依靠在社交媒体上发布色情内容来盈利,就要首先训练出一个能对所有图片进行微调,并且还能欺骗过社交媒体审核算法的对抗模型。再对每天需要发布的图片进行处理。有这个时间、金钱成本和技术,早就可以去AI初创企业拿百万年薪了。

图片 7

出现这种情况的原因是,人类和机器有关视觉的概念是很不一样的。人类的视觉来自于对事物的整体理解,建立于长久以来对世界的认识之上。我们看到毛茸茸的东西就会认为是动物,看到羽毛就会认为是鸟。这样的模式让我们的视觉是感性甚至模糊的,不光可以分辨我们认识的物品,甚至可以去分辨我们从没见过的物品。

那么如果换个角度,让人类去学习机器的思维方式呢?

想逃过AI的眼睛,只需一张神奇的小贴纸

被随意愚弄的机器思维

不过机器视觉和人类视觉有着很大的差异,比如说在出现误差方面,机器和人类就有很多不同。比如人类视觉往往会因为线条的排列分布而分不清究竟是直线还是曲线。

图片 8

可怕的是,目前还没有什么好的方式去解决这种病毒。只能不断的自己生成样本进行对抗,或者不断压缩模型类别标签的大小,让攻击者难以找到其中的临界点。

但在相遇之前,我们还是应该用人类思维与机器人思维之间的相似性,来解决现实生活中的问题。

著名的黑林错觉

又比如我们曾经介绍过的“迷幻贴纸”——将某一种物体的分类特征高度浓缩成一个很小图案,“粘贴”在其他图片上。图像识别对于结果的输出,是基于几项结果比率的高低。在贴上贴纸之前,图像识别可能明确的分析出图片有98%几率的是一只猴子。但粘贴上高度浓缩特征的贴纸之后,就能立刻改变图像识别的结果。

这时要想让机器产生错觉就很容易了。假如我们想要让机器把水杯看成树,就要找到机器眼中两种物品的临界点。一张图片在机器眼中,只是无数像素点的排列,如果轻微的改变这些像素的排列,让他们越过这个临界点,机器就会犯错。

在机器视觉认知模式的固有弊端下,很可能会形成很多可供钻空子的漏洞。例如当自动驾驶识别公路上的交通标志时,一个小小贴纸就可能让视觉系统产生错觉,把交通标识识别成突然出现的行人来个急刹车。

如图所示,前一秒机器还能看出这是一根香蕉,加上这个小圆片之后,机器就笃定这是一台吐司机。

当然我们也知道,这些模仿虽然在应用上取得突破,但本质上来看与人类的认知方式还是大相径庭的。

当我们简单皮卡丘身上茸毛时,我们立刻联想起了那种毛茸茸的手感,认为它像一只大老鼠毫不可爱。

近期约翰霍普金斯大学就做了这样一项实验。

虽然面对这种情况,最理想的方式是放弃卷积神经网络,应用认知计算真正让人工智能建立在一个更完整的世界观上进行识别。但在认知计算获得突破之前,我们或许可以寻找一些替代性的解决方案。

例如我们可以在一些安防、自动驾驶等等关键场合之中,特意生成对抗性样本让人类进行标注,在汽车、行人这些常规分类中多出一个“对抗样本”分类,让卷积神经网络可以识别出来这些捣乱的图案。

在今天这个人人都有可能被愚弄的日子,不如我们来换换戏耍的对象,看看机器有没有可能被愚弄欺骗呢?

例如给志愿者一张噪点图或看似无意义的花纹,让人类志愿者从中识别辨认图片更像哪一种物体,并将AI给出的结果混淆其中。又比如给人类几个斑驳的数字图案,让人类志愿者选择AI可能将图案误认成了什么错误的数字。

编辑:互联网 本文来源:只因它在捕捉人类看不到的特征,能让AI变糊涂的

关键词: