Faii Note

type

status

date

slug

summary

category

icon

password

在新智元看到的一些对抗样本有关的论文，记录一下

Perceptual-Sensitive GAN for Generating Adversarial Patches

北航和悉尼大学的合作，该论文使用对抗生成网络（GAN）来生成视觉保真度较好且与场景语义相关度较高的对抗补丁（如：路牌和贴画，路牌和涂鸦等），可以在数字世界（digital-world）和物理世界（physical-world）完成对深度学习模型的攻击

关于欺骗AI自动驾驶系统的，有实际应用价值的研究，我很有兴趣

里面GAN的一些理论有些不熟悉了，另外就是关于优化和公式推导的问题，觉得还是要学习，看起来很陌生和讨厌

最优化问题，GAN理论

*提到的未来展望有点意思

清华大学的朱军教授所带领的团队提出了一种基于决策的黑盒攻击方法——演化攻击（Evolutionary Attack）来攻击人脸识别系统；

Fooling automated surveillance cameras: adversarial patches to attack person detection

比利时鲁汶大学 (KU Leuven) 几位研究人员最近的研究发现，借助一张简单打印出来的对抗补丁，就可以大大降低监控系统对人类的识别率，可以将人隐藏起来。

对抗性补丁或许也属于实际应用范畴

这种欺骗利用了一种称为对抗性机器学习的方法。大多数计算机视觉系统依赖训练 (卷积) 神经网络来识别不同的东西，方法是给它提供大量样本，调整它的参数，直到它能正确地分类对象。通过将样本输入一个训练好的深度神经网络并监控输出，可以推断出哪些类型的图像让系统感到困惑。

看起来这些论文中公式推导的过程与数学建模的过程有类似之处啊

Adversarial Examples Are Not Bugs, They Are Features

作者表示：“我们证明了对抗性样本并不是奇怪的像差或随机的伪影，相反，它们实际上是有意义的数据分布特征 (即它们有助于模型泛化)，尽管这些特征不易觉察。”

研究人员通过一系列实验证明：

(a) 你可以根据嵌入到错误标记的训练集中的这些不易觉察的特征学习，并泛化到真正的测试集；

(b) 你可以删除这些不易觉察的特征，并 “稳健地” 泛化到真正的测试集 (标准训练)。

提出了鲁棒性特征和非鲁棒性特征理论，鲁棒和非鲁棒特征都可以用于预测训练集，但只有非鲁棒性特征才会导致对原始测试集的泛化。对抗样本理论上只会干扰其非鲁棒性特征

结果表明，鲁棒性（和非鲁棒性）实际上可以作为数据集本身的属性出现。特别是，当我们从原始训练集中去除了非鲁棒性特征时，可以通过标准（非对抗性）训练获得高鲁棒性的模型。这进一步证明，对抗性实例是由于非鲁棒性特征而产生的，而且不一定与标准训练框架相关联。

对抗性实例的可转移性不再需要单独的解释

在这里我对泛化性具体在指什么存在疑问，所以去寻找有关泛化性的知识

泛化性：算法对新样本的适应能力

原来对抗样本也有比赛啊

不过这里是清华的TSAIL实验室，之后可以去看一看在做什么工作