Faii Note

type

status

date

slug

summary

Introduction

提到了目前的图像分类对抗样本无法直接应用到步态识别，如FGSM和PGD

基于序列的方法将从原始视频中分割的一系列剪影作为输入，所以对原视频的扰动不起作用

即使攻击者可以修改probe，在原始步态轮廓上添加norm-constrained perturbation也会破坏其不可感知性。

存在两种主要方法：基于模板的方法（template-based methods）和基于序列的方法（sequence-based methods）。

基于模板的方法：

区别： 基于模板的方法通常将步态特征建模为一组先前获取的模板或样本。这些模板可以是特定个体的步态数据，例如其步长、步频等。在识别时，输入的步态数据与模板进行比较，通过一些度量（如相关性）来判断是否匹配。

联系： 这种方法适用于对步态进行静态建模，然后通过比较相对简单的特征来进行识别。然而，它可能对个体之间的变化敏感度较高，因为个体之间的步态差异可能较大。

基于序列的方法：

区别： 基于序列的方法将步态特征建模为时间序列数据，考虑到了步态在时间上的演变。这可以包括使用序列模型（如循环神经网络或长短时记忆网络）来捕捉步态在整个过程中的动态信息。

联系： 这种方法更加灵活，能够捕捉步态的动态变化，考虑到步态的时间序列性质。相对于基于模板的方法，它可能更适合应对个体之间步态变化较大的情况。

想必这里的工作和我的工作都是更侧重于序列方法。

这个paper提到的intuitions主要有两点

一个是稀疏攻击可以更好实现不可感知性，一个是基于deformation变形来实现unrestricted adv要比基于norm-bounded的perturbation更好实现不可感知性

main work里面提出了方法，还说做了大量的实验来研究步态识别的鲁棒性

Related Work

关于步态识别的方法，基于序列的给到的sota还是gaitset

对抗样本里面使用GAN的有一篇论文，Fine-grained Synthesis of Unrestricted Adversarial Examples，后面看一下

除此之外还有一些关于action recognition的对抗样本method，但用的是范数，帧插入等方法，说是用这种范数扰动不适合步态识别，我也不是很懂，放标题在这里Sparse adversarial perturbations for videos（简单看了一下，都是对视频的扰动，应该是那种动作分类的）

后面简单介绍了一下GAN

Methodology

Problem Formulation

N frames，WHC是图片三维参数，建立一个NWHC的X，列了一个优化式子，就是序列差异和结果差异，序列差异常用的是lp范数，在这自己拟了一个，对每一帧的差异做代数和

Temporal Sparse Attack

这个等式不好优化，所以用生成器来制作对抗性帧，按照稀疏度随机抽取几个帧

在生成器的地方说了一堆看不懂的话，一点点分析

先看一下这个pipeline，在f那里是怎么实现梯度下降的？我很在意这个地方

这里似乎考虑到随机产生的标准高斯随机样本不能保证G(Z)的效果，保证生成轮廓的高质量，需要处于隐空间的高概率区域，将RV的高斯分布替换为一致分布（单位球），这里提到的论文是“PULSE: selfsupervised photo upsampling via latent space exploration of generative models“，后面看一下

这里用二元交叉熵Lbce来确保G(Z)与步态的相似度来训练GAN，在这里使用MIFGSM来攻击f，并且给了一个伪代码