人脸认证系统中的欺骗攻击是指通过不正当的手段伪造真实用户面部特征，从而获得用户系统权限的方式。普通用户的照片以及视频很容易通过互联网获得，也可以在不知情的情况下对他人进行偷拍，伪造的人脸攻击使得人脸识别变得不安全，特别是在货币支付和隐私验证领域，直接影响到用户的自身利益。因此，人脸反欺骗对于加强人脸识别系统的安全性以及扩展人脸识别的使用场景尤为重要。

 

　　并且随着3D打印技术的日益成熟，开始出现仅需提供一张正面照片，就可以为用户提供价格低廉、形象逼真的人脸3D面具的服务。而传统的攻击检测方法在面对3D面具的攻击时基本失效。例如，将去掉眼睛和嘴巴等部位的面具戴在攻击者的脸上就可以轻易骗过生理微动特征检测方法；3D面具不需要借助纸张、LED屏幕等媒介呈现，所以基于背景光流特征分析的方法便失去效果。相关评估实验显示，在只使用传统人脸识别算法时，3DMAD数据库中有65.70%的3D面具攻击被识别为合法用户。由此可见，3D面具对人脸识别系统具有很强的欺骗性。

 

　　因此，通过3D打印面具的攻击方式已成为人脸识别系统面临的新挑战。

 

　　

 

　　图1基于3D打印技术制造的人脸面具

 

　　北京工业大学陈继民教授课题组针对3D面具欺骗攻击，在剪切波变换基础上，结合人脸三维几何特征和局部区域纹理变化，提出一种利用多层自编码网络进行特征融合分类来识别攻击面具的方法，在基于柔性TPU材质3D打印面具BFFD数据库上试验表明，加入三维几何特征的多特征融合方法相比于以往单独使用纹理特征的方法对反3D面具攻击的准确率得到了显著提升。

 

　　该文章发表在《激光与光电子学进展》第56卷第3期，且被选为当期的封面文章

 

　　

 

　　该课题组探索了用剪切波变换作为提取图像几何特征的滤波器和描述图像局部区域纹理变化的算子。

 

　　首先通过非下采样剪切波变换从目标人脸3D图像中提取出低频子带和高频子带，在低频子带上利用尺度空间函数对特征点进行检测，然后定位特征点并分配方向，利用特征点邻域旋转不变性对特征点进行描述，生成特征描述子，即meshSIFT特征向量，设置不同阀值以完成特征点匹配，匹配结果作为3D人脸识别模型的输出和后续自编码器的输入。

 

　　

 

　　图2数据库中的二维纹理图像和三维网格扫描图(a)真实人脸样本；(b)型欺骗样本：佩戴本人的面具、型欺骗样本：佩戴他人的面具

 

　　为了实现与几何特征互补，该课题组采用栈式自编码器和softmax分类器对meshSIFT几何特征以及纹理特征进行融合分类。

 

　　由于神经网络中使用了sigmoid阈值函数，瓶颈特征被自动映射到0，1之间，适合用于融合不同维度的特征。因此提出了基于神经网络方法的多特征融合框架。所采用的栈式自编码器不仅是一个监督分类器，还可以产生瓶颈特征，改变原始特征的空间分布并对神经网络的原始输入进行压缩和稀疏表示，从而实现特征之间的深度融合。

 

　　实验结果表明，利用瓶颈表示的特征融合充分结合了低频子带中的几何结构信息和剪切波变换高频子带中的纹理信息，提高融合特征的稀疏性和可区分度，有效弥补了单一特征在识别3D攻击面具上的劣势。与分数融合策略、原始特征融合方法相比得到了更好的结果，说明适当的特征融合策略对于人脸反攻击的多特征融合是至关重要的。

 

　　

 

　　图3.基于神经网络的3D打印面具攻击检测特征融合图

 

　　该课题组表示，后续将针对时序数据的相关性，在下一阶段的工作中，将动态三维人脸图像变化特征作为网络的输入，以获得更优的反欺骗攻击效果。