专栏算法工具链解决屏摄图片识别问题!全新摩尔纹提取-检测方法

解决屏摄图片识别问题!全新摩尔纹提取-检测方法

Null2024-05-29
21
0

解决屏摄图片识别问题!全新摩尔纹提取-检测方法

摩尔纹现象

对经常使用手机拍摄屏幕PPT/文档的朋友来说,拍摄图片出现水波状空白纹理的现象绝对不陌生,这就是屏摄图片产生的摩尔纹。从信号采样处理的角度来说,摩尔纹现象的出现是由于使用离散传感器对连续信号进行采样而出现的失真问题,具体而言是由于在拍摄屏幕时由于LED点阵的高频变化信号与摄像机传感器的采样单元数不能满足奈奎斯特采样定理的需求而出现的传输失真,奈奎斯特采样定理如下:
$$ w_s >= 2w_m $$
在屏摄图片的场景可以认为$w_s$是相机传感器的采样频率,而$w_m$是被拍摄的物体表观的频率,当满足奈奎斯特定理的条件时,可以通过对相机的处理还原出真实图像,而当不满足这一条件时,通过常规处理手段无论如何都会产生无法修复的失真现象,也就是图像中的摩尔纹。
Description
摩尔纹在许多领域都产生相当大的影响,例如在门户安全等IoT安全领域,入户摄像头可以使用摩尔纹识别来判断安全摄像头是否被不法分子使用手机显示的人脸图像欺骗,在自动驾驶领域,一些大型商场外立面屏幕展示的汽车广告可能会对感知过程产生一定影响,在艺术创作领域,也有艺术家使用具有高频外观表现的面料构造摩尔纹来进行独特的艺术创作。

摩尔纹检测(Moire Pattern Detection)

过去的摩尔纹识别方法往往直接基于原始图片,使用傅里叶变换或快速霍夫变换等方法处理图像,尝试分离提取图片中的高频信息组分后对其含量的分析来识别图片是否具有摩尔纹。这种方法的缺点在于精度不足且极易过拟合,并且由于屏摄图像产生摩尔纹的机理随着屏幕的LED点阵排列工艺的不同也有极大的差异,无法同时适应所有类型的摩尔纹现象。
Description
在这里,我们使用了对摩尔纹检测(Detection)-识别(Identification)的方案。摩尔纹检测是指从图像中提取出纯摩尔纹层的过程。通过多层级特征编码与Vision-Transformer提取并融合图像中的高频摩尔纹组分。考虑到摩尔纹具有空间分布的特性,我们使用了特殊的Spatial Encoder编码处理空间不同分布的摩尔纹区域。Mixed-Encoder对图像中的高低频摩尔纹都进行相应提取并使用BiFPN网络对其进行特征高效融合。
Description

摩尔纹识别(Moire Image Identification)

在提取出图像中的摩尔纹层后,通过后续的TPDM(Tail-Plugged Detec- tion Module)对图像进行摩尔纹识别。过去使用的Pixel-Sum方法需要人工设定阈值超参数,我们在此基础上继续提出了基于灰度共生矩阵(Gray-Level Co-occurrence Matrix, GLCM),快速傅里叶变换与CNN分类网络的方法,可以实现不预设超参的摩尔纹识别。
Description
Description

总结

通过实验验证,可以看到我们的摩尔纹检测-识别算法在多个主流摩尔纹识别数据集上均体现出优秀的性能指标,具有良好的可用性与后续拓展性,同时相比其他算法具有更好的鲁棒性表现。

算法工具链
技术深度解析前沿技术
评论0
0/1000