Title: GenImage: A Million-Scale Benchmark for Detecting AI-Generated Image
Paper: arxiv.org/abs/2306.08…
Code: github.com/GenImage-Da…
导读
在这个 AIGC 迸发的年代，人人都能够运用AI算法生成高质量的文本，图画，音频内容。其间，由Midjourney, Stable Diffusion等图画生成办法制作的图画，其逼真程度让人赞赏。人眼现已难以对其真假进行区别了。这不禁唤起了人们的隐忧：很多虚伪图片将会在互联网上广泛传达。虚伪图片的泛滥会引发多种社会安全问题。例如，虚伪新闻会扰乱社会秩序，混淆视听。恶意的人脸图片造假则会引发金融欺诈，形成信任危机。
例如，下图为Midjourney生成的特朗普被捕图片。这类图片在交际媒体上广泛传达，对政治范畴形成了不良影响。因而，对这些AI生成的图画进行有用监管是非常有必要的。
考虑到人眼现已难以对真假图片进行区别，咱们急需一种AI生成图画检测器以区别AI制作的图画和实在的图画。可是，现在大规划数据集的缺失妨碍了检测器的开发。因而，咱们提出了百万量级的GenImage数据集，致力于构建AIGC年代的ImageNet。
数据集介绍
曩昔业界也有推出一些数据集。他们主要有三个特点。第一个是数据规划小，第二个是都是根据GAN的，第三个是局限于人脸数据。跟着时间推移，数据规划慢慢地在添加，生成器也从GAN年代过渡到Diffusion年代，数据的规模也在添加。可是一个大规划的，以Diffusion模型为主的，涵盖各类通用图画的数据集仍然是缺失的。
根据此，咱们提出一个对标imagenet的genimage数据集。实在的图片选用了ImageNet。虚伪的图片选用ImageNet的标签进行生成。咱们运用了八个先进的生成器来生成，分别是Midjourney, Stable Diffusion V1.4, Stable Diffusion V1.5, ADM, GLIDE, Wukong，VQDM和BigGAN。这些生成器生成的图片总数根本与实在图片共同。每个生成器生成的图片数量也根本共同。每一类生成的图片数量根本共同。
这个数据集具有以下优势：
- 很多的数据：超越百万对图片对。
- 丰厚的图片内容：运用ImageNet进行构建，具有丰厚的标签
- 先进的生成器：覆盖Midjourney, Stable Diffusion等Diffusion生成器。
在实在国际中检测器往往会遇到各式各样的困难。咱们经过试验发现，检测器往往在两种情况下功能下降严重。第一种是面临练习会集未呈现的生成器生成的图片时。第二种是面临退化的图画。例如，CNNSpot在Stable Diffusion V1.4上练习后，在Midjourney上测验仅有52.8的准确率。当练习和测验生成器同为Stable Diffusion V1.4，在面临模糊的图画时，CNNSpot准确率仅仅为77.9。根据此，咱们在这个数据集基础上对检测器提出两个应战：
- 穿插生成器：检测器在一种生成器生成的数据上练习，在其他生成器生成的数据上验证。这个使命意图是调查检测器在不同生成器上的泛化才能。
- 退化图画辨认：检测器需要关于低分辨率，模糊和紧缩图画进行辨认。这个使命主要调查检测器在实在条件（如互联网上传达）中面临低质量图画时的泛化问题。
咱们相信这个数据集的提出将大大有助于人们开发AI生成图片检测器。
试验
咱们做了一些试验来调查这个数据集，咱们发现在某个生成器上练习的ResNet-50模型在其他的测验准确率会明显下降。可是在实在情况下咱们难以得知遇到的图画的生成器是什么。因而检测器关于不同生成器生成图片的泛化才能很重要。
咱们对比了现有办法在Stable Diffusion V1.4上练习，然后在各种生成器上测验的成果，见图3。咱们也评测了各种生成器上练习，然后在各种生成器上测验的成果。见图4。图4中，Testing Subset那一列中的每一个数据点，都是在八个生成器上练习，然后在一个生成器上测验得到的均匀成果。然后咱们将这些测验集上的成果均匀，得到最右侧的均匀成果。
咱们对测验集进行退化处理，选用不同参数下的低分辨率，JPEG紧缩和高斯模糊，评 测成果如下
那么采集这么多数据是不是有用呢？咱们做了相关试验，证明通过提高数据类比和每类的图片数量，咱们是能够进步功能的。
针对GenImage数据集关于不同图片的泛化才能，咱们发现他关于人脸和艺术类图片也能达到很好的作用。
总结
跟着AI生成图片才能的不断提高，关于AI生成的图片实现有用检测的需求将会越来越火急。本数据集致力于为实在环境下的生成图片检测供给有用练习数据。咱们运用ResNet-50在本数据会集练习，然后在实在推文中进行检测。如下图4，ResNet-50能够有用辨认真图和假图。这个成果证明了GenIamge能够用于练习模型以判别实在国际的虚伪信息。咱们认为，该范畴未来值得努力的方向是不断提高检测器在GenImage数据集上的准确率，并进而提高其在实在国际面临虚伪信息的才能。
