一个用于styleGAN图像处理的编码器
小白阅读指南
论文是学术研究的精华，是未来发展的灯塔。小白决心每天为您带来经典或最新论文的解读与分享，旨在帮助读者快速理解论文内容。个人能力有限，理解上难免有偏差。建议对文章内容感兴趣的读者一定要下载原文。
了解具体内容。
源码链接：https://github。com/omer tov/encoder 4编辑
摘要
最近，通过使用预先训练的无条件生成器来执行图像编辑的各种方法激增。然而，将这些方法应用于真实图像仍然是一个挑战，因为需要将图像反转到其潜在空间。为了成功地反转实像，
有必要找到一个潜在的代码，以准确地重建输入图像，更重要的是，允许对其进行有意义的操作。本文详细研究了最先进的无条件生成器StyleGAN的位势空间。
作者确定并分析了风格潜在空间中失真可编辑性和失真感知的权衡。然后，作者提出了设计编码器的两个原则，使其能够控制反向接近StyleGAN最初训练的区域。
作者基于作者的两个原则提出了一个编码器，它旨在通过平衡这些权衡来促进真实图像的编辑。通过对其在包括汽车和马匹在内的多个具有挑战性领域的性能进行定性和定量评价，证明了作者的反演方法，
以及普通的编辑技术，获得了真实图像的高编辑质量，而仅略微降低了重建精度。
本文的创新之处
给出了定量和定性结果，以证明距离可编辑性和距离感知之间的权衡，以及逆近似的好处。w .作者对作者的编码器进行了评估，表明作者方法的概括及其适用性是各种具有挑战性的领域，这些领域不同于面部领域，没有共同的结构，可能包含大量的模式。
综上所述，作者提出了四个主要贡献：
作者分析了圆柱体复杂的潜在空间，提出了圆柱体结构的新观点。作者展示了失真、感知和可编辑性之间的内在权衡。作者描述了这种权衡，并设计了两个编码器来控制它们。作者提出了一种新型编码器e4e。
允许对反转的实像进行后续编辑。
框架结构
作者的e4e网络架构。编码器接收输入图像，并输出样式代码w和一组偏移1 1.n-1，其中n是StyleGAN调制的层数。
作者通过复制W向量n次，并将每个I加到相应的元素上，得到最终的势表示。在训练期间，Ld-reg正则化鼓励最终表示中不同项目之间的小差异，从而保持接近w。
Ladv将每个潜在的代码引入StyleGAN映射网络的范围，从而使最终的表示更接近Wk。由于这两个正则项的应用，编码器的最终学习表示接近w。
实验结果
作者展示了源图像的三联体，它的反转，以及在多个域中对反转图像的编辑。在奇数行中，作者的基线编码器(A)获得反转。在偶数行中，作者使用配置d来编码接近w的图像，
观察反转图像的失真和感知质量之间的权衡。例如，在白马的图像中，使用配置a观察到反转图像的低失真(例如，保留了马鞍)，然而，感知质量低于通过d获得的图像(例如，马头不真实)。关于可编辑性，请注意左上角图片中的女性，
姿态编辑并没有忠实地改变a中的头发。相反，D以失真的细微退化为代价，获得了一个真实且视觉愉悦的编辑结果。从上到下，从左到右的编辑是：头部姿势，性别，日光，观点(x3)，马姿势，骑马者，猫姿势。
扭曲感知和扭曲编辑的权衡。放大细节。左边的图像是源图像。在顶部一行，作者展示了一系列图像，其中最左边的图像是通过pSp得到的重建图像，最右边的图像是通过e4e得到的重建图像。当作者向右移动时，
反转越接近W，失真越严重，感知质量越好。然后，作者使用StyleFlow对每个倒置和插值图像执行性别编辑。注意，当用于编辑的潜在代码接近W时，感知质量变得明显更好。例如，
观察最左边编辑过的图像中不真实的头发。
结论
作者的主要贡献有两方面：
作者提出了鼓励将真实图像的编码映射到表现良好的Wk区域的方法；作者设计了一个编码器，并根据失真和可编辑性之间的权衡，演示了其性能。
作者也讨论了评估重构和可编辑性的困难，并提出了建立在常用措施上的评估协议。从某种意义上说，作者提出的方法是对图像处理方法的一种补充，可以提高真实图像的编辑质量。
一般来说，作者的编码器鼓励映射接近W，这工作得很好，因为W周围的空间仍然是令人惊讶的高度表达。此外，该原理还可用于图像反演以外的问题。例如，它可以应用于地图潜在的向量。。多个图像，
或者说两个的组合，如身份和姿态的解离表示，或混合的两个图片，一个合适的潜在目标图像的代码可能存在于邻近w。作者计划去探索这个研究方向。
作者的反演方案是通用的，作者已经在五个具有挑战性和多样化的领域展示了它的性能。然而，请注意，有些领域比其他领域更难。人脸结构良好，简化了编码器的训练。例如，马的领域就复杂得多，因为它是非结构化的，
并且有许多模式。因此，训练这样一个领域的编码器是非常具有挑战性的。在未来，作者将考虑像Sendik等人那样的多模态生成器，并将编码器开发成多模态潜在空间。
最后，在这里作者考虑到一个给定的潜在空间的反转。在未来，考虑对生成器进行微调，并训练编码器和解码器，使其针对特定的下游任务实现共同目标，将是一件有趣且具有挑战性的事情。
论文链接：https://arxiv.org/pdf/2102.02766.pdf
每日坚持论文分享不易，如果喜欢我们的内容，希望可以推荐或者转发给周围的同学。
- END -
