《GAN技术再到新高度 利用pytorch技术生成72种图像.doc》由会员分享，可在线阅读，更多相关《GAN技术再到新高度 利用pytorch技术生成72种图像.doc（3页珍藏版）》请在三一文库上搜索。
1、GAN技术再到新高度 利用pytorch技术生成72种图像随着GAN的发展，单凭一张图像就能自动将面部表情生成动画已不是难事。但近期在Reddit和GitHub热议的新款GANimation，却将此技术提到新的高度。GANimation构建了一种人脸解剖结构（anato若是能单凭一张图像就能自动地将面部表情生成动画，那么将会为其它领域中的新应用打开大门，包括电影行业、摄影技术、时尚和电子商务等等。随着生成网络和对抗网络的流行，这项任务取得了重大进展。像StarGAN这样的结构不仅能够合成新表情，还能改变面部的其他属性，如年龄、发色或性别。虽然StarGAN具有通用性，但它只能在离散的属性中改变
2、面部的一个特定方面，例如在面部表情合成任务中，对RaFD数据集进行训练，该数据集只有8个面部表情的二元标签（binary label），分别是悲伤、中立、愤怒、轻蔑、厌恶、惊讶、恐惧和快乐。GANimation的目的是建立一种具有FACS表现水平的合成面部动画模型，并能在连续领域中无需获取任何人脸标志（facial lan生成器G; 用于评估所生成图像的真实度和表情调节实现的评论家（critic） D。生成器G生成器器被训练来逼真地将图像聚焦于图像的那些负责合成新表情的区域，并保持图像的其余元素如头发、眼镜、帽子、珠宝等不受影响。为此，我们在生成器中嵌入了一个注意力机制。首先测试主要组件，即单
3、个和多个AU编辑。然后将我们的模型与离散化情绪编辑任务中的当前技术进行比较，并展示我们的模型处理野外图像的能力，可以生成大量的解剖学面部变换的能力。最后讨论模型的局限性和失败案例。值得注意的是，在某些实验中，输入的面部图像是未被裁剪的。在这种情况下，我们首先使用检测器2来对面部进行定位和裁剪，利用（1）式进行表达式的转换，以应用于相关区域。 最后，将生成的面部图像放回原图像中的原始位置。注意力机制（attention mechanism）可以确保经过变换处理的裁剪面部图像和原始图像之间的平滑过渡。稍后图中可见，与以前的模型相比，经过这三个步骤的处理可以得到分辨率更高的图像（链接见文末）。图4：
4、单个动作单元的编辑随着强度（0.33-1）的增加，一些特定的动作单元被激活。图中第一行对应的是动作单元应用强度为零的情况，可以在所有情况下正确生成了原始图片。图5： 注意力模型中间注意力掩模A（第一行）和颜色掩模C（第二行）的细节。 最底下一行图像是经合成后的表达结果。注意掩模A的较暗区域表示图像的这些区域与每个特定的动作单元的相关度更高。 较亮的区域保留自原始图像。图6： 与当前最先进技术的定性比较图为面部表情图像合成结果，分别应用DIAT、CycleGAN、IcGAN、StarGAN和我们的方法。可以看出，我们的解决方案在视觉准确度和空间分辨率之间达到了最佳平衡。 使用StarGAN的一些结果则出现了一定程度的模糊。图7：采样面部表情分布空间通过yg向量对活动单元进行参数化，可以从相同的源图像合成各种各样的照片的真实图像。图8：自然图像的定性评估上图：分别给出了取自电影加勒比海盗中的一幅原图像（左）及其用我们的方法生成的图像（右）。 下图：用类似的方式，使用图像框（最左绿框）从权力的游戏电视剧中合成了五个不同表情的新图像。图9：成功和失败案例图中分别表示了源图像Iyr，目标Iyg，以及颜色掩膜C和注意力掩模A. 上图是在极端情况下的一些成功案例。 下图是一些失败案例