基于深度学习的纹理合成

纹理合成

纹理合成是为了解决纹理映射中存在的接缝走样等问题而提出的,目前纹理合成方法可分为两类:一类为过程纹理合成(PTS),另一类为基于样图的纹理合成(TSFS)。
过程纹理合成通过对物理生成过程的仿真直接在曲面上生成纹理,如毛发、云雾、木纹等,从而避免了纹理映射带来的失真。这种方法可以获得非常逼真的纹理,但对每一种新的纹理,却需要调整参数反复测试,非常不便,有的甚至无法得到有效的参数。
自然界中存在大量的纹理,这些纹理往往具有自相似性,即一小块纹理就能反映整体纹理的特点。这就促使人们着手研究基于样图的纹理合成方法以取得更有效的成果:给定一小块纹理,生成大块相似的纹理。

基于深度学习的纹理合成

现实世界中展示了大量非静态纹理,其具有大规模结构的纹理,以及空间变化和均匀纹理。
我们的方法使用生成对抗网络(GAN),训练使从特定纹理样本中提取的纹理块的空间范围加倍。 一旦经过训练,完全卷积发生器就能够扩展整个样本及其任何子块的大小。 我们证明了这种概念上简单的方法对于捕获大规模结构以及输入范例的其他非固定属性非常有效。 因此,它可以应对具有挑战性的纹理。

要点

  1. 非平稳性纹理包括大规模不规则结构的纹理,或者是在颜色、局部方向和比例的某些属性中呈现空间变化的纹理;
  2. 基于实例的纹理合成的目的是生成纹理,捕获样本的视觉特征并保持逼真的外观;
  3. 使用生成对口网络来将小纹理扩展为类似于原始样本的较大纹理。

    相关内容

    http://kns.cnki.net/KCMS/detail
    https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=5565210
    http://dx.doi.org/10.1145/3015461
    http://vcc.szu.edu.cn/research/2018/TexSyn