谷歌开放AI怪兽制造机,快来打造你的数码宝贝世界吧!

2020年11月19日 10:39 来源:AI科技评论 作者:青暮

作者 | 青暮

艺术创作通常不仅对艺术创造力要求极高,也需要高超的技巧,要磨练出这样的技巧需要花费大量的时间和精力。

我们对具备高超技巧的艺术作品自然充满敬意,欣赏这类作品也能带来极大满足感。

但艺术作品的灵魂还是在于创造力,有时候表现手法比绘画技巧更加重要。让作品优秀到忽略画风,也是一种伟大的能力。

然而,如果工具能够更加智能一些,不仅仅是充当工具,更像是扮演着助手的角色,是不是更能让艺术家释放自己的创造天分呢?今天,谷歌就给我们带来了这样的惊喜。他们开放了一个机器学习模型的Demo,其功能简单来说就是“你画轮廓,我补细节”。        

正如上图所示,只需要根据部位选择画笔颜色,比如淡紫色代表翅膀、红色代表头部,勾勒出轮廓后,点击一下“转换”,就创造出真实的怪兽了。        

看,这只AI生成的怪兽光影细节逼真、立体感满满,只是,看起来不够可怕?        

没关系,我们再给它添加点棱角,也就是几笔几画的事情。        

 这样是不是威猛多了?这款怪兽生成器名为Chimera Painter,Chimera即奇美拉,是希腊神话中狮首、羊身、蛇尾的神兽,也就是具有不同物种特征的拼接生物。拼接是很古老的艺术创作手法,比如先秦奇书《山海经》中的奇珍异兽基本都是各种真实生物的拼接产物。

山海经版人鱼谷歌取这名字的暗示是,你可以按照自己的想法自由拼接不同的生物体,打造自己的怪兽。但问题在于,手残党可能连基本特征都画不出来...且慢,作者还是很贴心的,他们为用户提供了四种不同的原型。即使不能大刀阔斧地从头创造怪兽,也能精雕细琢去“美化”原型。

Chimera Painter用户界面(地址:https://storage.googleapis.com/chimera-painter/index.html)用户可以选择一个参考生物,然后调整生物部分的形状、类型或位置,从而可以快速探索并创建大量图像。此外,这个Demo还允许上传本地图像。Chimera Painter背后的模型架构即我们熟悉的生成对抗网络(GAN),并且是条件GAN,用颜色块代表生物体部件的语义。从模型效果角度,可以看成是语义分割网络的逆变体,但训练方法不同。实际上,英伟达也曾经开发出类似的模型GauGAN(CVPR 2019 oral),它可以将分割图转换为风景图,Chimera Painter可以看成是GauGAN的怪兽版本。

为了训练GAN,谷歌创建了全彩色图像的数据集,其中包含了由3D生物模型转换的单一物种生物轮廓。生物轮廓线描绘了生物的形状和大小,并提供了个体身体部位的分割图信息。模型经过训练后,接下来的任务是根据艺术家提供的轮廓生成多物种的嵌合体。最后,将性能最好的模型合并到Chimera Painter中。下图展示了使用模型生成的一些示例,包括单物种生物(下排,海马、螃蟹、豪猪)以及更复杂的多物种嵌合体(下排,蚂蚁+豪猪、钝口螈+鲸鱼、飞蛾+螃蟹)。

游戏卡牌界面的设计充满着童年回忆的气息,但菜鸟小编只能小打小闹一番,有基础的玩家可能已经开始构建自己的数码宝贝世界了。

通过结构学习创造生物

人类对生物身体解剖结构比如眼睛、手指、耳朵等的感知是很敏感的,但GAN通常很难对生成内容的结构有很好的语义理解。在GAN的随机采样图像中,我们经常能看到如下图中所示的混合体,其结构并不鲜明,这样的案例一般认为是失败的。        

由于嵌合体生物的幻想特性,为了美学需要,生成这些生物需要一类全新的数据集,它必须是非摄影的、幻想的风格,还具有其它独特的特征,例如戏剧性的视角、构图和照明。于是,谷歌请了艺术家来构建数据集。比如对于下图中的鬣狗,艺术家会先使用虚幻引擎构建3D模型,然后分别用彩色纹理(左)和语义分割图(右)叠加到3D模型上,然后,使用虚幻引擎将3D生物模型放置在简单的3D场景中,这样一个数据对就完成了。

接下来,谷歌使用自动化脚本改变3D生物模型的姿态、视角、缩放尺寸,从而对数据集进行增强。使用这种方法,谷歌为每个3D生物模型生成了10000+张图像对,与手动创建(每张图像大约20分钟)相比,节省了数百万小时的时间。由于自动生成的图像存在一定程度的失真,谷歌还结合了艺术家的反馈对生成效果进行了改进。此外,感知损失也是一个重要因素,下图是使用不同的感知损失权重的GAN生成的示例。        

上图中的某些变化是由于数据集中每种生物包含多种纹理(例如,红色或灰色的蝙蝠)而造成的。然而,除颜色以外,还有许多特征的差异与感知损失的变化直接相关。尤其是,谷歌发现某些值可以带来更鲜明的表面纹理特征,使生成的生物看起来更真实。

怎么样,心动了吗?祝看官玩的开心~

参考资料:https://ai.googleblog.com/2020/11/using-gans-to-create-fantastical.html

 

转载自公众号:AI科技评论 作者:青暮 本文经授权发布,不代表51LA立场,如若转载请联系原作者。

更多互联网行业动态>>请关注微信公众号“我要啦统计”(微信ID:Analysis_51la)

探讨产品的使用及网站经验交流>>欢迎进入“51LA站长交流群”(Q群:608879616