NVIDIA与铠侠共同探讨人工智能的未来(上)“TEZUKA 2020”项目:人工智能与人类协作的可能性

2022.04.25 NVIDIA与铠侠共同探讨人工智能的未来(上) “TEZUKA 2020”项目:人工智能与人类协作的可能性

“TEZUKA 2020”使用人工智能技术与人类漫画家协作,共同创作了一部具有日本传奇漫画家手冢治虫风格的全新漫画。它是铠侠“#世界新记忆”品牌活动的第一个项目。人工智能将手冢治虫的漫画作为原始数据进行学习,自动生成角色设计和情节,最后由人类漫画家对生成的设计进行微调以完成这部新漫画。在本文中铠侠的折原良平和NVIDIA的井﨑武士讨论了他们在该项目技术方面所扮演的角色。

“TEZUKA 2020”:人工智能创作的手冢治虫漫画

手冢治虫是日本代表漫画家之一。如果他今天还活着,会创作出什么样的作品呢?这个天马行空的问题启发了史无前例的“TEZUKA 2020”项目,该项目通过人工智能与人类之间的协作成功地回答了这个问题。铠侠的折原良平是该项目的带头人,他回顾了这一切是如何开始的。

折原:“TEZUKA 2020”最初是为了推广我们在业务中使用的人工智能技术。铠侠企划的 “未来的记忆”于10月启动,当时我们正在考虑半年内能做出什么样的项目,刚好 2月9 日是手冢治虫逝世周年纪念日,也被称为 “漫画日”。我们想如果届时能用漫画发表点什么,一定会比较有影响力,这就是项目的开始。

项目主要成员有东京大学Next Generation Artificial Intelligence Research Center(新世代人工智能研究中心)的松原仁教授、庆应义塾大学理工学部管理工学科的栗原聪教授、未来大学函馆分校的迎山和司教授和手塚治虫的儿子手塚真等多方人士。我是项目负责人,很多铠侠工程师也参与了这个项目。

──这个项目是如何实现人工智能与人类协作的?

折原:讨论过人工智能都能做什么之后,我们意识到单纯依靠它创作出商业品质的漫画还是不可能的。这就是为什么我们决定尝试人类与人工智能协作。协作的形式多种多样,我们决定采用的是让人工智能提供情节线和基本角色设计,然后由人类漫画家画成漫画。实际过程中剧情创作比较顺利,但在人物设计上遇到了一些困难。

──如何训练人工智能重现手冢风格?

折原:首先,我们提取了大量面部图像并将其作为训练数据导入,然后使用生成对抗网络 (GAN) 来创建新的角色设计,结果并不可行。这时铠侠的一位工程师提出了一个想法:与其让人工智能从头开始学习创建角色,不如使用一个已经能够识别和生成面孔的模型,然后让它进行迁移学习,最后通过微调该模型来解决这个问题。有意思的是,这位工程师并不是人工智能方面的专家,但他的方法奏效了。

之后我们就开始使用大量动漫人物的面孔来训练模型,但其中一位漫画家非常敏锐地指出:这样训练出的模型将再现动漫风格,而不是手冢治虫的漫画画风。最终我们以真实人脸训练的模型作为基础,使用手冢治虫的漫画数据让其进行迁移学习。手冢治虫本人在创作角色时也会从真实的人脸中汲取灵感,因此这个方法在理论上是合理的。我们决定使用经过人脸训练的NVIDIA模型,这就是NVIDIA参与到该项目的原因。

井﨑:是的。最开始是栗原教授联系我说想使用我们的StyleGAN模型。从“铁臂阿童木”到“黑杰克”,我从小就一直在读手冢治虫的漫画,因此能够加入这个项目我很荣幸。NVIDIA的技术可以应用到这个项目中让我很兴奋。当时,GAN因其处理创造性工作的能力在人工智能领域风靡一时。漫画是日本文化中一个独特部分,将我们的模型用于漫画相关的项目是很难得的机会。所以我联系了NVIDIA总部,询问我们是否可以参与其中。

──NVIDIA具体是如何参与到项目中的?

井﨑:NVIDIA的StyleGAN源代码在GitHub上对公众开放,任何人都可以尝试使用。栗原教授也将已发表的StyleGAN算法应用到了这个“TEZUKA 2020”项目中。由于GitHub是一个开源社区,因此NVIDIA和铠侠工程师之间无需实际会面即可进行交流。

折原:GitHub上可以提交错误报告,还可以查看其他人的讨论。

井﨑:这就是开源社区的厉害之处。

──通过这个项目您学到了什么?

折原:就个人而言,我觉得没有被骂就很不错了!我很惊讶我们没有收到任何负面评价。这在很大程度上要归功于最终将作品整理成型的才华横溢的漫画家们。“TEZUKA 2020”项目的目的不是为了再现手冢治虫,而是为了创作出类似手冢治虫风格的漫画;没有被误解成取代手冢治虫老师“人格”的项目,我认为算是很成功的。

井﨑:在技术方面,将最新技术融入日本漫画文化,为进一步扩大创造力做出贡献,这是一项了不起的成就。此外,正如你所指出的,人工智能创造出的漫画能够被市场所接纳,让大家知道原来人工智能还可以这样使用,使其变得更加普遍,更加大众化。这次人类和人工智能之间的协作,是将人工智能作为人类使用的一种工具,这是一个很好的实例。

──人工智能和人类的协同创作有什么困难吗?

井﨑:人工智能创造出来的角色不能直接被使用,还需要真人漫画家加工。从几个不同的角色设定中,我们选了一个有点阴暗的主角。我认为这是协同创作的一个有趣的例子:人类保留选择权,并最终完成该角色的设计。

折原:至于情节,其实人工智能生成了很多莫名其妙的情节,但手冢真很擅长破译,他把乍一看很矛盾的情节换个角度组合、诠释,就变成了一个完整的故事。人工智能输出的是看似无关联、断续的点,而手冢先生用一条线把它们很好地串联起来,最终的故事非常有趣。

虽然谁都没有说,但这个项目刚开始时,每个人都在想同样的问题:如果这个项目成功了,别人问我们人工智能从手冢治虫的风格中学到了什么,我们该怎么回答?至少我个人在一开始的时候是不知道答案的。关于这个问题我看还是留给“手冢制作”公司来评论吧。

──很难定义的“手冢风格”。

折原:实际在训练数据中我们只使用了手冢治虫的部分角色,而不是全部。这一是因为裁剪出这么多不同的面孔技术难度较大,更重要的是,如果你放入一个像阿童木或黑杰克这样特性太强的角色,模型会因此受到很大的影响,使学习变得困难。

训练开始后生成的动画会逐渐生成一些未包含在训练数据中的角色。漫画家说:“哦!生成的角色越来越有意思了!”我才能判断人工智能已经学会了手冢治虫的风格。

井﨑:在StyleGAN演示中,我们让模型学习了很多名人的面孔,所以它创建的面孔看起来会像名人。这次我们为已经经过训练的模型输入手冢治虫的角色进行迁移学习。创造出的人物即使是外行人也会觉得:“哦,这个确实是像手冢治虫老师画出来的人物。”这其实包含了很多细节,比如角色眼神的锐利程度,人物性格的强弱等。GAN的特点是从学习数据中输出相似但不相同的图像,看到创造出的”手冢风格“图像真的很有意思。

──有些漫画家因某种原因无法继续画出连载作品,但是粉丝们不停地催促想看下一集。人工智能在未来参与这类创意活动的要点是什么?

井﨑:这是一个相当难的问题。一个漫画家的粉丝喜欢他的作品,是因为这个漫画家画了它。人工智能只能是模仿,因此读者应当很难接受人工智能代笔输出漫画家的作品。当然如果这个漫画家也认可该作品,那么这还是有可能被接受的。比较重要的是对该作品的定位——是将其视为原作的续集,还是作为人工智能独创的作品。有了定位读者才可以有选择地接受。

未来,我们会看到越来越多的娱乐方式出现在虚拟世界中,我们的数字分身将代表我们,参与与其他分身各种形式的互动;可能包括金融交易,也可能包括商业活动。所以问题是人们会不会接受这种分身。如果接受分身作为自己的代理,理解分身有不同的娱乐方式,也就能接受本项目中呈现的类似作品。

刊登内容为2022年2月的采访内容。