《铁臂阿童木》、《怪医黑杰克》、《火鸟》......依靠人工智能创造手塚治虫笔下的作品角色,向这一前所未闻的创举发起挑战  ー 手塚2020(TEZUKA 2020)第四部  角色 ー

《铁臂阿童木》、《怪医黑杰克》、《火鸟》......依靠人工智能创造手塚治虫笔下的作品角色,向这一前所未闻的创举发起挑战 ― 手塚2020(TEZUKA 2020)第四部 角色 ―

从手塚治虫留下的多达15万页的原稿数据中学习的AI,将赋予新角色以生命————。我们采访了果敢挑战了这个名为“手塚2020(TEZUKA 2020)”的宏伟项目,并在经历了反复试错后使其得以实现的创作者、研究人员和技术人员们。

什么是“手塚式风格”角色?

Macoto Tezka
手塚 真
株式会社手塚制作 董事、映像作家

拥有天才般的能力,同时也具备普通的人性。
从手塚治虫的角色中,可以感受到一种绝妙的真实感。

手塚的作品中充满了个性丰富的角色。为了创造出能与其匹敌的角色设计,首先要让AI学习什么是手塚式风格的角色。为了做到这一点,团队从手塚大量的作品中提取出角色,让AI进行学习。但手塚真先生表示,“起初事情的发展并不如我们所期望的那样顺利”。

“最先出现的图像甚至没有面部,在我们看来只是一个模糊的图案。要求AI仅通过学习漫画的图画就能创造出手塚治虫的角色,现在想想未免有些过分了。”

此外,项目组还关注到了角色所具备的个性。在对手塚漫画的主人公进行简单分析后,发现可以分为两类。

“一类是天才型主人公。角色非常强大或聪明。例如,阿童木是拥有百万马力的超级机器人,而黑杰克则是天才外科医生。另一类则是没有任何特殊能力的普通人。这类主人公被卷入特殊事件,通过不懈的努力成长为优秀的人,并引导事件得以解决。”

其中“手塚2020(TEZUKA 2020)”所需要的,则是具备前者天才力量的角色。如何使AI创造出符合其属性的角色设计成为了一大难题。

“如果像无所不能的超人一样,外表看起来就很厉害的话,那没什么意思。我们反而想要一个有着巨大落差,外表看起来最没有能力的角色。工作做不好,或许甚至连住所都没有,这样的角色能够大显身手的话,就是很典型的手塚式风格作品。”

经过各种各样的反复试错,AI的准确性得到改善,真先生回想起当时发生的令他为之震惊的事。

“明明没有让它学习,但有一天AI竟生成了一个与现有角色非常相似的角色。并非像由弟子或助手所画,而是出现了几个明显像出自手塚治虫本人之手的角色,这让我十分震惊。这件事让我真正意识到了AI的潜力。

手塚 真

株式会社手塚制作 董事、映像作家

1961年出生,漫画家手塚治虫的长子,从小在制作漫画和动画的具有创造力的环境中成长。本项目中唯一了解“手塚式风格”的人。1985年在电影《星尘兄弟的传说》中担任商业电影导演出道。1999年凭借《白痴》获得威尼斯国际电影节未来数字电影奖。如今以映像作家这一头衔,在电影和动画等影像作品中担任导演。新作《迷幻少女》将于(已于)2020年上映。

更多

AI成为人类真正伙伴的时代即将到来

Masato Ishiwata
石渡 正人
株式会社手塚制作 创意部部长

难以想象是出自同一位画家之手的绘画范围。
这才是“手塚治虫式”漫画

作为这次代表手塚制作的项目负责人,石渡正人一直参与着“手塚2020(TEZUKA 2020)”项目。从给AI提供学习资料,到与出版社交涉,再到漫画制作,石渡一直是确保项目顺利进展的关键人物。在他眼里,这个项目是怎样的呢?

“人和AI齐心合力绘制漫画。团队成员对这个史无前例的项目士气极高,这让我很吃惊。我强烈地感受到我们正在创造一个新的时代。不知不觉中,连我自己也沉浸到了其中。”

当询问到石渡先生有关手塚治虫式角色时,他给出了令人意想不到的回答。

“说实话,每次被问到‘手塚治虫式角色’时,我总是不知道该如何回答。1946年出道以来,手塚在43年间一直持续着绘画工作,发布的媒体也是从儿童杂志到普通杂志,五花八门。我也在工作过程中曾接受过知名角色集体画的委托,但观察每个角色线条的粗细、笔触和比例等时,会发现差异很大,看起来完全不像由同一位漫画家所画。”

石渡先生补充到:“根据不同的时代、类别和目标受众,会有不同的手塚治虫”。

“即使是身体不会成长的机器人阿童木,也在17年的连载中发生了比例的变化。这一点在过去对手塚治虫的采访中也有相关记载,他表示改变了阿童木的头身以适应时代潮流。然而,无论在哪个时代,用于描绘角色的线条之美从未改变。不管是直线还是曲线,都能带着速度感毫不犹豫地走向终点。这就是手塚治虫最大的特色吧。”

这一点,从这个项目中也可以窥见一斑。就像阿童木希望人类和机器人可以共存一样,如果人类和AI能够在互补对方优势和劣势的同时绘制漫画的话,那将多么美妙。这样的幻想使未来看起来更加有趣。

“世界上有很多关于AI的讨论。但如果能跟它和谐共处,我们必定能做出更好的作品。我期待着AI能成为人类真正伙伴的那天,我在等待那一天的到来。”

石渡 正人

株式会社手冢制作 创意部总监

石渡正人于2000年从广告企划公司退出,加入了株式会社手冢制作,担任创意部总监。除此之外他还担任东京富士大学客座教授、早稻田大学媒体文化研究所特邀研究员、阿童木货币(Atom Community Currency)执行委员会副主席等。 他最喜欢的手冢治虫作品是《三神奇》和《火之鸟》。 石渡正人著有《阿童木的轨迹》、《社区货币》、《探索媒体的未来》和《用阿童木货币绘制社区设计图》等日文书籍。

更多

发展为AI与人类的共创型合作

Kazushi Mukaiyama
迎山 和司
公立函馆未来大学教授

手塚治虫描绘的面部
在AI眼中并非如此

迎山教授正在公立函馆未来大学,从事着让电脑代替人类画图的研究。

“深入研究的话,我认为有些东西是无法被电脑取代的。那就是只有人类才能做到的‘创造性的事情’,为了了解这一点,我还在继续研究。”

在这一项目中,迎山教授受手塚制作委托,用识别器将手塚治虫原稿数据分成分镜和对白框等,并让AI学习。

“为了让AI进行机器学习,首先要告诉它们什么是面部。由于手塚先生所画的角色是变形后的,所以至今为止仅用于识别人脸的识别器并不适用。结果我们不得不自己选择可以使用的面部图像,而这个数量并非1、2张,而是数以万计。于是这项工作便从和学生一起收集面部图像开始了。”

工作内容极为繁杂。首先需要从《怪医黑杰克》、《火之鸟》、《铁臂阿童木》等作品中逐一提取面部图像,这需要大量的时间。在这项工作告一段落后,再开始着手于其他作品。

“机器的不懂变通让我们很痛苦(笑)。我们反复进行了试错,比如让AI学习手塚作品以外的角色的面部以及真人的面部,并通过将同一个角色左右反转来使它增强记忆。”

为了提高AI生成的图像的精确度,迎山教授从多方面作出了尝试。对这次项目,他作出了如下的感想。

“即使将来AI能够绘制漫画,我也不认为人类的创造力会变为零。因为漫画不仅有作者,还有读者。纵观漫画的发展历史,很多新的拟声词和对话框的表现形式被创造出来,但如果读者不接受的话,它们也不会存续。我认为这次项目也会发生同样的事情。多少工作将由AI完成,多少将由人类完成?我想这个标准总有一天会诞生。也许会是1万年以后,到那个时候,人类的创造性会变成什么样子?我表示期待。

迎山 和司

公立函馆未来大学教授

迎山和司毕业于京都市立艺术大学媒体艺术博士课程。1998 年至2000年担任加州大学圣地亚哥分校计算机研究所(现为 Arthur C. Clarke 中心)访问艺术家,他的作品曾于2000年获得.net 类别电子艺术大奖,于2011年入选国际电子语言艺术节(圣保罗,巴西)。2016年迎山和司被聘为巴黎东-马恩拉瓦莱大学 IMAC客座讲师。为了研究创意活动中的信息处理过程,迎山和司利用人工智能绘制图片,发表了有关人类认知特征的论文。迎山和司小时候是靠看《铁臂阿童木》漫画来学习汉字的。

更多

迎接前所未有的挑战
反复试错的角色生成

  • 迎接前所未有的挑战 反复试错的角色生成
  • 迎接前所未有的挑战 反复试错的角色生成

为了让AI学习手塚式角色而准备的,是手塚治虫留下的15万页的原稿数据。这些原稿在经过函馆未来大学的识别器识别之后,被分类并标记为“分镜”、“对话框”、“面部”、“身体”。为了提高生成的图像质量,团队进行了反复试错,如通过反转图像以增加识别张数,或只读取女性角色等,直到生成理想的图像。

“迁移学习”为角色生成打开突破口

Satoshi Kurihara
栗原 聪
庆应义塾大学 理工学部 教授/电气通信大学 人工智能最尖端研究中心 特聘教授

使用AI生成黑白漫画属于首次尝试。
对于我们,也是一系列未知的挑战

在这次项目中,技术团队的课题是,如何从图片和场景中提取数据,以便AI学习手塚式风格,以及如何让已经使用数据学习了手塚式风格的AI,生成新的情节和图片。起初的策略是使用现有的技术来生成角色图像,但实际过程中却遇到了各式各样的难题。

“这次用于图像生成的AI,可以通过输入庞大数量的脸部图像来学习‘面部’这一特征,从而生成并不存在却极其真实的人脸。最初只是单纯地让AI学习了手塚治虫所绘的角色。这可能是让AI生成漫画单色线条的首次尝试,对我们来说也是一个未知的挑战。”

仅就结果而言,所设想的角色并未被生成,栗原教授表示这在“意料之中”。

“我们也没有期望从一开始就能生成出完美的面部图像。但确实在这个像面部又不是面部的图像中,看到了一丝手塚式的影子。或许可以在这个基础上,再由人类来加工完成角色。当时可能也萌生过这样的想法。”

由于手塚漫画中角色的正面镜头极少,因此让AI学习“手塚治虫式风格”是有限的。

“虽然话是这么说,但我们使用的AI可以生成相当高质量的人脸,如果再不创造出点像样的东西,可就有点说不过去了......当时确实大家都怀揣着这样的想法(笑)。于是,在铠侠的帮助下,我们决定使用一种叫作迁移学习的技术,对通过数十万人脸数据学习的AI所获得的面部特征数据加以利用。”

这个想法使项目再次有了进展,但在那之前却是一段漫长的摸索时期。

“在经历了相当多的试错及曲折之后,我们最终找到了迁移学习的方法。现在回想整个过程,也不失为一段有趣的经历。”

栗原 聪

庆应义塾大学 理工学部 教授/电气通信大学 人工智能最尖端研究中心 特聘教授

从庆应义塾大学理工学研究科毕业后,就任于NTT基础研究所、后担任过大阪大学产业科学研究所副教授、电气通信大学信息理工学研究所教授后至今。工学博士。喜欢的手塚作品为《森林大帝》、《蓝宝石王子》、《怪医黑杰克》,认为这些故事和设定触动了他的心。著有《人工智能与社会》(欧姆社)、编辑《人工智能学事典》(共立出版)等多部作品。最近著作有《AI兵器与社会未来 杀手机器人的真面目》(朝日新书)。

更多

创造出无限接近手塚治虫的角色
什么是生成式对抗网络(GAN)的深度学习

生成式对抗网络的结构

角色生成的核心是一种叫做对抗生成网络的AI技术,俗称生成式对抗网络,它可以使AI通过学习“真实的样子”以生成尽可能逼真的图像。
它以“对抗”的方式进行学习,识判别生成数据与输入数据的接近程度,然后生成更高质量的数据,直到识别器无法将其与输入数据区分开来。
通过重复生成和识别的过程,可以输出与生成数据几乎一致的数据。这个系统最初是由铠侠用于提高半导体设计和制造品质上的,但在本项目中被应用于角色生成。
然而实际应用并没有这么容易,但这也是AI的乐趣所在。在“手塚2020(TEZUKA 2020)”项目中,将已经学习了手塚式风格的生成式对抗网络,进一步导入至2种类型的AI中来生成角色。得到了如下3个结果。

【生成式对抗网络①】

  • 生成式对抗网络①
  • 最初提出的生成式对抗网络通过一次处理就能生成整个面部图像,因此细节的完成度不高。生成式对抗网络①通过从轮廓等粗略部分开始,阶段性地生成眼口鼻等细节部分的新方法,试图生成完成度更高的图像。
    最初让AI尝试学习了约4500张图像后,得到了类似图像的生成结果,之后将已学习的图像进行左右反转,通过进一步学习反转后的数据,使学习数据达到了4倍左右,约1万8000张。由于学的数据越多,精确度就越高,项目因此取得了很大的进步。

【生成式对抗网络②】

  • 生成式对抗网络②
  • 但这仍然不够理想。团队决定从头开始,只采用手塚漫画中的女性角色让AI进行学习。也许是因为女性角色图案较为完整,所以得到了较好的结果。之后团队还尝试了各种方法,如对混合角色图像进行学习等。

【生成式对抗网络③】

  • 生成式对抗网络③
  • 最终,“迁移学习”这一技术的导入起到了决定性作用。让已经从数十万张的数据中学习过的AI,以追加学习手塚漫画角色的形式学习了人类面部的特征。结果这一次,一个没有破绽的手塚式风格的角色被生成,项目取得了巨大进展。《斐多》也由此诞生。

专业开发的执着推进了项目的发展

Atsushi Kunimatsu
国松 敦
铠侠株式会社 费级固态硬盘技术部

让AI迁移学习真实的人类面部,
是该项目取得巨大进展的契机

学习手塚漫画角色的初期AI,并没有办法生成团队所期望的角色。项目组反复向AI提供反馈以寻求改善,最终是导入“迁移学习”这一思维的转变成为了突破口。那么迁移学习技术到底是什么呢?

“简单来说,就是分成两个阶段学习。最初实施的让AI只学习手塚漫画,就是其中一个阶段的学习。但说到底漫画本就是人脸的二维化表现,因此我们决定让AI先用真人图像学习人脸的结构,然后再学习手塚漫画。”提出这项技术的来自铠侠的国松敦这样解释。

起初,大家认为让AI学习数十万张手塚漫画的数据是最好的方法。但是由于手塚漫画中几乎没有正脸的描绘,适合学习的数据数量比预期要少,因此无法顺利生成角色的状态始终未能摆脱。

随后,国松提议在手塚漫画数据以外进行迁移学习。深夜,在研究室里,团队进行了激烈的讨论,当时大多数人认为“估计行不通”,但是国松对备份计划的重要性等进行了说明,推进了这个想法。

“项目越大,越有可能发生意外。因此除主轴以外,准备计划B和计划C十分重要。可能最后用不上,但在面临世界初次挑战时却是必要的。当然,就跟买保险一样,要是投保金比保险金还多,那就是本末倒置了(笑)。铠侠在开发方面是专业的,也许正因为如此,才养成了准备备份计划以防万一的习惯吧。”

随着迁移学习的导入,“手塚式角色”得以生成,项目得到巨大进展。事实上在那个时候,不仅仅是真人图像,技术团队还尝试让AI从动漫和插图的人物面部中进行迁移学习。虽然质量和稳定性良好,但手塚治虫生前都是通过观察真人的面部来创造人物形象的,项目组非常重视这一事实,因此该想法并未被采纳。

“我其实很惊讶,因为已经很长时间没有进展了。但是我相信,正是这样脚踏实地的积累才能让技术得以发展。如果有一天这项技术能够进一步促进漫画、动画这些日本代表性文化的发展,那就太好了。”

国松 敦

铠侠株式会社 费级固态硬盘技术部

国松敦作为铠侠株式会社的工程师参加了“手塚2020(TEZUKA 2020)” 。他为角色的生成提供技术提案,是项目的领导者。他的本职是SSD(闪存)的开发工作。 国松敦第一次接触手冢的作品是在小学时,他在图书馆阅读了包括《怪医黑杰克》、《小白狮》等诸多手冢的漫画。热爱考古遗址的他最喜欢的作品是《三眼神童》。

更多

解决问题的关键
什么是“迁移学习”?

解决问题的关键 什么是“迁移学习”?

迁移学习,是指将学习了一个领域的模型,来适应另一个领域的技术......这可能听起来很难,以这次的项目为例的话,就是让“学习了人脸结构的模型”适应(追加学习)“学习手塚漫画的模型”。
之前的想法,都是让全新的AI只学习手塚漫画的角色,并试图创造出新的角色,而迁移学习则是让已经可以绘制人脸的AI学习手塚漫画的角色。
对于AI来说,学习的数据量越多,其生成的数据质量就越高。仅是手塚漫画的话,数万张已是极限,但要是人脸的话,它可以从数十万张图像中进行学习。迁移学习使得AI的学习量有了飞跃式的提升,这就是成功的关键。

提高角色精确度的最终挑战

Atsushi Nakajima
中岛 笃
铠侠株式会社 存储器技术研究所 系统技术研究开发中心

多重个性的交织,创造出更具独创性的角色。
我仿佛看到了漫画的未来

迁移学习再次推动了处于停滞状态的项目。这个成为转折点的想法,在实践中是如何实施的呢?接下来的另一个挑战又是什么呢?

“起初我也对迁移学习是否能顺利进行抱有疑虑。之所以这么说,是因为真实的人脸和变形后的漫画脸之间的信息量实在是天差地别。例如,人脸包含了肤色、颜色的深浅和印迹等信息,而在漫画中只有白色。这相当于完全没有信息,所以AI应该很难分辨出脸的不同部位。”在铠侠负责项目执行的中岛笃这样回忆道。

然而,结果却出乎意料的顺利。虽然推测了各种各样的理由,“但最后我们也没弄清楚……”中岛说道。虽然可以追踪AI每一步的计算,但角色究竟是如何被成功生成的?对于这一点却意外地没有答案。

虽然项目进展顺利,但生成符合故事情节的角色这一点仍然是个难题。故事的大致框架已经确定,但是满足“独具风格且符合人物形象”这一条件的结果,却很难生成。

“于是,我们尝试了‘将迁移学习中诞生的人物个性叠加’的方法。通过这种方法,可以将一个角色的特征反映到其他角色上。具体来说,只让任意一个角色的眼睛与另一个角色的眼睛叠加再剥离,这样可以创造出一个介于两者之间的角色。”

这次在《斐多》中登场的主要角色的原稿都是由AI创造的。中岛说,他从中看到了漫画的未来。

“虽然不知道会是什么时候,但我认为仅靠AI就能制作漫画的未来一定会到来。比如,要是对故事情节不满意,就可以一边和AI合作一边共同创造新故事。这种漫画创作方式,也许会成为常态。”

中岛 笃

铠侠株式会社 存储器技术研究所 系统技术研究开发中心

中岛敦在加入铠侠之前从事过电视和录像机的开发工作。如今他利用机器学习来提高生产和设计的效率,他进行的图像生成领域的工作将会进一步提高学习效率。“手塚2020(TEZUKA 2020)”之中, 中岛敦将迁移学习的想法付诸于实践。中岛敦是从小学课本中学到手冢治虫的那一代人, 小时候的他喜欢看《三眼神童》的动画,“碰到困难时,自己想办法解决”的故事题材让他兴奋不已。

更多

不同个性的交织
使得生成更符合故事的角色成为可能

事实证明,通过“将角色们的个性交织”,可以创造出具有前所未有特征的角色。它的原理是通过阶段性地改变两个角色叠加的比例,以得出不同的结果。实际的变化过程请通过GIF动画了解一下吧。

这就是从实际生成结果中提取的图像。可以看到,只有细节发生了变化,而整体氛围得到了保留。

刊登内容和个人资料为采访当时的内容(2020年2月)