发布时间:2024-08-21 03:52:22 来源: sp20240821
动画短片《龙门》剧照。 受访者供图
近期,由中国传媒大学动画与数字艺术学院DigiLab实验室制作的动画短片《龙门》,获得第三届巴西Tietê(“铁特”音译)国际电影奖实验短片单元最佳影片提名。该动画短片使用原创生成式人工智能(AIGC)技术,是国内首部全部以AI技术制作的水墨动画短片。
目前,AIGC已经在美术、影视、文学、音乐等创作领域产生广泛影响,动画领域也不例外。面对人工智能的挑战与机遇,中国传媒大学动画与数字艺术学院院长王雷带领实验室师生团队,从2023年初开始尝试训练水墨风格的AI视频生成模型。团队通过对开源AIGC技术的二次开发调整,训练出了拥有自主产权的人工智能模型“墨池”(Inkstone),经过大量反复试错,开发完善了水墨插画风格的文生视频、图生视频、视频风格化等AI流程。《龙门》就是应用这些技术完成的试验短片。
产生灵动的质感
水墨动画将中国水墨画引入到动画制片,是最具代表性的中国动画形式,也是动画创作中非常有难度的一个片种。传统水墨动画的制作流程较为繁复,水墨效果也很难以人手控制。因此,想要做出一个连贯流畅的水墨动态效果并不容易,成本也较高。直到现在,除了《小蝌蚪找妈妈》《山水情》《牧笛》等经典作品,以水墨创作的动画数量并不多。
“2022年下半年,我开始感到AIGC技术将给水墨动画带来新的发展契机。因为AI能够加速水墨动画的制作过程,一个画面里多达上百个的笔触可以用AI来完成。”王雷说。
走进DigiLab实验室,各式电脑设备摆满了办公桌,几位老师和同学正在细细打磨新的动画作品。中国传媒大学动画与数字艺术学院副教授段雯锴,也是《龙门》的导演、技术总监,介绍了运用“墨池”制作动画的工作流程:艺术家需要将创意准确地告诉“墨池”,引导它按照艺术家的想法来生成结果。生成结果有时会存在偏差,因此需要艺术家理解技术原理并不断地尝试。“与AI沟通需要以技术或图形化的方式进行,比如输入文字、三维图像,或者提供参数等。”段雯锴说,目前网络上大部分AIGC视频或图片生成工具的随机性较大,要想做出有明确主题表达的作品,每个元素都需要非常精准的掌控。因此,在制作《龙门》的时候,DigiLab实验室师生团队采用了真人实拍加绿幕抠像的方式,在这个过程中拍摄了很多角色动作,“墨池”会将实拍素材进行打磨,并补充出更多细节,最后形成水墨晕染的效果。
这是一个人机沟通的过程,也是一个从创意到实践的过程。《龙门》就是DigiLab实验室师生团队与“墨池”沟通的产物。“墨池”采用多模态视频生成方式,攻克了诸多技术难题,在角色面部特征稳定性、较长镜头生成中,降低了视频抖动与局部错误,使画面拥有灵动而充满意境的水墨质感。
“水墨动画是中国动画学派的核心和瑰宝。如果我们用新技术能生成跟以往一样,甚至更好的效果,对整个中国动画行业都是有所贡献的。”王雷说。
呈现新的视觉效果
说起“墨池”模型的研发,王雷想起了一些有趣的故事。AIGC训练和生成需要算力,开发“墨池”正值夏天,实验室里所有的电脑都在全力运转。实验室变得非常热,团队成员来到别的地方办公,远程操控电脑。“空无一人的实验室也能继续‘热火朝天’的创作,可见技术让创作模式发生了多大的改变。”王雷说。
建立“墨池”模型的过程充满挑战。AIGC作为新技术,缺乏足够的现成材料,需要不断地做测试。王雷告诉笔者:“过程中,我们经历了大量试错和遇到问题不知如何解决的时刻,这也是经验积累的过程。”段雯锴说,在训练自主模型的过程中,自己每天都会接触到新技术,需要不断更替优化。
段雯锴结合动画生产细节举例说,如果用二维或者三维动画的方式去创作水墨动画,会涉及贴图、灯光渲染等方式,生成的画面精度较低,AI则可以做到细节的无限添加。“AIGC能够实现传统动画创作模式不敢做或无法实现的效果,开创动画新的视觉路线。”他说。
“AIGC技术对动画界的影响,可能相当于手机拍照功能之于摄影界,能够给创作者带来新的可能。”王雷表示,AIGC技术一方面降低了创作门槛,让普通人就可以做出简单的动画,并通过在短视频平台的分享,让动画更贴近日常生活;另一方面,这项技术还能催生更多更加快捷的专业化工具,呈现更加令人惊叹的视觉效果。“我们从业者还需要进一步思考技术和内容表达的关系,在技术迅速更迭的时代发挥所长,掌握技术的自主性和独创性,用好技术做更专业的内容。”王雷说。
据悉,中国传媒大学已经和英特尔公司联合创办了AIGC创作实践中心。强大的硬件能力加持,相信将有助于高校和平台收获更多成果。
“墨池”模型目前主要能生成一种风格的水墨动画。DigiLab实验室团队已经策划了新的项目,将逐步丰富“墨池”的家族谱系,迭代“墨池”,并在未来的动画制作和教学中加以应用。“前辈们已经将传统流程做得非常优秀了,往前走则是我们应当做的思考。”王雷说,AIGC时代,如何开拓前沿,在国际舞台上持续释放中国动画与数字艺术行业的巨大潜力,是动画科研创作者们不断努力的方向。
(责编:李依环、李昉)