2022-06-272201次浏览
1评论
11收藏
3点赞
分享
对玩家而言,画面是接触游戏后的“第一印象”,甚至很大程度上可以决定玩家究竟是“一见钟情”还是“不感兴趣”。因此,精美的画面已成为各类游戏表现力的保证。
例如,作为无数资深游戏玩家心头“白月光”的次世代游戏《刺客信条:起源》中,优秀的画面一直是其吸引众多玩家的最大特色之一。除了细致的人文风貌刻画外,每一个形象鲜活自然的NPC也进一步增强了游戏的代入感。
但制作精良的游戏通常意味着强大的游戏美术支持,而强大的美术资源背后则是高昂的时间成本和巨额的制作费用。AI的一系列技术,能够帮助减少动画制作的成本和时间,让更精美的游戏画面成为可能,从视觉层面提升玩家的游戏体验。例如,AI语音驱动角色面部动画技术和角色动作控制技术。
谈到角色面部动画,大众更为熟悉的技术是面部动捕,传统的面部动捕技术需要配备专业动捕设备和演员进行拍摄,还会产生高昂的费用。但实际上,除了面部动捕技术以外,还有一种成本更低、适用场景更多的AI黑科技——语音驱动角色面部动画技术。
首先,我们需要建立一个足够量的语音和对应的面部表情动作序列数据,基于这些数据训练出一个端到端的深度神经网络模型。不论是从语音到表情和口型标签,还是从语音直接到三维角色的面部表情控制器,该模型都可以取得相当不错的泛化能力,基本可以做到一个模型就能处理不同性别、年龄、语言的语音数据。
管纯基于语音的面部动画在精度和效果上距离面部动捕还有一些距离,但受限于成本,以本世代3A游戏的体量,不可能每个NPC都有动捕的待遇。利用该技术,一方面,可以用极低的成本让游戏里的所有人物都具有一定的表情动画;另一方面,在国际化背景下,很多游戏是拥有多语种配音的,目前还没有游戏工作室会奢侈到为一种语言的配音单独动捕一套口型动画,利用该技术可以快速生成跟不同语言发音匹配的口型动画,也可以为玩家提供更本地化的体验。
除了上文提及的语音驱动角色面部动画以外,我们将AI与图形学算法结合还能获得一种轻量级面部动捕技术,以制作更为生动的角色面部表情动画。只需要一个单目摄像头(普通RGB摄像头或RGB-D摄像头均可),在不需要设置任何面部标记点的情况下,该技术就可以实时将演员的面部表情迁移到虚拟角色上,且支持任何类型的表情制作方式(如骨骼动画、blendshapes、live2d、贴图动画等)。
目前业界主流大面部动捕套件都基于mesh-based tracking框架,基本原理都很类似,核心算法上世纪九十年代已经被提出,只是当时的AI技术还未进入深度学习时代,人脸特征检测的性能还不能够满足动捕要求的大精度,还是依赖人工在演员面部标记marker点。该方式能够获得超高精度的结果,但是使用条件非常苛刻、易用性较差。AI面部动捕技术同样基于mesh-based tracking框架,但从数据、到算法、再到工具链,实现了一套完整大轻量级面部动捕系统。
事实上,对于很多手机游戏而言,轻量级面部动捕设备都更加合适。一方面由于包体限制,很多游戏只会给主角或者非常重要的NPC制作面部表情动画,需求不大。另一方面,相比PC和主机游戏来说,手游的研发周期较短,项目组没有太大意愿在面部动捕上投入太多精力。AI面部动捕技术降低了使用条件,保证一定精度的同时,提升了易用性和速度,能够提升美术生产的效率,同时还能够满足策划和营销同学对虚拟偶像直播和游戏UGC玩法等内容的需求。
角色动作和状态的切换流畅度也是影响画面表现力的重要因素之一。传统的、基于状态机的角色动画控制系统中,开发一套体验完美的动作器,实现平滑自然的动作生成,其复杂程度其实超乎玩家想象。在一些动作型3A游戏中,一个主角的动画状态机轻易就可以包含几千个动作节点,这些节点之间的跳转和过渡规则完全依赖游戏开发人员的经验手工指定,其开发和维护的复杂度可想而知。
正是在这一痛点驱动下,育碧提出了Motion Matching技术,该技术将研发人员从复杂的动作过渡规则中解放出来,只需要关注目标动作本身。给定一个目标动作和一个动捕动作库,Motion Matching会根据角色的当前姿态、运动速度、运动方向等信息、自动从动捕动作库中优化出一个能从当前姿态自然过渡到目标动作的动作序列。
从事算法工作同学可能会对上述流程感到熟悉。是的,如果抛开三维骨骼动画底层的技术原理,角色动画其实就是一组描述每个骨骼点平移和旋转信息的序列数据。上述动作过渡问题,其实就是针对序列数据的插值或补全问题,这也是AI技术最擅长处理的领域之一。
我们可以利用AI技术、设计一个针对骨骼动画数据的特殊网络结构,并利用大量动捕数据对该模型进行训练,从而赋予该模型从角色的当前状态、环境信息、历史状态、用户控制信号等信息、自动预测下一帧动作的能力。虽然目前该技术在游戏中落地还面临不少工程上的困难,但是相比于Motion Matching技术,AI技术无疑赋予了角色动画控制更多的想象力。凭借深度神经网络强大的泛化能力,AI模型可以从海量数据中抽象、总结出关于动作的深层次逻辑,从而实现更自然地动作切换和过渡、以及跟所处环境更好的适配。
除此之外,AI赋能美术还有更多玩法,例如基于音乐自动生成舞蹈动画;基于已有时装模型和参考时装图,快速产出时装贴图或给游戏装备“换装”;基于少量游戏人物头部模型,快速批量生成各种差异化较大的人物形象;或快速判定或转换游戏图标的风格等等。
随着游戏行业3A大作的不断出世,玩家对游戏画面和沉浸感的要求也越来越高,想要在尽量降低成本的基础上提高游戏画面质量,AI必然是最佳解决方案之一。
关于AI赋能游戏美术的分享就到这里。小伙伴们如果想了解更多关于AI在游戏领域的更多内容,还可以参阅游戏AI入门秘籍的【游戏平衡篇】和【游戏环境篇】,感谢大家阅读!
👇相关阅读👇
评论 (1)