上个月,Epic发布全新的浏览器工具MetaHuman Creator,该工具基于像素流和云端技术,可以让你在网页端创建高保真的3D虚拟形象,结合动作捕捉技术,这种虚拟形象可实时模拟你的面部表情和身体动作。
可以想象,MetaHuman Creator将大幅降低3D虚拟形象创作门槛,用户大约不到1小时就能完成形象创建、动画绑定和动捕。此外,该工具未来将支持ARKit等多个动捕平台,进一步降低硬件使用门槛。
那么这款工具到底可以用来做什么呢?效果又如何?目前,正在公测阶段,并未正式上线,因此只有部分用户有幸体验。
比如近期,一位叫Matt Workman(CitizenMetaOne)的开发者抢先体验到MetaHuman Creator,并在网上与大家分享了一些心得体验。据悉,Workman曾开发逼真的影视场景模拟器应用,因此他将用MetaHuman创作的3D形象与自己创作的电影场景结合,并搭配VR手柄和追踪器,实现了用动作和表情控制虚拟人在3D空间中行走的效果。
据了解,为了预览和实现基于姿态和面部追踪的3D虚拟人效果,Workman采用的硬件包括:HTC Vive Pro-Eye头显、Index手势追踪手柄、Vive Tracker、Vive面部追踪模块。这些Vive Tracker将用于追踪胸口、后背和手臂。
Vive Pro Eye下方为Vive面部追踪模块
也就是说他可以利用眼球、手势、上身姿态、面部表情完整控制3D虚拟人的上半身,下半身则是通过动作模拟来实现,他利用手柄让虚拟人行走,行走的步伐和动作是预设的。谈及这样设计的原因,Workman表示:则是为了降低3D虚拟人动画的复杂性,使之运行更顺畅,而且自己站在原地就能控制虚拟人。
Workman将制作的3D虚拟人和场景应用在直播、视频中,他可以轻松控制虚拟人的动作和表情,还能切换视角,甚至可以模拟电影镜头切换的效果。据悉,他将这套利用VR远程控制的动捕方案称为“实时智能玩偶系统”,而不是动捕系统,因为用VR头显和手柄可以直接与虚拟场景互动,比专业的动捕更智能。
除了用VR头显外,Workman还尝试用iPhone来进行面部识别,结果发现:Vive面部识别模块每秒刷新率60帧,因此大多数情况下比iPhone面部识别反应更快。除此之外,在VR中还可以直观查看VR沉浸空间以及虚拟人的位置,因此动捕观感会更逼真。相比之下,不戴VR的方案需要他看显示屏,头和眼神会偏离。
他将3D虚拟人在不同虚拟场景中测试,比如:赛博朋克风的城市、白宫发布会、水面等等,效果看起来比PC游戏中的人物更加动态,尤其是眼球转动的表情足够逼真。
为了展示Vive Pro-Eye和面部追踪模块对眼球和嘴唇追踪的效果,Workman还制作了一个放大面部的动捕视频。实际上,此前HTC用面部追踪模块控制3D卡通形象时并不能直接看出来面部识别竟然这么逼真,当与MetaHuman结合后,你可以发现虚拟人可以像人一样挤眉弄眼,张嘴说话,Epic的渲染技术将虚拟人的毛发、皮肤纹理、牙齿、面部光线等细节呈现的足够逼真。可以看到虚拟人的牙、牙床、舌头等细节。
不过,他的电脑配置足够高,是一台HP Z8商用计算机,配备NVIDIA Quadro RTX 8000,以1080p分辨率运行,因此不确定在普通PC上运行能否有同样实时的效果。同时,他所呈现的动捕效果也是经过长时间校正和性能检测达到的水平。
除了Workman外,还有不少抢先体验者通过视频展示了用iPhone面部识别来控制3D虚拟人的效果,看起来足够稳定、实时,甚至也能模拟皱眉、嘟嘴、伸舌头、转眼球等多种表情,也就是说使用支持面部识别的iPhone即可打造低成本虚拟偶像、虚拟动捕、动画等方案。除了iPhone外,还有网友用全身体感服来测试MetaHuman。
有网友说:有传闻说MetaHuman将偷走3D画师的工作
实际上,在MetaHuman Creator出现之前,虚拟偶像方案的使用门槛已经足够低,不过大多数虚拟形象更偏向卡通人物,毛发、牙齿、皮肤等细节的渲染不需要太准确。而MetaHuman的出现,意味着未来将逼真的虚拟人用于PC游戏、VR游戏、VR社交、虚拟拍摄等场景时,可以更加生动,而且足够通用,可以被大部分人广泛使用。
MetaHuman快被网友玩坏了
总之,看好MetaHuman未来在虚拟场景的应用,其潜在应用场景将包括:游戏、社交、影视娱乐、虚拟偶像等等,想象一下,如果未来你在多人PC游戏中也可以控制自己角色的表情,那么在与其他玩家交流时沉浸感应该会更强。那么,如果将PC屏幕变成沉浸的VR,那么整个虚拟社交的逼真感又将大幅提升。
评论 (0)