USC虚拟化身技术


  虚拟化身是虚拟现实内容很基本的元素,人们总是希望在一些虚拟现实的社交场合中把自己的个性展现出来。USC 的 Institute for Creative Technologies(创意技术研究所,简称“ICT”)致力于以自然逼真的虚拟化身展现用户个性的一面。


  ICT 的研究助理教授 Ari Shapiro 经营了一个研究小组,名为“角色动画模拟研究小组”,其目标之一是创建一个可以像真实人物一样的虚拟化身。这项研究始于四年前,该研究小组当时使用微软的 Kinect 体感摄像头对人体进行扫描,并最终构建了虚拟身体、脸部、手和手指等部位的 3D 模型。这个系统的特点是不仅使用现有设备节省了成本,而且后期也不需要艺术家和技术人员的后期处理。多年以后,这个系统原型终于揭示,并向我们展示其扫描的虚拟化身以及其独特的个性。




  我们可以从视频中看出,虚拟化身的整体需要通过一个布满摄像头的环状架扫描而成,脸部表情则通过 Kinect 体感摄像头进行捕捉。这套系统可以捕捉多个表情,然后适配到虚拟化身的脸上。最后用户可以通过 Kinect 体感摄像头实时匹配你的脸部表情。


  Shapiro 表示他们选择这种做法与常用的方式不同,常规做法是人们会在脸部装上检测装置,通过扫描脸部表情适配到虚拟化身脸部的几个关键点,再用夸张的表情展示。这种方式虽然能够表达任何表情和语言,但其缺点是毕竟不是真人流露的表情,始终无法让人感觉亲近。而他们的做法正好相反,他们事先录制好用户的表情,然后通过扫描用户的脸部来适配事先录制好的表情。


  虽然展示的效果非常逼真,但并未完整,我们可以看到虚拟人物始终没有张开嘴,这是目前未能实现的效果。该研究小组希望他们的虚拟化身之后达到一个更高的水平,能够为牙齿和舌头建模。


  Shapiro 表示他们主要看到了社交虚拟现实和增强现实购物应用的机会。他们计划致力于将这个系统变成一个消费者平台,让所有人都可以用它来制作自己的虚拟化身。