近期,Meta在国际会议IEEE CICC 2022期间发表了一篇与高保真头像系统Codec Avatars相关的最新论文,论文中指出Meta专为该头像系统定制了一个7纳米制程的低功耗DNN AI芯片原型,刷新率达30fps,尺寸为1.6mm²。据悉,论文中描述了DNN AI芯片的系统设计,以及与AR/VR头显集成的方式。
据悉,Meta在2019年就曾公布Codec Avatars头像系统,其特点通过3D动捕/容积捕捉技术来还原真人形象,可渲染出高度保真的肤色、纹理、毛发、微表情等细节。尽管效果出色,运行该系统需要大量算力,因此难以在采用移动芯片的AR/VR上运行。于是,为了将Codec Avatars与AR/VR一体机结合,Meta开始设计专门的AI芯片,以实现低功耗的高保真头像渲染效果,加速运行效率。
细节方面,论文中提到的芯片实际上一个加速器,可配合AR/VR头显自带的移动芯片使用。其专为Codec Avatars的眼球追踪模型定制,采用特殊的架构,配备深度神经网络加速器,并非采用市面现有元件。与此同时,Meta还为该芯片重建了部分Codec Avatars AI模型。
除了AI芯片外,Meta在此基础上还开发了VR头显原型。考虑到Project Cambria将支持眼球追踪和面部追踪,如果其配备定制的低功耗AI芯片,也许可以将这些功能和Codec Avatars更好的结合。
评论 (0)