meta Reality Labs 科研职员克日研收回一款 VR头显原型，内置了一个专门用于处置野生智能的定造加快器芯片，使正在自力头盔上衬着该公司的传神的 Codec Avatars 成为能够。

正在公司改名之前，meta 公司就一向正在鞭策 Codec Avatars 项目，该项目旨正在使 VR中近乎传神的头像成为实际。操纵装备上的传感器(如眼球逃踪和嘴巴逃踪)和野生智能处置的组合，该体系以传神的体例及时为用户建造具体的动画。

Codec Avatars 项目标初期版本需求利用 NVIDIA 的 Titan X GPU 停止衬着撑持，那使得像 meta 新 Quest 2如许的挪动自力头显没法驱动那些需求。

因而该公司已起头研讨若何正在低功率的自力头显上实现 Codec Avatars，上个月召开的 2022 年 IEEE CICC集会上颁发的一篇论文证实了那一点。正在那篇论文中，meta 公司流露它建立了一个用 7 纳米工艺造造的定造芯片，做为专门用于 Codec Avatars的加快器。

按照研讨职员的说法，该芯片远非现成的。该小组正在设想它时，斟酌到了 Codec Avatars处置管道的一个主要部门，出格是阐发传进的眼球逃踪图象，并天生 Codec Avatars 模子所需的数据。该芯片的占空中积唯一 1.6mm²。

研讨职员写道：“正在7纳米手艺节点造造的测试芯片具有一个神经收集(NN)加快器，由1024个乘积(MAC)阵列、2MB片上SRAM和一个32位RISC-VCPU构成”。反过来，他们也重修了Codec Avatars野生智能模子的部门，以操纵该芯片的特定架构。

研讨职员暗示：“经由过程从头构建基于卷积[神经收集]的眼睛谛视提取模子，并为硬件量身定做，全部模子合适正在芯片上利用，以减轻体系级能量和片外内存拜候的提早本前。经由过程正在电路层面有用地加快卷积操纵，所提出的原型[芯片]正在低形状尺寸下实现了每秒30帧的机能和低功耗”。

经由过程加快 Codec Avatars事情负载的麋集部门，该芯片不但加速了历程，并且还削减了所需的功率和热量。因为芯片的定造设想，它可以或许比通用CPU更有用地做到那一点，然后为CodecAvatars的眼球逃踪组件的从头架构的软件设想供给参考。

但头显的通用CPU(正在这类环境下，Quest 2的Snapdragon XR2芯片)也没有闲着。当定造芯片处置CodecAvatars的部门编码进程时，XR2办理解码进程和衬着化身的现实视觉结果。

那项事情必然是相称多学科的，由于论文中提到了12名研讨职员，他们都来自meta的实际尝试室。H. Ekin Sumbul, Tony F. Wu,Yuecheng Li, Syed Shakib Sarwar, William Koven, Eli Murphy-Trotzky, XingxingCai, Elnaz Ansari, Daniel H. Morris, Huichu Liu, Doyun Kim, and EdithBeigne。

使人印象深入的是，meta的CodecAvatars能够正在自力的耳机上运转，即便需求一个特别的芯片。但我们不晓得的一点是，头像的视觉衬着是若何处置的。用户的底层扫描是高度具体的，能够太庞大而没法正在Quest2上完整衬着。今朝还不清晰正在这类环境下，Codec Avatars的"传神"部门被保存了几多，即便一切的根本部门都正在那边以驱动动画。