Los investigadores de Meta Reality Labs han creado un prototipo de visor de realidad virtual con un chip acelerador personalizado especialmente diseñado para manejar el procesamiento de IA para hacer posible la representación de los avatares de códec fotorrealistas de la empresa en un visor independiente.

Mucho antes de que la empresa cambiara su nombre, Meta ha estado trabajando en su proyecto Codec Avatars que tiene como objetivo hacer realidad los avatares casi fotorrealistas en realidad virtual. Usando una combinación de sensores en el dispositivo, como seguimiento ocular y de boca, y procesamiento de IA, el sistema anima una recreación detallada del usuario de manera realista, en tiempo real.

O al menos así es como funciona cuando tienes un hardware de PC de alta gama.

Las primeras versiones de la investigación Codec Avatars de la empresa estaban respaldadas por la potencia de una GPU NVIDIA Titan X, que empequeñece monstruosamente la potencia disponible en algo como los últimos auriculares Quest 2 de Meta.

Pero la compañía ha pasado a descubrir cómo hacer que Codec Avatars sea posible en auriculares independientes de baja potencia, como lo demuestra un artículo publicado junto con la conferencia IEEE CICC 2022 del mes pasado. En el documento, Meta revela que creó un chip personalizado construido con un proceso de 7 nm para funcionar como un acelerador específicamente para Codec Avatars.

Hecho especialmente

Imagen cortesía de Meta Reality Labs

Según los investigadores, el chip está lejos de estar disponible. El grupo lo diseñó con una parte esencial de la canalización de procesamiento de Codec Avatars en mente, específicamente, analizando las imágenes entrantes de seguimiento ocular y generando los datos necesarios para el modelo de Codec Avatars. La huella del chip es de solo 1,6 mm²

“El chip de prueba, fabricado en un nodo de tecnología de 7 nm, cuenta con un acelerador de red neuronal (NN) que consta de una matriz 1024 Multiply-Accumulate (MAC), SRAM de 2 MB en el chip y una CPU RISC-V de 32 bits”, escriben los investigadores. .

A su vez, también reconstruyeron la parte del modelo de IA de Codec Avatars para aprovechar la arquitectura específica del chip.

“Al rediseñar el Convolucional [neural network] basado en el modelo de extracción de la mirada y adaptándolo al hardware, todo el modelo encaja en el chip para mitigar el costo de latencia y energía a nivel del sistema de los accesos a la memoria fuera del chip”, escriben los investigadores de Reality Labs. “Al acelerar eficientemente la operación de convolución a nivel de circuito, el prototipo presentado [chip] logra un rendimiento de 30 cuadros por segundo con bajo consumo de energía en factores de forma bajos”.

El prototipo de auricular se basa en Quest 2 | Imagen cortesía de Meta Reality Labs

Al acelerar una parte intensiva de la carga de trabajo de Codec Avatars, el chip no solo acelera el proceso, sino que también reduce la energía y el calor necesarios. Es capaz de hacer esto de manera más eficiente que una CPU de uso general gracias al diseño personalizado del chip que luego informó el diseño de software rediseñado del componente de seguimiento ocular de Codec Avatars.

Pero la CPU de uso general de los auriculares (en este caso, el chip Snapdragon XR2 de Quest 2) no puede tomarse el día libre. Mientras que el chip personalizado maneja parte del proceso de codificación de Codec Avatars, el XR2 gestiona el proceso de decodificación y la representación de las imágenes reales del avatar.

Imagen cortesía de Meta Reality Labs

El trabajo debió ser bastante multidisciplinario, ya que el papel acredita a 12 investigadores, todos de Meta’s Reality Labs: H. Ekin Sumbul, Tony F. Wu, Yuecheng Li, Syed Shakib Sarwar, William Koven, Eli Murphy-Trotzky, Xingxing Cai, Elnaz Ansari, Daniel H. Morris, Huichu Liu, Doyun Kim y Edith Beigne.

Es impresionante que los Codec Avatars de Meta puedan ejecutarse en un auricular independiente, incluso si se requiere un chip especial. Pero una cosa que no sabemos es qué tan bien se maneja la representación visual de los avatares. Los escaneos subyacentes de los usuarios son muy detallados y pueden ser demasiado complejos para representarlos en Quest 2 en su totalidad. No está claro cuánto se conserva la parte ‘fotorrealista’ de los Codec Avatars en este caso, incluso si todas las piezas subyacentes están ahí para impulsar las animaciones.

– – – – –

La investigación representa una aplicación práctica de la nueva arquitectura informática que el científico jefe de Reality Lab, Michael Abrash, descrito recientemente como un próximo paso necesario para hacer realidad la visión de ciencia ficción de XR. Él dice que pasar de un procesamiento altamente centralizado a un procesamiento más distribuido es fundamental para las demandas de potencia y rendimiento de tales auriculares.

Uno puede imaginar una gama de funciones específicas de XR que podrían beneficiarse de chips especialmente diseñados para acelerarlas. El audio espacial, por ejemplo, es deseable en XR en todos los ámbitos para una mayor inmersión, pero la simulación de sonido realista es computacionalmente costosa (¡sin mencionar el hambre de energía!). El seguimiento posicional y el seguimiento manual son una parte fundamental de cualquier experiencia XR, otro lugar donde diseñar el hardware y los algoritmos juntos podría generar beneficios sustanciales en velocidad y potencia.

¿Fascinado por la vanguardia de la ciencia XR? Consulta nuestros archivos para obtener más desgloses de investigaciones interesantes.

Ir arriba