Dentro de la secreta realidad aumentada de Pinscreen y CGI

La realidad aumentada y el intercambio de caras parecen ser los mejores candidatos para las próximas aplicaciones móviles; solo mire la compra de MSQRD en Facebook o la adquisición de Looksery por parte de Snapchat. Pero una empresa emergente de AR llamada Pinscreen, actualmente respaldada por la suma de $ 1.8 millones de Lux Capital y Colopl VR Fund, está buscando hacer las cosas de manera diferente en esta área. Inverso habló en exclusiva con el fundador de Pinscreen, Hao Li, sobre lo que podría estar por delante para esta compañía secreta.

Puede que no hayas oído hablar de Hao Li, pero es probable que hayas visto la investigación de este profesor asistente de la USC en acción en varias películas de gran éxito. Mientras trabajaba en el estudio de efectos visuales Industrial Light & Magic, Li ayudó a desarrollar algunas herramientas que permitían la captura de rendimiento en tiempo real. La idea era que un actor pudiera sentarse frente a una computadora con una cámara web, representar una escena, y luego esa interpretación se traduciría, en tiempo real, a un personaje de CG.

Li también ha llevado a cabo una extensa investigación en otras áreas, incluida la elaboración de modelos 3D de personas reales en tiempo real y la captura de partes importantes de su imagen, especialmente las caras y el cabello. Más recientemente, Li mostró investigaciones que él y otros habían llevado a cabo para capturar una actuación de una persona con una sola cámara y traducirla a un personaje digital.

Al principio, esto no suena tan novedoso. Ya existen varias soluciones de seguimiento facial en desarrollo, tanto para aplicaciones móviles como para sistemas mucho más sofisticados como Faceshift (comprado por Apple en 2015). Pero muchos de estos dependen de sensores de profundidad, que la tecnología de Li no requiere. Ese enfoque, dice, es muy diferente.

"Si tiene un sensor de profundidad, todo lo que necesita es optimizar los parámetros de un modelo de cara para que el modelo se ajuste a la entrada 3D lo más cerca posible", explica Li. “Pero en el caso de una entrada RGB pura, el mundo entero se proyecta en una imagen bidimensional sin parámetros conocidos de la cámara, como las distancias focales. Por lo tanto, es necesario inferir un modelo de cara 3D preciso a partir de esta imagen proyectada y ser capaz de manejar una amplia gama de condiciones de iluminación, así como las apariencias de diferentes sujetos ".

De ahí la importancia de la investigación de Li sobre los avatares 3D. Cuando se mapea la cara de un humano, muchos programas de mapeo tienen problemas para lidiar con obstáculos visuales como el cabello y las gafas. Para evitar ese problema, Pinscreen "construyó una red neuronal convolucional profunda que puede aprender cómo segmentar una región facial en una imagen totalmente libre".

Entonces, ¿para qué está usando Pinscreen esta tecnología avanzada y loca?

"Seremos un nuevo tipo de plataforma de redes sociales / comunicación con algunas capacidades interesantes de AR", dice Li. "No va a ser una aplicación como las lentes de Snapchat o MSQRD, que para la mayoría de la gente solo es interesante por unos minutos".

Entonces, eso no es mucho más que palabras de moda por ahora. Pero, mirando más profundo, su trabajo anterior sugiere que esperan desarrollar la capacidad de rastrear la cara de alguien a pesar de cualquier pelo, gafas u otros objetos que obstruyan la vista de la cámara. Agregue algo de realidad aumentada, y el cielo es el límite para películas, redes sociales y juegos.

Suena bastante innovador, pero es importante tener en cuenta que Li y su equipo no son los únicos que están investigando en esta área. Disney presentó recientemente su versión sobre la captura del rendimiento facial en tiempo real, al igual que otros investigadores con una herramienta llamada Face2Face. También está el mencionado Faceshift, junto con Facebook y Snapchat, que también han comenzado a mostrar sus productos.

Entonces, ¿qué hace diferente a la tecnología de Pinscreen? Li sugiere que la solución de su compañía es "mucho más robusta y puede inferir modelos 3D más precisos, ya que manejamos explícitamente las oclusiones".

"Nuestra innovación más importante es una tecnología que nos permite construir un modelo de cabeza 3D completo que incluye el cabello de cualquier imagen automáticamente", afirma. “Este tipo de tarea tradicionalmente requiere un experto modelador de CG y un aparejador para producir, pero podemos generar esto de forma totalmente automática. Los últimos trabajos presentados en SIGGRAPH (la conferencia líder en gráficos interactivos y técnicas interactivas) también requieren múltiples imágenes de entrada como entrada, nos centramos en la solución con el requisito mínimo de entrada, una única imagen 2D ”

Por supuesto, hasta que la gente vea y use cualquier aplicación de Pinscreen, el jurado permanecerá al margen sobre sus capacidades. Sin embargo, la diferencia aquí es que Li ciertamente tiene una sólida historia de investigación e innovación detrás de él, especialmente en la elaboración de avatares digitales.

Li confía claramente en las posibilidades de Pinscreen en el espacio de las redes sociales. "Como nuestra tecnología va a democratizar la generación de avatares 3D, tendrá aplicaciones obvias en juegos, aplicaciones VR / AR para comunicación inmersiva o agentes de inteligencia artificial", dice, "pero creo que crearemos la aplicación más genial, que es La plataforma social medial que estamos desarrollando.

"Lo más importante", agrega, "queremos construir algo que permita a las personas crear contenido realmente interesante sin la necesidad de la costosa cartera de VFX de hoy en día y podemos usar contenido de AR realmente divertido para conectarse entre sí".

Parece que Pinscreen incluirá la gama de tecnologías en las que Li y su equipo han estado trabajando. Pero, dice, eso es solo una parte del plan. "La demostración tecnológica es realmente solo una característica de lo que planeamos utilizar", señala. “Pinscreen será algo mucho más grande y la tecnología será una característica interesante al principio. También seremos bastante diferentes a otras plataformas de redes sociales ".

Por ahora, Pinscreen todavía es un misterio y parece que tendremos que esperar para ver lo que tienen en la tienda.