Cómo Ninja Theory hace cinemáticas 'Hellblade' en tiempo real

Ninja Theory trae tecnología relativamente sin precedentes a su próximo videojuego. Hoja de infierno: Sacrificio de Senua: La capacidad de disparar, renderizar y editar escenas para el juego en minutos en lugar de días.

Como es tradición con la teoría del ninja, Hoja de infierno No es un éxito de taquilla típico, sigue el viaje de Senua, un guerrero celta que lucha contra las enfermedades mentales. Dado el interés del estudio en hacer historias más pequeñas y guiadas por personajes en juegos como Esclavizado y DmC (incluso en una escala similar a la triple A), el uso de la tecnología para mejorar el rendimiento emocional parece una progresión natural.

La tecnología en sí misma, que Ninja Theory denomina "cinematografía en tiempo real" después de una demostración reciente mostrada en la conferencia SIGGRAF de VFX, esencialmente captura el rendimiento de un actor con límite máximo en tiempo real como lo sería en una película y luego transfiere el renderizado. datos en Sequencer, una nueva herramienta similar a Adobe Premiere para Unreal Engine 4.

A partir de ahí, los datos de rendimiento recién capturados (animaciones faciales grabadas, voz y movimiento) se pueden manipular de muchas formas como lo haría con un segmento lineal de la película, solo los desarrolladores son libres de ajustar, modificar o editar cosas como Iluminación o ángulos de cámara sobre la marcha. (Dado que los datos son en tiempo real, incluso es posible cambiar por completo o agregar nuevas cámaras a la escena).

Para el cofundador y director creativo de Ninja Theory, Tameem Antoniades, filmar todo en casa usando la tecnología hace toda la diferencia.

“Podemos saltar y filmar escenas cuando las necesitemos. No tenemos que hacerlo todo en una sesión de cuatro semanas ", dice Antoniades del antiguo método del estudio. Anteriormente implicaba reservar un bloque de tiempo en un estudio de captura de moción para capturar las actuaciones de un juego a la vez. "Tuvimos que filmar todo para el juego allí, y luego construir el juego alrededor de lo que disparamos".

Los tornillos y tuercas técnicos son sorprendentemente complejos e involucran muchas manos. Además de trabajar con Epic, que ayuda a proporcionar soporte para Sequencer y Unreal, la tecnología de captura facial en uso proviene de una compañía de software mo-cap, Cubic Motion, mientras que el estudio de rendimiento facial con sede en Serbia 3Lateral se creó para ayudar a crear cabezas virtuales realistas, y eso es solo un par de colaboradores externos de Ninja.

El middleware de captura facial de Cubic Motion y los datos capturados de 3Lateral, que requerían que la actriz Melina Juergens viajara a Novi Sad para que le escanearan la cara de varias maneras, se utilizan como base digital para capturar con precisión cualquier actuación en tiempo real. (Afortunadamente, Juergens es el editor de video de Ninja Theory, por lo que su disponibilidad para fotografiar escenas no es un problema).

Pero Hoja de infierno se inició a partir del deseo de hacer algo completamente independiente en una escala de triple A, y se realizó de la manera más eficiente y económica posible. Hasta ahora, su trabajo habla por sí mismo, y está siendo increíblemente construido por un mero equipo de 16 personas.

Antoniades dice que su producción comparativamente compacta, con un enfoque ajustado en un solo personaje, lo hace posible.

“Construimos un espacio de captura de rendimiento que podría hacer el tipo de cosas que hicimos antes, pero lo construimos por aproximadamente $ 20,000 a $ 30,000. Lo que es super, super barato en comparación con el tipo de configuraciones con las que trabajamos ”, dice. "Aunque parezca que es ultra alta tecnología, ultra costosa, no lo es, esta es solo una manera más eficiente de fotografiar, en el espíritu de todo lo demás que estamos haciendo".

Para ayudar a que el estudio no rompa el banco, algunos socios les prestaron equipos y les brindaron experiencia técnica, mientras que Antoniades y el equipo hicieron un esfuerzo consciente para mantener los costos de los equipos lo más bajos posible. El uso de nueve cámaras de cámara móvil en un espacio de aproximadamente tres por tres metros, mucho más pequeño que las configuraciones de veinte por veinte metros de un estudio importante, fue una gran ayuda.

"Hemos hecho muchos compromisos", dice Antoniades. “Nuestro aparejo para montar las cámaras que compramos de IKEA. Son postes de armario. La iluminación que necesitábamos, son luces de oficina que compramos en Amazon. Simplemente tomamos la solución más barata posible en cada turno para poder capturar un personaje ".

La apertura del estudio sobre el desarrollo es lo que llevó al director de tecnología de Epic, Kim Libreri, a preguntarle a Antoniades si Ninja Theory quería hacer una presentación en vivo con la actriz de Senua en GDC en marzo; cuando eso resultó ser un éxito, el equipo trabajó con sus compañeros para filmar y renderizar una escena completa en siete minutos para una presentación SIGGRAPH en junio usando Sequencer para transferir datos con límite de movimiento a Unreal Engine.

A diferencia de la demo de GDC más reducida, la presentación SIGGRAPH (que realizaron frente a una audiencia de 2,500 profesionales de la industria de VFX) mostró a Senua hablando con un doppelganger, y Antoniades filmó las partes de Juergens en el momento en que ocurrieron. Después de capturar el doppelganger, Ninja Theory recibió ayuda de Epic, Cubic Motion y 3Lateral en el escenario para asegurarse de que los datos se capturaran correctamente y posteriormente se colocaran en la interfaz de estilo de edición de video de Sequencer.

Finalmente, los datos se reprodujeron cuando Antoniades filmó a Juergens por segunda vez, ahora tocando el Senua real, en contra de su primera actuación, al mismo tiempo que captura el movimiento y el enfoque de la cámara. Por su desempeño, Ninja Theory recibió el mejor premio de interactividad y gráficos en tiempo real de SIGGRAPH.

Lo que hace que la tecnología sea tan llamativa es que ni siquiera los mejores estudios de cine producen visuales tan cercanos al arte final como este. En su lugar, utilizan un proceso llamado visualización previa, que funciona un poco como un esquema animado en tiempo real, utilizando geometría básica representada para medir el bloqueo y la acción de una escena. Pasar de la pre-vis áspera a la imagen final generalmente toma cuestión de meses, y carece de detalles, particularmente debido a su ausencia de captura facial.

"Si pudieras ver a un personaje en vivo, imagina todas las cosas que podrías hacer con eso", dice Antoniades. "Con SIGGRAPH pensamos, 'tenemos la oportunidad de hacer algo que ni siquiera se puede hacer en los rodajes'. Los estudios de cine con millones de dólares no tienen esta tecnología".

También es un beneficio para la velocidad general del desarrollo.

"Debido a que tenemos nuestra propia configuración aquí, podemos saltar y filmar escenas cuando las necesitemos", dice. "Lo estamos haciendo de manera más orgánica, al igual que los niveles de construcción, podemos saltar y filmar las escenas para esos niveles, o si necesitamos escenas adicionales, saltar y dispararlas". Todavía está en línea con la narrativa y la historia, solo ha hecho la escena un poco más fresca, así que podemos hacer trucos con las múltiples versiones de Senua que de otra manera no tendríamos ".

Si bien Antoniades dice que la naturaleza en tiempo real de la tecnología probablemente no tendrá un efecto notable en la historia o en el juego (aparte de quizás escenas más experimentales), es optimista y se puede aplicar a nuevos tipos de experiencias y entretenimiento. En un futuro próximo, particularmente en realidad virtual.

"Imagina los personajes se dan vuelta y te enfrentan, o caminan contigo o interactúan contigo", dice. "Creo que esto nos llevará a un tipo de entretenimiento diferente para el que no tenemos nombre, ni siquiera tenemos la gramática como hacemos con los juegos de video y películas".

Lo que podría suceder antes es algo como el chat de Twitch, donde las personas pueden hablar con la misma Senua en tiempo real, algo que los fanáticos podrían ver en los próximos meses. También es posible aprovechar las ventajas de la realidad virtual, los conciertos y otras aplicaciones que no son juegos.

"Al ser capaz de configurar ubicaciones, actores, filmar cosas en vivo y luego, porque todo es en tiempo real, puede hacerlo todo interactivo en el lugar, probar diferentes escenarios", dice Antoniades. "Hay posibilidades en el futuro cercano que no serían posibles incluso el año pasado".

Con Hoja de infierno siendo solo uno de los varios proyectos dentro y fuera del juego en los que está trabajando Ninja Theory, es de esperar que sea un buen punto de partida para ver cómo las cosas pueden evolucionar desde aquí.

"Creo que va a ser bueno para los jugadores, porque obtendrán proyectos más interesantes", dice. "Y será bueno para los desarrolladores también. Creo que la industria está mejorando, siempre y cuando todos podamos mantenernos ahí y sobrevivir un poco más ".