El compositor de juegos y películas Sage Lewis dice que nadie entiende aún la escritura para la realidad virtual

Para el músico de formación clásica Sage Lewis, la tecnología plantea un desafío. Aunque sus composiciones han aparecido en anuncios de Google, Facebook y Nintendo, Lewis se mantiene firme con los sonidos acústicos. "Hay algo en el cuarteto de cuerdas y en los principales instrumentos acústicos, que expresan tanta emoción", dice por teléfono. "Realmente no puedes expresar eso con la música electrónica de la misma manera".

Pero tal vez lo haya descubierto. En South by Southwest, los puntajes más recientes de Lewis: el tecno-drama Operador protagonizada por martin starr (Silicon Valley) y Mae Whitman, y el thriller VR El sustituto - abordar nuestra comprensión siempre cambiante de la interactividad humana con tecnología de punta. Las puntuaciones de Lewis, una mezcla de electrónica y la acústica reflejan estos cambios sísmicos.

Dirigida por Logan Kibens, Operador sigue a un programador de computadoras que construye un bot de servicio al cliente utilizando a su esposa como plantilla antes de que tome un camino obsesivo y destructivo basado en el amor. El sustituto Mientras tanto, es una experiencia de VR desde una visión en primera persona que expone un matrimonio problemático. Nominado para el Premio a la Innovación Interactiva en el festival, El sustituto "Problematiza la noción de presencia física y refleja … los miedos y aflicciones culturales en la era digital".

Antes del festival de Austin, Lewis habló con Inverso y nos contó cómo compuso una de las gemas ocultas de SXSW y cómo todavía se están escribiendo las reglas para componer la realidad virtual.

En SXSW este año, tienes Operador y El sustituto. ¿Qué puedes decirme sobre tu comprensión de los dos proyectos?

Es emocionante, son dos películas que son similares en sus historias pero muy diferentes en forma y en la forma en que son experimentadas. Ambos tienen que ver con la tecnología, una relación y cómo está interfiriendo con las relaciones reales en nuestras vidas personales. Se trata de inteligencia artificial y hacia dónde vamos en el futuro.

La tecnología y las relaciones humanas son temas populares, evidenciados en cosas como Su y Espejo negro. ¿Cómo te acercaste a tu puntuación para Operador ?

La tecnología está mediando nuestras comunicaciones cada vez más, pero a lo que podríamos ir es a nuestras relaciones no solo con otro humano, sino a un algoritmo. Fue divertido trabajar en estos temas musicalmente, la partitura tiene un conjunto de cámara con un cuarteto de cuerdas, piano, guitarra acústica, batería y percusión. Luego hay un lado electrónico completo, cada instrumento electrónico se asigna directamente al otro de la acústica. Los recreamos desde cero con un sintetizador modular. Eso creó una partitura que fue capaz de expresar estas emociones electrónicamente.

Teniendo en cuenta que estas películas son tan cruciales acerca de la tecnología, ¿por qué incluyó sonidos naturales y clásicos en Operador ?

Para mí, se trataba de dos mundos coexistentes, uno virtual y otro natural, y cómo coexisten en armonía y conflicto, luchando por el mismo espacio. Era importante tener piezas. Si tienes dos cosas enfrentadas en contraste, esto hace que cada una sea más poderosa. La música electrónica suena más electrónica cuando está en el contexto de la música acústica. La calidad de algo que es natural puede sonar aún más natural cuando se lo compara con algo muy poco natural.

¿Cuál fue tu parte favorita de Operador ¿para anotar?

Hay algunas escenas hermosas del lago Michigan donde el personaje, Joe, sale corriendo todos los días. Él mide sus datos de salud, va al lago Michigan y toma una foto. Hay una escena donde decían: “Esta es una de las piezas más importantes de la película. Esto es todo lo que sientes, Sage. "La música también tenía que ser simple, no era decir con muchos gestos. Fueron solo un par de minutos de unos pocos gestos que fueron fáciles de colocar y que realmente podrían golpearte en el corazón. Eso fue lo más emocionante para mí.

¿Cómo compones una experiencia subjetiva en la realidad virtual frente a una película como Operador ?

Es emocionante porque nadie entiende cómo hacerlo. No hay un lugar donde puedas estudiarlo, ni siquiera para ver otros proyectos de VR para ver lo que han hecho porque todavía no es tan accesible. Hay un montón de pensar por ti mismo. Tenemos nuestros propios auriculares Oculus que utilizamos para desarrollar esto. Algunas veces asistimos a conferencias de realidad virtual para ver otros contenidos, pero en su mayor parte, es un producto que aún no ha llegado al mercado.

¿Qué hay de los videojuegos en los que has trabajado y también son experiencias tecnológicas subjetivas?

En cierto modo es como los videojuegos, pero la experiencia es diferente. El sustituto no es un juego sino una "película interactiva", que hizo un muy buen trabajo para descubrir un nuevo territorio de la realidad virtual. Tiene una duración de 12 minutos, es esférico, lo que significa que en lugar de un cuadro de 16x9 está en la película en cualquier lugar que mire, detrás de usted, arriba, abajo, puede caminar. Es este híbrido de disparo CG con una cámara esférica, con personajes reales. No avatares.

A medida que avanza, parte de la música se usa el tiempo completo para respaldar la narrativa. Hay este otro tipo ubicado en espacios. Si vas a ese espacio, lo escucharás, pero si no, no lo harás. Hay muchas cosas que necesitas comunicar cuando estás en una película para hacer que la historia funcione, para que la gente no se pierda partes importantes, pero en la realidad virtual no tienes control sobre el usuario. El usuario puede vagar por cualquier parte.

La puntuación en VR ayuda a que se comunique el arco emocional, ya sea que presten atención en el desempeño o no. Tienes que usar la puntuación para unir las cosas porque no tienes control. Esto es interesante para mí porque internamente, en el personaje en el que estás, es un thriller psicológico para ese personaje dentro de su mente y cuerpo, pero en el mundo exterior no lo es. Es gente moviéndose y hablando, no un thriller regular con acción.

Los ángulos de cámara en las películas comunican narrativa y tema, que la música intensifica. En la realidad virtual, parece que la música está haciendo todo el trabajo.

También es difícil entenderlo porque cuando estoy componiendo, no puedo experimentarlo. No puedo mostrarlo porque no se puede componer con el auricular puesto. En una película, puedes verla, poner la música y verla nuevamente y hacer que un montón de personas se sienten juntos y hablen sobre ella.

La realidad virtual es similar al teatro en realidad. Algunas personas tienen buenos asientos, algunas personas tienen malos asientos. Ellos están mirando a todos los ángulos. Desde la perspectiva musical, sabes cómo se sincronizarán las cosas. No tienes que adivinar cómo se van a sentir en el escenario cuando estés trabajando en ello. En VR estás adivinando, imaginándolo en tu mente, los materiales a los que estás haciendo referencia y que te ayudan a saber cómo se ven y se sienten las cosas al final.

Nunca ha terminado Simplemente sigue cambiando. El sustituto, acabamos de hacer la última actualización. Luego seguiremos trabajando en ello durante mucho tiempo en función de lo que aprendamos. Las cosas son más lentas porque confías en los programadores, las cosas se rompen todo el tiempo dentro del sistema. Es tan diferente

¿Cuánto tiempo crees que llevará a los compositores encontrar el ritmo para la música en la realidad virtual?

Descubrir cómo escribir música para VR tomará tanto tiempo como averiguar los otros elementos. Creo que de tres a cinco años, hasta que comienza a llegar a un punto en el que funciona y es parte de la vida de todos. Este año, VR se dirigirá al mercado. Probablemente tomará años mejorar el prototipo y descubrir cómo crear contenido, pero veo que sucederá alrededor de 2020, cuando se trata de un formulario bien desarrollado. La película tomó mucho tiempo también. Hubo grandes películas desde el principio, Charlie Chaplin y cosas por el estilo, pero desarrollar esta tecnología tomó mucho tiempo hasta su edad de oro. Todavía estamos lejos de eso, pero está sucediendo ahora. Vamos a empezar a verlo este año. Es emocionante.