Enfréntate a la música: cómo el "conductor de ojo" ayuda a los paralíticos a rockear la mierda

Andreas Refsgaard, un diseñador de interacción y programador creativo que vive en Ámsterdam, ha diseñado una interfaz musical que permite a las personas con discapacidades físicas crear música. The Eye Conductor utiliza un software de seguimiento ocular y una cámara web de computadora para traducir los movimientos faciales en diferentes componentes de la composición musical. Los usuarios pueden entrenarse para tocar la cosa con su cara, lo que significa que las personas paralizadas (las personas que ya no pueden tocar instrumentos) pueden tener una segunda oportunidad de hacer sonidos hermosos (o simplemente ruidosos). La mirada correcta literalmente golpea un acorde con el invento de Refsgaard. La expresión correcta se expresa en voz alta.

Refsgaard habló a Inverso sobre la motivación detrás de su proyecto, las dificultades que encontró en el camino y lo que aprendió de las personas que habían perdido la capacidad de hacer de la música otra oportunidad.

¿Cuál es tu experiencia con la música?

No me llamaría músico porque solo toco por diversión, pero toco la guitarra y el bajo. Ableton es un programa de música, una estación de trabajo digital que es similar a los softwares de grabación como Logic o Protools o Garage Band. Tomé un curso sobre eso, y no fui tan bueno haciendo música con él, pero me fascinaron las posibilidades que vi. Luego comenzamos a colaborar y hacer algunas cosas más artísticas de instalación donde él diseñaría los sonidos y yo conectaría los sensores, por ejemplo, una cámara de profundidad, de modo que cuando la gente pasara, estuvieran controlando algunos aspectos del proyecto.

Así que eres un diseñador de interacción y un codificador creativo. ¿Podrías explicar qué significan esos títulos?

Todas las cosas que diseño son interactivas. Entonces, si tuviera que hacer algún tipo de muebles, entonces tendría alguna funcionalidad que lo haría reaccionar a algo. También soy un programador creativo. En comparación con muchas otras personas, por ejemplo, estudié en Copenhague en el Instituto de Diseño de Interacción de Copenhague, donde la gente proviene de muchos orígenes diferentes, estoy un poco más orientado hacia el lado de la codificación. También me llamo a mí mismo un "codificador creativo" porque no soy un programador adecuado. No soy tan bueno en eso, pero puedo hacer algunas cosas muy rápido y puedo conectar cosas y soy bueno para crear ideas novedosas.

¿Qué fue lo que te inspiró para ayudar a las personas con discapacidades físicas a hacer música?

Después de la escuela secundaria durante dos o tres meses, fui cuidadora de alguien con distrofia muscular. Estar con él todo el tiempo me hizo darme cuenta de algunas de las cosas con las que no podía ayudarlo. Uno de ellos se expresaba de manera creativa. No fue que pensé: "Bueno, este es un problema que debo resolver", porque en ese momento yo era joven y no tenía ninguna habilidad profesional. Pero se quedó conmigo.

¿Qué pasa en términos de inspiración técnica?

Un proyecto llamado Eyewriter que vi hace aproximadamente un año es un programa de pintura que fue diseñado para un tipo que solía ser un artista de graffiti pero que luego se paralizó. Algunos de sus amigos eran programadores e hicieron una herramienta para él con seguimiento ocular que le permitió dibujar. Y luego, desde que había estado jugando con sensores y cosas en software de música, hice una conexión. Lo hice como mi proyecto final en la escuela.

¿Cómo la música terminó siendo el campo creativo que querías explorar?

Creo que quizás porque me gusta mucho la música y en cuanto al tiempo que tuve para el proyecto. Simplemente se hizo evidente que la música era con lo que quería trabajar. Entonces me inspiré mucho en Eyewriter en términos de hacer gráficos.

La música parece una gran elección porque es universal. No puedo pensar en alguien a quien no le guste la música.

Al principio, realmente quería probar qué tan importante era la música para el grupo para el que estaba diseñando. Los primeros pasos fueron observar cómo las personas con diferentes discapacidades físicas interactúan con la música. Un hogar que visité tenía música los jueves. Algunos pueden apuntar un poco o tocar un poco en un teclado, y otros no pueden hacer nada en absoluto, pero el hecho es que aparecen los jueves de música.

Entre observar y luego hacer el dispositivo, ¿cuánto tiempo tomó?

A menudo, en un proceso de diseño, serían dos cosas separadas, pero no me gusta ese enfoque. Me gusta construir desde el principio y luego cuando tengo conversaciones sobre lo que he construido. Y luego lo modifico o refino.

¿Cómo fue ver a la gente usarlo por primera vez?

Fue bastante agradable, sí. Debido a que algunas de las personas no pudieron hablar, la conexión puede ser difícil. Pero luego cuando usaron mi conductor de ojo, realmente nos conectamos. Me miraban y sonreían o actuaban muy felices o cuando yo solo demostraba que estaban realmente concentrados. Fue un hermoso ejemplo de cómo la música puede ayudar a las personas a interactuar y expresar emociones.

Sin ser demasiado técnico, ¿cuál fue el mayor problema con el que se encontró mientras diseñaba el Eye Conductor?

Para que el sistema funcione, tienes que sentarte en la misma posición en la que estamos sentados ahora mismo frente a nuestras computadoras portátiles porque la imagen que ves de mí en este momento es directa y buena para rastrear mi cara y mis ojos. Pero si estás con alguien en una silla de ruedas que no tiene control sobre su postura o su espalda o cuello, por ejemplo, a veces se sientan más de lado y el sistema no puede seguir sus movimientos faciales. Y a veces me resulta un poco incómodo tratar de decir: "Está bien para que esto funcione, tienes que sentarte más derecho". Y luego, dado que no son verbales, ¿cómo comunicamos esto?

Si la cabeza de alguien estuviera inclinada de esa manera, ¿podría teóricamente sostener el portátil de una manera que capte sus gestos faciales?

Sí. Así que realmente no fui a resolver ese problema, pero muchas personas tienen computadoras montadas en sus sillas de ruedas y la computadora está en un poste y luego en ese poste hay un dispositivo de montaje y lo colocan en ángulo en la dirección correcta para apuntar a la cara de la persona No hay una posición que sea correcta o incorrecta, solo se trata de que los sensores, que son la cámara web y un rastreador ocular, estén directamente en la cabeza. Eso fue un poco desafiante. Era más una cuestión de hardware porque, de lo contrario, tendría que intentar construir una estructura y eso sería complicado. No soy tan bueno en eso.

¿Lo hizo usted solo o se topó con problemas técnicos que solo otras personas sabían cómo resolver?

Lo hice por mi cuenta, pero en cuanto al diseño de sonido, recibí ayuda de ese profesor del que te hablé. Básicamente solo son cosas de diseño de sonido. También tuve un asesor que me dio algunos consejos en términos de un lenguaje de programación llamado Max, en el que fue realmente genial. Simplemente me ayudó a sentirme más cómodo con ciertos detalles de programación. Por supuesto, mucho de esto era nuevo, pero lo básico ya lo sabía por experiencia previa. Hice el Eye Conductor en ocho semanas y la gente dijo: "Oh, eso es una locura, ¿cómo puedes hacer eso en ocho semanas?" Pero hice algunas otras cosas que también están avanzadas en términos de trabajo con sensores y software de música y que me llevaron más tiempo porque No sabía cómo hacerlo. Ahora que sé que no es tan difícil, aunque este proyecto fue más complicado. También es importante para mí señalar que es un prototipo completamente funcional pero no es un producto. Así que la gente no puede salir, comprarlo e instalarlo en mi computadora.

Iba a preguntarte si tienes planes de venderlo.

En realidad no quiero venderlo, quiero regalarlo. Quiero convertirlo en una fuente de código abierto, pero no puedo prometer nada ahora. Todavía no tengo fondos para ello y tengo trabajo y otras cosas que hacer. Recibí un mensaje de un chico en Michigan, por ejemplo, que solía ser productor y luego recibió ALS. Tengo que ponerlo a disposición de todas estas personas. Es muy importante para mí en algún momento, y no puedo prometer cuándo, pero espero que sea muy pronto, empaquetarlo de manera que la gente pueda descargarlo todo como una sola cosa y se ejecute en la mayoría de las computadoras o en realidad lo pruebe. en el navegador La idea detrás de convertirlo en una cuestión del navegador solo requeriría que las personas tuvieran una computadora con acceso en línea y luego tuvieran cualquier reemplazo para un mouse que pudieran tener en su computadora. Si lo hago de código abierto, puedo proporcionar la demostración básica y luego la gente puede agregar sus propios giros para hacerla suya.

Es agradable saber que estás haciendo esto porque quieres ayudar a la gente y no porque quieres hacerte rico o algo así.

Las herramientas con las que lo construí, al menos el prototipo de trabajo, son de código abierto. ¿Por qué entonces obtendría el crédito? Por ejemplo, el sistema de seguimiento facial que uso para mi prototipo, que permite a las personas crear un sonido alzando las cejas o abriendo la boca, eso es algo llamado FaceOSC creado por un tipo llamado Kyle McDonald y es un sistema de código abierto. No creo que hubiera llegado tan lejos como lo hice sin ese software.