Princeton Undergrad crea Deepjazz A.I., inspirado en los sueños de Google. Creador de musica

Ji-Sung Kim pasó las primeras horas de la mañana del primer fin de semana de abril con la cafeína y la codificación en su computadora mientras desarrollaba DeepJazz, un generador de música de aprendizaje profundo. El estudiante de 20 años de Princeton en ciencias de la computación solo tenía 36 horas para completar deepjazz durante su primer hackathon, HackPrinceton, que se llevó a cabo del 1 al 3 de abril en la universidad. Después de terminar una maratón de codificación, creó un sitio web para deepjazz y publicó el código fuente en GitHub.

Pero para sorpresa de Kim, el programa se disparó. Deepjazz tiene una tendencia constante en Python y GitHub, llegando tan alto como el séptimo programa principal en GitHub en general. Incluso apareció en la portada de HackerNews y sigue generando una discusión animada.

"Nunca esperé que mi primer proyecto paralelo fuera tan explosivo en términos de popularidad", dice Kim. Inverso. "Ha sido bastante loco y divertido".

deepjazz - ¡Generación de jazz impulsada por el aprendizaje profundo utilizando Keras y Theano! http://t.co/G5wscglzO7 #python

- Python Trending (@pythontrending) 11 de abril de 2016

Entre comer, dormir y completar otros cursos, Kim razonó que le tomó cerca de 12 horas desarrollar el código fuente para deepjazz. Sin embargo, se le ocurrió la idea de un generador de música de inteligencia artificial mucho antes de HackPrinceton. Durante una pasantía de verano en la Universidad de Chicago, se encontró con Deep Dream de Google, un generador de fotos que interpreta los patrones en una imagen y los transforma en otros objetos que conoce. El resultado son imágenes borrosas que parecen haber salido de un sueño salvaje.

"La idea de utilizar el aprendizaje profundo para interpretar arte fue realmente interesante para mí", dice Kim. "Este tipo de marco Deep Dream que Google presentó y publicó fue realmente fascinante porque estás creando obras de arte novedosas a partir de obras de arte existentes".

Deepjazz utiliza el aprendizaje automático para generar música de jazz, “an A.I. construido para hacer jazz "como su perfil de SoundCloud dice. Kim, que no ha tomado clases de teoría musical pero ha tocado el clarinete durante siete años, eligió la música de jazz debido a sus melodías poco convencionales. Un A.I. La música del sistema, "puede tener algunos resultados inusuales, así que creo que el jazz fue especialmente adecuado para la idea de generar música sobre la marcha", dice.

Reutilizó un generador de música existente optimizado para la música de jazz que su amigo Evan Chow desarrolló llamado JazzML, usando el código para obtener datos relevantes, pero transformándolo en una matriz binaria que es compatible con las dos bibliotecas de aprendizaje profundo Keras y Theano.

El marco de DeepJazz en sí mismo es un LSTM de dos capas, que es un tipo de arquitectura de red neuronal artificial, describe Kim. Después de que aprende una secuencia inicial inicial de notas musicales (Kim usó partes de "And Then I Knew" de Pat Metheny), asigna probabilidades a las notas y genera la siguiente nota basada en esas probabilidades. Por ejemplo, si alimenta al programa la escala A, B, C, existe una alta probabilidad de que la siguiente nota que generará deepjazz sea D, explica Kim.

Históricamente, los críticos han dicho que los generadores de música de inteligencia artificial están plagados de producir canciones que suenan demasiado robóticas y estériles, sin el color que se escucha en la música compuesta por humanos. Jeffrey Bilmes, un ex alumno del MIT que escribió una tesis en computadoras que reproducen ritmos musicales en 1993, dijo a Inverso en noviembre:

"Cuando estás aprendiendo a tocar música y estás aprendiendo a tocar jazz, hay una utilidad para entender intuitivamente qué es lo que hace que la música sea humana", dijo Bilmes. "Los humanos son seres intuitivos, y los humanos a menudo no son capaces de describir cómo son capaces de hacer cosas humanas. En ese momento sentí que tal vez estaba violando un juramento sagrado al definir estas cosas para programas de computadora ".

Cuando Kim estaba haciendo una investigación para deepjazz, se encontró con muchos sistemas que generaban música que sonaba robótica.

"La música y el arte son cosas que consideramos profundamente humanas", dice Kim. "Para que suene más humano y más realista, es realmente difícil de categorizar". Kim sugiere que los generadores podrían crear canciones que suenen más humanas programándolas para que suenen menos similares a la pista original.

Otros desarrolladores se han contactado con Kim y están interesados ​​en expandir el deepjazz para que más personas puedan interactuar con él. Kim puede ver el deepjazz un día evolucionando hacia un compañero de improvisación que puede generar artificialmente un retroceso para que un músico toque. Aún más en el futuro, puede ver aplicaciones que crean música de sonido similar a sus pistas favoritas o que pueden sugerir nuevos acordes y progresiones para los músicos.

Kim admite que aún está lejos de ser un experto en el aprendizaje profundo, pero su experiencia en el desarrollo del deepjazz y la capacitación en pasantías y Princeton le ha brindado una valiosa información sobre el campo.

"AI. Ya no es un sueño de ciencia ficción. Es algo que es muy real y es algo que se acerca a un ritmo muy rápido ", dice Kim. "Es de esperar que este estudiante universitario, que aún no es un estudiante de clase superior, pueda hacer algo dentro de un hackathon es alentador para otros estudiantes que están luchando para ingresar a la informática".