El aprendizaje de la máquina de armamento contra el ISIS enredará las cadenas militares de mando

Todos en Internet lo pasaron muy bien con Tay, el robot de Twitter de Microsoft que se convirtió en un negador racista del Holocausto en unas pocas horas (luego regresó y lo hizo de nuevo). La compañía creó una trampa de relaciones públicas, más incidentes que desastres, al tiempo que ofrece al público una lección objetiva sobre las ventajas y desventajas del aprendizaje automático: la automatización puede aprovechar los patrones para lograr un efecto fascinante a la velocidad, pero los resultados serán predeciblemente difíciles de predecir.

Como suele ser el caso, los militares son los primeros en adoptar la tecnología de automatización. En un momento dado, está liderando la carga hacia el aprendizaje automático y también intenta desesperadamente mantenerse al día. Una de las principales áreas de enfoque para el Pentágono son los robots autónomos y la forma en que se unirán a los humanos, por ejemplo, un robot al estilo R2D2. Pero esta semana, el Subsecretario de Defensa Robert Work describió otra tarea para A.I.: procesamiento de datos de código abierto.

"Estamos absolutamente seguros de que el uso de máquinas de aprendizaje profundo nos permitirá tener un mejor entendimiento del ISIL como una red y un mejor entendimiento sobre cómo dirigirlo de manera precisa y llevarlo a su derrota", dijo el Secretario de Trabajo, según Sitio web del DoD. Según ese relato, Work, quien habló en un evento organizado por el El Correo de Washington, tuvo su epifanía mientras veía a una compañía de tecnología de Silicon Valley demostrar "una máquina que tomó datos de Twitter, Instagram y muchas otras fuentes públicas para mostrar el derribo del vuelo 17 de Malaysia Airlines en julio de 2014 en tiempo real".

Las empresas privadas y las agencias de cumplimiento de la ley han intentado dar sentido a los "grandes datos" durante mucho tiempo. Pero el ejército tiene una ventaja: el recurso. Además, tienen acceso a materiales clasificados.

El gobierno de los EE. UU. Parece estar dispuesto a apostar a que los algoritmos de software pueden ordenar la gran cantidad de datos que hay para identificar los objetivos de ISIS que de otra manera los hubieran eludido, y detectar y alterar los diagramas antes de que los planificadores puedan llevarlos a cabo. El gobierno ya está tratando de estudiar los medios sociales para predecir el tamaño de las protestas en línea. No hay duda de que el aprendizaje automático dará a los analistas de inteligencia un poder cada vez mayor para dar sentido a la riqueza de la información disponible en el mundo. Pero cuando esa inteligencia se convierte en la base sobre la cual se toma un golpe letal, las cuestiones éticas se vuelven más complejas, aunque parezcan sencillas.

A pesar de que Work no tardó en afirmar que el Pentágono no "delegaría autoridad letal a una máquina", ese es el juego final. Mientras tanto, los humanos permanecerán "en el circuito", como dice la jerga. Pero como cualquiera que haya buscado un informe meteorológico en un iPhone cuando se encuentra al lado de una ventana, las relaciones que tenemos con nuestros dispositivos y software no son simples. Somos problemáticos y nos distraemos fácilmente con los problemas de la interfaz de usuario.

El "sesgo de automatización", la tendencia de los humanos a diferir a las máquinas, presenta un peligro claro y cada vez más presente. El ejemplo de ejemplo para ilustrar este fenómeno es cuando su teléfono le dice que tome una ruta de viaje que sabe que está mal pero lo hace de todos modos, suponiendo que el teléfono debe saber algo que usted no sabe. Este es un problema común en contextos no militares. Sin embargo, lo que el Pentágono parece estar acercándose también son los informes de amenazas compuestos por inteligencia artificial. No sabemos nada acerca de la eficacia potencial de este programa, aparte de que será difícil de implementar para los humanos.

En un documento de 2001 que analizaba los programas piloto de estudiantes y profesionales y el sesgo de automatización, los investigadores encontraron que "en los escenarios en los que la información correcta estaba disponible para verificar y detectar anomalías de automatización, las tasas de error de aproximadamente el 55% se documentaron en ambas poblaciones". El estudio también encontró que agregar un compañero de equipo humano adicional no mitigó el problema.

De manera similar, un estudio del MIT del año pasado encontró algo inquietante que los jugadores de computadoras y videojuegos tenían una "mayor propensión a sobregenerar la automatización". Eso podría significar que cuanto más tiempo pasamos mirando nuestras pantallas, más confiamos en lo que vemos. Nuevamente, el problema no está en los sistemas que usamos, sino en la forma en que los usamos. La culpa no está en nuestras estrellas, sino en nosotros mismos.

Big data sigue siendo prometedor. El aprendizaje automático sigue siendo prometedor. Pero cuando las máquinas aconsejan a los humanos, los resultados son predeciblemente impredecibles. ¿La transformación de Tay en un misógino neonazi significa que Twitter odia a los judíos y las mujeres? Es difícil de saber, pero bastante improbable. Cuando no entendemos el proceso por el modo en que los insumos se convierten en productos, luchamos para tratar los resultados de una manera racional. Lo que pone al Pentágono en una posición interesante. ¿Las personas que están programando el software de aprendizaje automático de los militares serán las que ordenarán los ataques aéreos? No es así como funciona la cadena de mando, sino que las cadenas de mando se enredan cuando la tecnología se involucra.