¿Las armas autónomas dirán "No" a las órdenes ilegales?

Baynazar Mohammad Nazar estaba inconsciente en la mesa de operaciones cuando el techo comenzó a caer sobre él. El padre de cuatro hijos se había registrado en el hospital el día anterior después de recibir un disparo en la pierna y fue sometido a su segunda operación en dos días para arreglar su lesión. Cuando los estadounidenses comenzaron a destruir el edificio, los médicos que trabajaban en él no tuvieron más remedio que escapar por su cuenta tan rápido como pudieron.

Andrew Quilty en La política exterior cuenta la historia de la vida y la muerte de Baynazar en un artículo que incluye una fotografía de su cuerpo cubierto de escombros en la mesa de operaciones. Baynazar fue una de las 31 personas que mataron en Estados Unidos cuando golpeó el hospital dirigido por Médicos Sin Fronteras (también llamado MSF) en Kunduz, Afganistán, el 2 de octubre.

Después de huelgas de alto perfil, víctimas civiles, políticos y expertos preguntan cómo podría suceder tal cosa, y qué se puede hacer para garantizar que no vuelva a suceder. Entre los defensores de los sistemas de armas autónomos, a veces llamados "robots asesinos", un argumento popular es que el error humano (o malicia) es responsable de un gran grado de los delitos cometidos durante la guerra. Teóricamente es posible, dicen, que los robots puedan ser más precisos en sus objetivos y menos propensos a cometer errores que los humanos.

"De hecho, el juicio humano puede resultar menos confiable que los indicadores técnicos en el fragor de la batalla", escribe Michael N. Schmitt, profesor de la Escuela de Guerra Naval de los Estados Unidos. "Aquellos que creen lo contrario no han experimentado la niebla de la guerra".

El ataque aéreo estadounidense contra el hospital de MSF en Afganistán "fue causado principalmente por un error humano" http://t.co/X9TGIA81aD pic.twitter.com/TUwit97206

- Telegraph News (@TelegraphNews) 25 de noviembre de 2015

La pregunta, entonces, es: ¿puedes programar las herramientas de la guerra para restringir el comportamiento humano para hacer que las huelgas como el bombardeo del hospital de Kunduz sean imposibles, o al menos menos probables?

Probablemente no, al menos para el futuro cercano. Pero algunos programadores de inteligencia artificial han diseñado un robot que puede decir no a los humanos. El diseño del experimento es simple: el ser humano le dice a un robot que salga de una mesa, lo que inicialmente el robot se niega a hacer. Cuando el humano le dice al robot que lo atrapará, el robot acepta el pedido.

Es un largo camino desde que un helicóptero de ataque semiautónomo le dice a su tripulación humana que no puede realizar un ataque aéreo contra un hospital porque sería un crimen de guerra, pero la premisa subyacente es en gran parte la misma. Como otros lo han señalado, la ansiedad humana por este tipo de desarrollo en robots es común en la ciencia ficción: piense en HAL-9000 que dice "No puedo hacer eso, Dave" cuando bloquea al humano fuera de la estación espacial en 2001: una odisea del espacio.

En cuanto a los detalles específicos de la huelga de Kunduz, muchos de los hechos en torno al ataque siguen siendo controvertidos. MSF ha exigido una investigación independiente, a la que el gobierno de los Estados Unidos se opone, en lugar de comprometerse a realizar sus propias revisiones.

Algunas partes de una investigación de los Estados Unidos se hicieron públicas a principios de este mes y encontraron errores humanos y mecánicos responsables de la huelga. Pero a principios de esta semana, dos miembros del servicio se opusieron a contradecir los hallazgos del informe. Dicen que la huelga no fue un error. En su contabilidad, primer informe por AP Las fuerzas de operaciones especiales de los EE. UU. Convocaron la huelga porque pensaron que el hospital estaba siendo utilizado como un centro de comando y control talibán.

En la versión oficial, una falla mecánica llevó a la tripulación de la AC-130 a obtener las coordenadas para un campo vacío. Luego, la tripulación buscó un edificio en el área que se ajustara a la descripción física que habían recibido, y abrió fuego. Cuando sus instrumentos se recalibraron, dieron a la tripulación las coordenadas correctas para su objetivo, pero la tripulación continuó disparando contra el hospital de todos modos.

Si esta afirmación es cierta, que la computadora fue precisa en última instancia y los humanos la ignoraron, le da cierta credibilidad a los partidarios de una mayor autonomía en los sistemas de armas. Dicho esto, la guerra de Estados Unidos contra el terrorismo está llena de ejemplos de militares o de la CIA que golpean el objetivo "correcto" y aún así terminan matando a un gran número de civiles. La automatización no resolverá la mala inteligencia, y los intentos de programar una aproximación de la moralidad no acabarán con los crímenes de guerra.

Hay una fuerte tentación en los Estados Unidos para esterilizar la guerra y la automatización, al eliminar a los estadounidenses de la forma en que está dañado, que está destinada a cambiar la definición misma de guerra. La preferencia de Obama por el asesinato de aviones no tripulados y las garantías que lo acompañan de que los aviones no tripulados son las armas más precisas jamás creadas son la manifestación más clara de esos objetivos. "Han sido precisos, ataques de precisión contra Al Qaeda y sus afiliados", dijo Obama en un lugar de reunión de Google en 2012.

Un estudio del gobierno de 2013, sin embargo, contrasta esas afirmaciones. Encontró que los aviones no tripulados en Afganistán causaron 10 veces más muertes de civiles que vehículos no tripulados. "Los drones no son mágicamente mejores para evitar a los civiles que los aviones de combate", dijo Sarah Holewinski, coautora del estudio, El guardián. "Cuando a los pilotos de aviones a reacción se les dieron directivas y capacitación claras sobre protección civil, pudieron bajar las tasas de bajas civiles".

Los militares están gastando millones en el desarrollo de sistemas de equipos humanos y robots, borrando aún más las líneas entre las misiones llevadas a cabo por armas tripuladas o no tripuladas. "Lo que queremos hacer en el equipo de combate humano-máquina es llevarlo al siguiente nivel, para ver cosas como las tácticas de enjambre", dijo el subsecretario de Defensa Bob Work al blog oficial de ciencia del DoD. "¿Puede un F-35 entrar en batalla con cuatro hombres de ala no tripulados?"

¿Dirán esos aleros que no si el piloto humano les da una orden que es análoga a caminar fuera de la mesa? ¿Qué pasa con una orden para destruir un hospital o escuela? La niebla de la guerra se va a aplicar en ambos casos. Y si decidimos anular las máquinas, la frase "error humano" será uno de los términos más aterradores en los conflictos del futuro.