Google Home vs Amazon Echo, ¿quién ganará la batalla de los altavoces inteligentes?
¿Qué pasaría si le dijéramos que un pirata informático podría darle un comando a su Amazon Echo sin que usted se diera cuenta, o incluso que tuviera que piratearlo como normalmente lo pensamos?
Moustafa Alzantot, Ph.D. en informática. candidato de la Universidad de California en Los Ángeles, dice que es teóricamente posible que un actor malintencionado envíe un sonido o señal en particular que normalmente pasaría inadvertido para los humanos, pero que haga que los algoritmos de aprendizaje profundo de A.I.
"Un ejemplo de un ataque sería controlar su dispositivo doméstico, sin que usted sepa lo que está pasando", le dice Alzantot. Inverso. "Si estás tocando música en la radio y tienes un eco en tu habitación. Si un actor malintencionado es capaz de transmitir una señal de audio o música diseñada de manera tal que el Echo lo interpretará como un comando, esto permitiría al atacante decir, desbloquear una puerta o comprar algo ".
Es un ataque conocido como ejemplo de confrontación, y es lo que Alzantot y el resto de su equipo intentan detener, tal como se describe en su artículo presentado recientemente en el taller de Decepción de máquinas NIPS 2017.
AI. No es diferente a la inteligencia humana que la creó en primer lugar: tiene sus defectos. Los investigadores en ciencias de la computación han descubierto formas de engañar por completo a estos sistemas alterando ligeramente los píxeles de una foto o agregando ruidos tenues a los archivos de audio. Estos pequeños ajustes son completamente indetectables para los humanos, pero altera por completo lo que es una A.I. oye o ve.
"Estos algoritmos están diseñados para intentar clasificar lo que se dijo para que puedan actuar en consecuencia", dice Mani Srivastava, científico informático de UCLA, Inverso. "Intentamos subvertir el proceso manipulando la entrada de manera que un humano cercano escuche" no "pero la máquina escuche" sí ". Así que puedes forzar al algoritmo a interpretar el comando de manera diferente a lo que se dijo ".
Los ejemplos de confrontación más comunes son los que se relacionan con los algoritmos de clasificación de imágenes, o el retoque de una foto de un perro muy ligeramente para hacer la A.I. Creo que es algo completamente diferente. La investigación de Alzantot y Srivastava ha señalado que los algoritmos de reconocimiento de voz también son susceptibles a este tipo de ataques.
En el documento, el grupo usó un sistema de clasificación de voz estándar que se encuentra en la biblioteca de código abierto de Google, TensorFlow. Su sistema tenía la tarea de clasificar los comandos de una sola palabra, de modo que escuchara un archivo de audio y tratara de etiquetarlo por la palabra que se decía en el archivo.
Luego codificaron otro algoritmo para tratar de engañar al sistema TensorFlow usando ejemplos contradictorios. Este sistema fue capaz de engañar a la clasificación del habla A.I. El 87 por ciento de las veces utiliza lo que se conoce como un ataque de caja negra, en el que el algoritmo ni siquiera tiene que saber nada sobre el diseño de lo que está atacando.
"Hay dos formas de montar este tipo de ataques", explica Srivastava. "Uno es cuando, como adversario, sé todo sobre el sistema receptor, por lo que ahora puedo inventar una estrategia para explotar ese conocimiento, este es un ataque de caja blanca". Nuestro algoritmo no requiere conocer la arquitectura del modelo víctima, lo que lo convierte en un ataque de caja negra ".
Claramente, los ataques de caja negra son menos efectivos, pero también son los que probablemente se usarían en un ataque de la vida real. El grupo de UCLA pudo lograr una tasa de éxito tan alta del 87 por ciento incluso cuando no adaptaron su ataque para explotar las debilidades de sus modelos. Un ataque de caja blanca sería mucho más efectivo para jugar con este tipo de A.I. Sin embargo, los asistentes virtuales como la Alexa de Amazon no son las únicas cosas que podrían explotarse utilizando ejemplos contradictorios.
"Las máquinas que confían en hacer algún tipo de inferencia a partir del sonido podrían ser engañadas", dijo Srivastava. “Obviamente, el Amazon Echo y ese es un ejemplo, pero hay muchas otras cosas donde el sonido se usa para hacer inferencias sobre el mundo. Tienes sensores vinculados a sistemas de alarma que absorben el sonido ".
La comprensión de que los sistemas de inteligencia artificial que toman señales de audio también son susceptibles a los ejemplos contradictorios es un paso más en la comprensión de cuán poderosos son estos ataques. Si bien el grupo no pudo realizar un ataque transmitido como el que describió Alzantot, su trabajo futuro girará en torno a ver qué tan factible es eso.
Si bien esta investigación solo probó comandos de voz limitados y formas de ataques, destacó una posible venerabilidad en una gran parte de la tecnología de los consumidores. Esto actúa como un trampolín para futuras investigaciones en defensa contra los ejemplos contradictorios y la enseñanza de A.I. cómo distinguirlos
¿Qué es un mapa de sonido? Por qué los científicos estudian los llamados a los coyotes en los parques nacionales
La investigación en conservación pone un gran énfasis en la vista (piense en especies raras atrapadas en películas con cámaras), pero el sonido también es un elemento crítico de los sistemas naturales. Un ecologista de sonido digital explica por qué los científicos usan el sonido para comprender mejor el medio ambiente.
Los hombres de la cueva tailandeses pueden necesitar aprender a nadar para escapar, dicen los rescatistas
Los rescatistas encontraron a 12 niños desaparecidos y su entrenador de fútbol con vida el lunes, después de haber estado atrapados en una cueva en Tailandia durante 9 días debido a las inundaciones. Ahora que se ha encontrado el equipo, el enfoque se ha desplazado hacia la forma en que los rescatistas los sacarán. Los niños tienen que esperar a que el agua retroceda o aprender a nadar rápido.
Por qué Vaping es una "epidemia" y por qué será difícil para la FDA detenerlo
El miércoles, el comisionado de la Administración de Alimentos y Medicamentos, Scott Gottlieb, M.D anunció que, a pesar de su potencial para ayudar a los fumadores adultos a hacer la transición de los productos de tabaco combustibles, la actual aceleración del uso del cigarrillo electrónico por parte de los adolescentes significa que el uso del cigarrillo electrónico es ahora una epidemia.