Cómo el bandido multi-armado determina qué anuncios e historias ve en línea

Imagina que eres un jugador y te encuentras frente a varias máquinas tragamonedas. Su objetivo es maximizar sus ganancias, pero en realidad no sabe nada sobre las recompensas potenciales que ofrece cada máquina. Sin embargo, entiendes que las palancas que tiras y la frecuencia con la que lo haces afectarán los resultados de tu atracón de juego.

Este escenario, que enfrentan todos los días los visitantes de Las Vegas y Atlantic City (en la medida en que las personas aún vayan a Atlantic City) es también un clásico rompecabezas lógico llamado "Bandit Multi-Armado": las máquinas tragamonedas se conocen como "One-Armed Bandidos ”al envejecer los tipos Reno porque tienen una palanca y toman el dinero de la gente. Si bien no existe una forma correcta de abordar las situaciones de bandidos multirmedidos (el candidato más cercano es el Índice de Gittins), existen enfoques estratégicos para abordar estos problemas que se ven sin registrarse todos los días cuando se conecta. Muchos algoritmos que gobiernan la forma en que se presenta el contenido a través de Google y en los sitios web se basan en estrategias MAB. El objetivo en casi todos los casos es vincular el aprendizaje y los resultados y maximizar el potencial de ambos.

Un enfoque de bandidos multi-armados es utilizado por El Washington Post para averiguar en qué fotos y titulares es más probable que haga clic, y por redes inalámbricas para averiguar qué rutas óptimas, que conservan la energía, son las mejores. Los algoritmos que surgen de los enfoques de MBA son muy importantes para estas empresas y muchas otras, ya que básicamente determinan cuándo y qué anuncios aparecen en línea.

Descubrir qué anuncios mostrar a las personas es un problema desafiante porque hay muchos bandidos con un solo brazo corriendo haciendo clic en cosas en línea. Los algoritmos MAB para publicidad suelen utilizar un "problema de bandidos mortales de varios brazos" que cambia rápidamente y que se aplica durante períodos de tiempo finitos. Los datos de tráfico se utilizan para desarrollar metodologías cada vez más efectivas.

Es difícil asignar MAB a un propósito exacto, porque es posible crear tantas variaciones de la fórmula. Los bandidos K-armados, por ejemplo, tienen "armas" que compiten para obtener la mayor recompensa esperada. Los bandidos contextuales hacen lo mismo pero con un "consejo experto" (datos recopilados previamente por el usuario) y el sitio web denominado "ILOVETOCONBANDITS" solo funciona en un programa de rondas previamente especificadas. En contraste, un enfoque MAB clásico no tiene información lateral posible y el resultado solo depende del potencial de la acción elegida.

Si bien la aplicación más útil para los MAB hasta ahora parece estar relacionada con Internet, los investigadores están trabajando para encontrar una manera de aplicarlos a los escenarios de la "vida real" (también conocido como meatspace). En un artículo de 2015, investigadores de la Universidad de British Columbia consideran la aplicación de MAB a los ensayos médicos. El objetivo, si los MAB resultan ser posibles aquí, es que un algoritmo MAB pueda medir el efecto de un medicamento en particular. El problema obvio es que, a menos que se pueda crear una versión modulada por computadora de esto, seguir este enfoque simplemente tomaría mucho tiempo. No hay forma de que un diseño MAB pueda ser colocado dentro de un ensayo clínico.

La idea es buena, pero no es factible a partir de ahora. Hasta que el futuro esté aquí, la mayoría de las veces sentirás la presencia de un bandido con múltiples brazos cuando intentas desesperadamente hacer clic en los anuncios emergentes.