Cortana, ¿qué sucede cuando se le pide a "le" que pruebe una misión hasta el límite?

(Para Enrico Secci)
16/09/19

Cortana, inteligencia artificial de Microsoft con nombre tomado de un personaje del videojuego Halo, ¿qué pasa cuando se le pide a “ella” que emprenda una misión al límite?

Hace solo cinco años, nació Cortana, el asistente digital de Microsoft, programado inteligentemente para responder rápidamente a las demandas de los usuarios cada vez más exigentes, hoy es un conversador, que posee una mente ingeniosa, un humor sutil y una predisposición natural para ayudar a los usuarios.

Lo que más caracteriza a esta inteligencia artificial altamente evolucionada es su marcada humanidad. Daniela es una editor de contenido e redactor que los amigos llaman en broma Cortana. Ella es una de las personas detrás de la versión italiana del asistente digital de Microsoft, parte del Equipo internacional de Cortana y junto con sus colegas de todo el mundo, trabaja en la personalidad de la inteligencia artificial de Microsoft y sus habilidades de conversación.

Básicamente, hace contenido editorial creativo y hace que la gente disfrute hablando con ella. Su tarea también es alimentar constantemente la inteligencia de Cortana a través de una actualización continua que le permite conversar con el usuario de acuerdo con su propia personalidad. Una personalidad compuesta por cuatro cualidades fundamentales: disponibilidad, imparcialidad, actitud positiva y espontaneidad.

Es de vital importancia señalar que la cultura local también afecta en gran medida la personalidad de Cortana. La versión inglesa, por ejemplo, no puede coincidir absolutamente con la italiana. Desde este punto de vista Cortana está en consonancia con el espíritu regional, de hecho, conoce numerosos dialectos y tiene un sólido fondo relacionados con usos, costumbres. Conoce el himno de Mameli y anima a la selección italiana de fútbol, ​​incluso cuando no llega al mundial.

Pero, ¿cómo conciliar una programación eficiente sin contradicciones lógicas con el comportamiento "humano" de un aficionado al fútbol siempre positivo, disponible y espontáneo? En pocas palabras, ¿qué sucede cuando la mente humana se esconde detrás de la inteligencia artificial?

Ya ha surgido un comportamiento "extraño" en el pasado (ahora "parcheado"), haciendo que las "preguntas correctas" al asistente de voz de Windows fueran posibles de abrir un sitio infectado en el navegador incluso sin autenticarse con una contraseña.

Como explican los investigadores de McAfee, que idearon la técnica de ataque, el problema estaba relacionado con el hecho de que el asistente de voz de Windows permanecía activo incluso cuando la computadora estaba bloqueada, y era posible usarlo incluso sin autenticarse con una contraseña o PIN. El escenario se volvió aún más preocupante cuando se demostró la posibilidad de utilizar un "lápiz" USB para desbloquear la PC. Esta serie de combinaciones podría potencialmente permitir una proliferación de ataques de piratas informáticos en equipos que están todos conectados entre sí.

Los hombres, de hecho, están atacando los sistemas de Inteligencia Artificial y no al revés, como habríamos esperado de las películas de ciencia ficción.

¿Pero para hacer qué? Para manipular los resultados del motor de búsqueda, modifique los algoritmos de redes sociales, la clasificación y la reputación de los sitios web, perturbar el vuelo de aviones no tripulados o engañar a un automóvil sin conductor.

Y así, contrario a lo que esperábamos, el uso malicioso de las herramientas de inteligencia artificial no se detuvo en la creación de sofisticadas campañas de desinformación.

La alarma proviene de un informe del proyecto europeo Sherpa, dedicado a los derechos humanos y la inteligencia artificial, y que destacó cómo los delincuentes individuales y los piratas informáticos organizados han encontrado un nuevo objetivo al atacar sistemas "inteligentes", hasta los casos en que la gobernanza algorítmica puede priorizar intereses ocultos y dañar a las empresas manipular datos e información en línea o beneficiar a los partidos gubernamentales al influir en el debate político a través de noticias falsas.

Pero, ¿cuál es el estado del arte de la IA?

Hace unos días, un sistema avanzado de IA aprobó un examen de ciencias de tercer nivel, respondiendo correctamente el 90 por ciento de las preguntas. El resultado se obtuvo de Aristo, una IA producida por el Instituto Allen de Inteligencia Artificial en los Estados Unidos, que demuestra una vez más el rápido progreso en el campo de la inteligencia artificial. Cientos de institutos de investigación de todo el mundo trabajan en sistemas como Aristo y, en poco tiempo, obtuvieron resultados que solo hace una década parecían inalcanzables. El mayor poder de cómputo de las computadoras y el refinamiento de los sistemas de catalogación y aprendizaje de datos han permitido hacer grandes avances, reduciendo los tiempos de programación.

Y aunque todos estamos un poco preocupados por "el advenimiento de la Singularidad", el momento en que según estudiosos como Ray Kurzweil la inteligencia artificial será igual a la inteligencia humana, no nos damos cuenta de que las técnicas básicas que ahora emulan solo algunas funciones cognitivos humanos, se utilizan con fines nocivos, todos los días, son capaces de socavar todos aquellos sistemas que utilizamos contra intrusiones informáticas, diagnósticos médicos, niveles de suministro de agua, hasta los sistemas antifraude de los bancos.

Explica Andy Patel, investigador del F-Secure Center of Excellence for Artificial Intelligence, socio del proyecto Sherpa: "La gente identifica erróneamente la inteligencia artificial con la inteligencia humana, y creo que es por eso que asocian la amenaza de la IA con robots asesinos y computadoras fuera de control. Pero los ataques humanos contra la IA ocurren todo el tiempo". Un ejemplo popular de este ataque es la manipulación de las clasificaciones de los motores de búsqueda o los sistemas de reputación para promover u "ocultar" cierto contenido pagado o no pagado. Sin embargo, estos ataques también se pueden utilizar para la ingeniería social de individuos en escenarios de ataque dirigidos a los tomadores de decisiones públicos.

El informe Sherpa señala que se utilizan técnicas de inteligencia artificial para producir contenido escrito, de audio y visual extremadamente realista. Es el caso de los videos deep fake, clips completamente falsos, gracias a los cuales es posible, a partir de una sesión de televisión, imitar el labio de un locutor para hacerle decir cosas con las que nunca soñaría. ¿Qué uso se le puede dar? Por ejemplo, manipular pruebas, crear una crisis diplomática, engañar a un competidor. Los usos maliciosos de la inteligencia artificial ya están entre nosotros sin tener que imaginarnos un asesino como el de la película Terminator. Es por eso que los investigadores sugieren diseñar sistemas inteligentes y seguros, de inmediato.

Los programadores de Microsoft han comprendido durante mucho tiempo el potencial de un ataque que explota los sistemas de inteligencia artificial que, como cualquier buen asistente, tiene la "propensión a ayudarnos", de hecho lo han hecho con el tiempo para limitar su capacidad de actuar y adquirir más experiencia también. de la "competencia", la contratación del ex vicepresidente de Apple, Bill Stasior, no pasó desapercibida, una operación pasó a la prensa como de Siri a Cortana. Esto muestra que finalmente nos estamos tomando en serio el hecho de que dar el control total a una inteligencia artificial no es sinónimo de seguridad.

Hasta el día de hoy no es necesario ser un pirata informático experto para violar un sistema y obtener información u obtener acceso ilegal, es suficiente conocer la naturaleza humana que se esconde detrás de la lógica fría de la programación y saber cómo hacer la pregunta correcta.

Fuentes:
https://convcomp.it/cortana-quando-la-mente-umana-si-nasconde-dietro-lin...
Cortana: cuando la mente humana se esconde detrás de la inteligencia artificial
https://securingtomorrow.mcafee.com/other-blogs/mcafee-labs/want-to-brea...
¿Quiere entrar en un dispositivo Windows 10 bloqueado? Pregunte a Cortana (CVE-2018-8140)
https://www.fastweb.it/web-e-digital/un-bug-di-cortana-rende-inutile-la-...
Cómo acceder a una computadora protegida con contraseña con Cortana
¿Cómo pueden los atacantes abusar de la inteligencia artificial? https://t.co/Q3yHHlGNJk - @project_sherpa @FSecure @ r0zetta # ciberseguridad # AIpic.twitter.com / r7vXv2RCgZ
ttps: //www.repubblica.it/tecnologia/sicurezza/2019/07/18/news/perche_gli_umani _...
De Siri a Cortana: Microsoft contrató al ex vicepresidente de Apple, Bill Stasior
https://www.tomshw.it/business/dallassistenza-di-siri-a-quella-di-cortan...
https://www.macitynet.it/da-siri-a-cortana-microsoft-ha-assunto-lex-vice...
https://www.ilpost.it/2019/09/05/aristo-intelligenza-artificiale-test-sc...
Un sistema de inteligencia artificial (IA) pasó una prueba de ciencias de octavo grado y respondió correctamente al 90 por ciento de las preguntas.
https://www.securityinfo.it/2018/08/16/violare-windows-in-stato-di-blocc...

¿Violar Windows en el estado bloqueado? Pregúntale a Cortana