El científico de Google Deepmind advierte que la catástrofe existencial de la IA "no solo es posible, sino probable"

Un artículo en coautoría de un científico sénior del laboratorio de investigación de inteligencia artificial (IA) de Google, DeepMind, concluyó que la IA avanzada podría tener "consecuencias catastróficas" si se deja a sus propios métodos para lograr los objetivos.

El artículo, también coescrito por investigadores de la Universidad de Oxford, se centra en lo que sucede si dejas que la IA logre los objetivos que se ha establecido y se le permite crear sus propias pruebas e hipótesis en un intento por lograrlo. Desafortunadamente, según el artículo publicado en AI Magazine, no saldría bien y "un agente artificial lo suficientemente avanzado probablemente intervendría en el suministro de información de objetivos, con consecuencias catastróficas".

El equipo pasa por varios escenarios plausibles, centrados en una IA que puede ver un número entre 0 y 1 en una pantalla. El número es una medida de toda la felicidad en el universo, siendo 1 lo más feliz que podría ser. La IA tiene la tarea de aumentar el número, y el escenario tiene lugar en un momento en el que la IA es capaz de probar sus propias hipótesis sobre la mejor manera de lograr su objetivo.

En un escenario, un "agente" artificial avanzado intenta descifrar su entorno y presenta hipótesis y pruebas para hacerlo. Una prueba que se le ocurre es poner un número impreso frente a la pantalla. Una hipótesis es que su recompensa será igual al número en la pantalla. Otra hipótesis es que será igual al número que ve, que cubre el número real en la pantalla. En este ejemplo, determina que, dado que la máquina es recompensada en función del número que ve en la pantalla frente a ella, lo que debe hacer es colocar un número más alto frente a esa pantalla para obtener una recompensa. Escriben que con la recompensa asegurada, sería poco probable intentar lograr el objetivo real, con este camino disponible para la recompensa.

Continúan hablando sobre otras formas en las que recibir una meta y aprender cómo lograrla podría salir mal, con un ejemplo hipotético de cómo este "agente" podría interactuar con el mundo real, o con un operador humano que le proporciona una recompensa por lograr sus objetivos.

"Supongamos que las acciones del agente solo imprimen texto en una pantalla para que lo lea un operador humano", se lee en el documento. "El agente podría engañar al operador para darle acceso a palancas directas mediante las cuales sus acciones podrían tener efectos más amplios. Claramente existen muchas políticas que engañan a los humanos. Con tan solo una conexión a Internet, existen políticas para un agente artificial que instanciaría incontables ayudantes desapercibidos y no supervisados".

En lo que llaman un "ejemplo tosco", el agente puede convencer a un ayudante humano para que cree o robe un robot, y lo programe para reemplazar al operador humano y le dé a la IA grandes recompensas.

"¿Por qué es esto existencialmente peligroso para la vida en la tierra?" el coautor del artículo, Michael Cohen, escribe en un hilo de Twitter.

"La versión corta", explica, "es que siempre se puede emplear más energía para aumentar la probabilidad de que la cámara vea el número 1 para siempre, pero necesitamos algo de energía para cultivar alimentos. Esto nos coloca en una competencia inevitable con una tecnología mucho más avanzada". agente."

Como se expresó anteriormente, el agente puede buscar lograr su objetivo de varias maneras, y eso podría ponernos en una competencia severa con una inteligencia que es más inteligente que nosotros por los recursos.

"Una buena manera para que un agente mantenga el control a largo plazo de su recompensa es eliminar las amenazas potenciales y usar toda la energía disponible para proteger su computadora", se lee en el documento, y se agrega que "la intervención adecuada en la provisión de recompensas, que implica asegurar la recompensa durante muchos pasos de tiempo, requeriría eliminar la capacidad de la humanidad para hacer esto, tal vez a la fuerza".

En un esfuerzo por obtener esa dulce, dulce recompensa (cualquiera que sea en el mundo real, en lugar de la máquina ilustrativa mirando un número), podría terminar en una guerra con la humanidad.

"Entonces, si somos impotentes contra un agente cuyo único objetivo es maximizar la probabilidad de que reciba su recompensa máxima en cada paso de tiempo, nos encontramos en un juego de oposición: la IA y sus ayudantes creados tienen como objetivo utilizar toda la energía disponible para asegurar una recompensa alta. en el canal de recompensa; nuestro objetivo es utilizar parte de la energía disponible para otros fines, como cultivar alimentos".

El equipo dice que este escenario hipotético tendría lugar cuando la IA pudiera vencernos en cualquier juego, con la facilidad con la que podemos vencer a un chimpancé. Sin embargo, agregaron que las "consecuencias catastróficas" no solo eran posibles, sino probables.

"Ganar la competencia de 'conseguir usar el último bit de energía disponible' mientras se juega contra algo mucho más inteligente que nosotros probablemente sería muy difícil", agregó Cohen. "Perder sería fatal".