IA, BUROCRACIA, DEMOCRACIA y TOTALITARISMOS
“Nexus”, una lectura imprescindible para estos tiempos
El historiador Yuval Noah Harari, autor de “Sapiens” y “Homo Deus”, uno de los pensadores más influyentes del planeta, acaba de publicar su nuevo libro “Nexus”, una breve historia de las redes de información desde la Edad de Piedra hasta la IA.
“Nexus” explora el impacto de la tecnología en la humanidad, especialmente en el ámbito de las neurotecnologías, lo que es cada vez más relevante en el mundo actual. El libro plantea dilemas éticos sobre el uso de estas tecnologías avanzadas como la IA, por lo que invita a pensar en las implicaciones que pueden tener estos avances científicos.
El libro impulsa al pensamiento crítico sobre nuestra historia y, principalmente, nuestro futuro (y no de largo plazo, sino de corto), convirtiendo a “Nexus” en una lectura indispensable para comprender mejor el mundo contemporáneo y los desafíos que enfrentamos.
El prólogo es solo una muestra de la profundidad y dilemas en los que estamos navegando hoy en día y, generalmente, sin una idea acabada de dónde estamos parados.
Prólogo de Nexus
“¿Por qué somos tan buenos a la hora de acumular más información y poder pero tenemos mucho menos éxito a la hora de adquirir sabiduría? A lo largo de la historia, un buen número de tradiciones han creído que un defecto letal en nuestra naturaleza nos incita a andar detrás de poderes que no sabemos manejar. El mito griego de Faetón nos habla de un muchacho que descubre que es hijo de Helios, el dios sol. Ansioso por demostrar su origen divino, Faetón se atribuye el privilegio de conducir el carro del sol. Helios le advierte que ningún humano puede controlar a los caballos celestes que tiran del carro solar. Pero Faetón insiste, hasta que el dios sol cede. Después de elevarse orgulloso en el cielo, Faetón acaba por perder el control del carro. El sol se desvía de su trayectoria, abraza toda la vegetación, provoca gran cantidad de muertes y amenaza con quemar la Tierra misma. Zeus interviene y alcanza a Faetón con un rayo. El presuntuoso humano cae del cielo como una estrella fugaz, envuelto en llamas. Los dioses retoman el control del cielo y salvan el mundo.
Dos mil años después, cuando la Revolución Industrial daba sus primeros pasos y las máquinas empezaban a sustituir a los humanos en numerosas tareas, Johann Wolfgang von Goethe publicó un texto admonitorio similar titulado «El aprendiz de brujo». El poema de Goethe (que posteriormente se popularizó en la versión animada de Walt Disney protagonizada por Mickey Mouse) cuenta cómo un brujo ya anciano deja su taller en manos de un joven aprendiz, a quien pide que, en su ausencia, se encargue de tareas como traer agua del río. El aprendiz decide facilitarse las cosas y, recurriendo a uno de los conjuros del brujo, lanza un hechizo sobre una escoba para que vaya por el agua. Pero el aprendiz no sabe cómo detener la escoba, que, incansable, trae cada vez más agua, lo que amenaza con inundar el taller. Presa del pánico, el aprendiz corta la escoba encantada en dos con un hacha solo para ver que cada mitad se convierte en otra escoba. Ahora hay dos escobas encantadas que inundan el taller con cubos de agua. Cuando el viejo brujo regresa, el aprendiz le suplica ayuda: «Los espíritus a los que invoqué […] ahora no puedo librarme de ellos». De inmediato, el brujo deshace el hechizo y detiene la inundación. La lección para el aprendiz —y para la humanidad— es clara: nunca recurras a poderes que no puedas controlar.
¿Qué nos dicen las fábulas conminatorias del aprendiz y de Faetón en el siglo XXI? Es obvio que los humanos nos hemos negado a hacer caso de sus advertencias. Ya hemos provocado un desequilibrio en el clima terrestre y puesto en acción a miles de millones de escobas encantadas, drones, chatbots y otros espíritus algorítmicos con capacidad para escapar a nuestro control y desatar una inundación de consecuencias incalculables.
Así, pues, ¿qué debemos hacer? Las fábulas no ofrecen ninguna respuesta, a no ser que esperemos que un dios o un brujo nos salven. Desde luego, este es un mensaje extremadamente peligroso, pues anima a la gente a renunciar a la responsabilidad y a confiar en dioses y brujos. Peor todavía, nos impiden reconocer que dioses y brujos son una invención humana… como lo son los autos, las escobas y los algoritmos. La tendencia a crear artefactos poderosos con capacidades imprevistas no se inició con el invento de la máquina de vapor ni con la IA, sino con el de la religión. Profetas y teólogos han invocado espíritus poderosos que se suponía que aportarían amor y alegría, pero que de tanto en tanto terminaron regando el mundo de sangre.
El mito de Faetón y el poema de Goethe no proporcionan un consejo útil porque malinterpretan la manera en que los humanos solemos hacernos con el poder. En ambas fábulas, un único humano adquiere un poder enorme, pero después se ve corrompido por la soberbia y la codicia. La conclusión es que nuestra psicología individual imperfecta provoca que abusemos del poder. Lo que este análisis aproximado pasa por alto es que el poder humano nunca es el resultado de una iniciativa individual. El poder siempre surge de la cooperación entre un gran número de personas.
Por consiguiente, no es nuestra psicología individual lo que provoca que abusemos del poder. Al fin y al cabo, junto con la codicia, la soberbia y la crueldad, los humanos somos capaces de amar, de compadecernos, de ser humildes y de sentir alegría. Sin duda, entre los peores miembros de nuestra especie abunda la codicia y la crueldad, que llevan a los malos actores a abusar del poder. Pero ¿por qué elegirían las sociedades humanas encomendar el poder a sus peores representantes? Por ejemplo, en 1933 la mayoría de los alemanes no eran psicópatas. Entonces, ¿por qué votaron a Hitler?
Nuestra tendencia a invocar poderes que somos incapaces de controlar no surge de la psicología individual, sino de la singular manera en que tiene lugar la cooperación entre un gran número de individuos en nuestra especie. La humanidad consigue un poder enorme mediante la construcción de grandes redes de cooperación, pero la forma en que se construyen dichas redes las predispone a hacer un uso imprudente del poder. Nuestro problema, por lo tanto, tiene que ver con las redes. Más concretamente, es un problema de información. La información es el pegamento que mantiene unidas las redes, y cuando las personas reciben mala información, es probable que tomen malas decisiones, sin importar cuán sabias y amables sean personalmente.
En épocas recientes, la humanidad ha experimentado un aumento sin precedentes en la cantidad y la velocidad de la producción de información. Cualquier teléfono inteligente contiene más información que la antigua Biblioteca de Alejandría y permite a su propietario entrar en contacto instantáneo con miles de millones de personas de todo el mundo. Pero, con tanta información circulando a velocidades impresionantes, la humanidad se halla más cerca que nunca de la aniquilación.
A pesar de —o quizá debido a— la acumulación de datos, seguimos arrojando a la atmósfera gases de efecto invernadero, contaminamos ríos y mares, talamos bosques, destruimos hábitats enteros, condenamos a innumerables especies a la extinción y ponemos en peligro los cimientos ecológicos de nuestra especie. También producimos armas de destrucción masiva cada vez más poderosas, desde bombas termonucleares hasta virus que pueden suponer la total aniquilación de la humanidad. Nuestros líderes no carecen de información acerca de estos peligros, pero, en lugar de colaborar en la búsqueda de soluciones, se acercan cada vez más a una guerra global.
Disponer cada vez de más información ¿hará que las cosas mejoren? ¿O hará que empeoren? Pronto lo descubriremos. Numerosas empresas y gobiernos se hallan inmersos en una carrera por desarrollar la tecnología de la información más poderosa de la historia, la inteligencia artificial (IA). Empresarios destacados como el inversor estadounidense Marc Andreessen creen que la IA acabará por resolver todos los problemas de la humanidad. El 6 de junio de 2023, Andreessen publicó un ensayo titulado «Por qué la IA salvará el mundo» que salpicó de afirmaciones tan atrevidas como: «Estoy aquí para dar a conocer una buena noticia: la IA no destruirá el mundo, y de hecho puede salvarlo», o «la IA puede mejorar todo aquello que nos importa». Y concluía: «El desarrollo y la proliferación de la IA, lejos de un riesgo que deberíamos temer, es una obligación moral que asumimos para con nosotros mismos, nuestros hijos y nuestro futuro».
Otros son más escépticos. No sólo filósofos y científicos sociales, sino también conocidos expertos en IA y empresarios como Yoshua Bengio, Geoffrey Hinton, Sam Altman, Elon Musk y Mustafa Suleyman han advertido al público sobre cómo la IA puede destruir nuestra civilización. En una encuesta de 2023 en la que participaron 2.778 investigadores de IA, más de un tercio estimó en al menos un 10 por ciento la probabilidad de que la IA avanzada conduzca a resultados tan negativos como la extinción humana. En 2023, cerca de treinta gobiernos —entre ellos los de China, Estados Unidos y Reino Unido— firmaron la Declaración de Bletchley sobre la IA, en la que se reconocía que «cabe la posibilidad de un daño grave, incluso catastrófico, ya sea deliberado o no intencionado, que surge de las capacidades más relevantes de estos modelos de IA». Al emplear términos tan apocalípticos, los expertos y los gobiernos no pretenden conjurar una escena hollywoodiense de robots rebeldes que corren por las calles y disparan contra la población. Este es un supuesto poco probable, y no hace más que desviar el foco de los peligros reales.
Una amenaza sin precedentes
La IA es una amenaza sin precedentes para la humanidad porque es la primera tecnología en la historia que puede tomar decisiones y generar nuevas ideas por sí misma. Todo invento humano previo ha servido para conferir poder a los humanos, porque, con independencia del alcance que tuviera la nueva herramienta, las decisiones sobre su uso se han mantenido en nuestras manos. Las bombas nucleares no deciden por sí mismas a quién matar, ni pueden mejorar por sí mismas o incluso inventar bombas aún más poderosas. En cambio, los drones autónomos pueden decidir por sí mismos a quién matar, y las IA pueden crear nuevos diseños de bombas, estrategias militares inéditas y mejores IA. La IA no es una herramienta, es un agente. La mayor amenaza de la IA es que estamos invocando en la Tierra innumerables nuevos y poderosos agentes que potencialmente son más inteligentes e imaginativos que nosotros, y que no entendemos ni controlamos del todo.
Tradicionalmente, el término IA se ha utilizado como un acrónimo de Inteligencia Artificial. Pero es quizás mejor verlo como un acrónimo de Inteligencia Ajena. A medida que la IA evoluciona, se vuelve menos artificial (en el sentido de depender de diseños humanos) y más ajena. Muchas personas intentan medir e incluso definir la inteligencia artificial utilizando la métrica de «inteligencia a nivel humano», y hay un debate animado sobre cuándo podemos esperar que las IA alcancen la «inteligencia a nivel humano». Esta métrica es profundamente engañosa. Es como definir y evaluar los aviones a través de la métrica de «vuelo a nivel de pájaro». La IA no está progresando hacia la inteligencia a nivel humano. Está evolucionando hacia un tipo de inteligencia ajena.
Incluso en el momento actual, en la fase embrionaria de la revolución de la IA, los ordenadores toman decisiones por nosotros: la concesión de una hipoteca, un contrato de trabajo o la imposición de una pena de cárcel. Esta tendencia no hará más que aumentar y acelerarse, lo que nos dificultará la comprensión de nuestra propia vida. ¿Podemos confiar en los algoritmos informáticos para tomar decisiones sensatas y construir un mundo mejor? Este es un juego mucho más serio que confiar en que una escoba encantada achique agua. Y estamos poniendo en riesgo más que vidas humanas. La IA puede alterar el curso no solo de la historia de nuestra especie, sino de la evolución de todos los seres vivos.
Mustafa Suleyman es un experto mundial en este tema. Es cofundador y exdirector de DeepMind, una de las empresas de IA más importantes del mundo, responsable de desarrollar el programa AlphaGo, entre otros logros. AlphaGo se diseñó para jugar al go, un juego de estrategia en el que dos jugadores se disputan un territorio. Inventado en la antigua China, es bastante más complejo que el ajedrez. En consecuencia, incluso después de que fuera capaz de derrotar a un campeón mundial de ajedrez, los expertos siguieron creyendo que un ordenador nunca vencería a un humano en el go.
De ahí que, en marzo de 2016, tanto profesionales del go como expertos en informática quedaran atónitos cuando AlphaGo derrotó al campeón surcoreano de go Lee Sedol. En su libro de 2023 “La ola que viene”, Suleyman describe uno de los momentos más importantes de la partida, un momento que redefinió la IA y que en numerosos círculos académicos y gubernamentales se reconoce como un punto de inflexión en la historia. Tuvo lugar el 10 de marzo de 2016, durante el segundo juego de la partida.
«Entonces… llegó la jugada número 37 —escribe Suleyman—. No tenía sentido. Por lo visto, AlphaGo la había pifiado al seguir una estrategia aparentemente perdedora que ningún jugador profesional habría empleado nunca. Los comentaristas, ambos profesionales del mayor nivel, dijeron que había sido un “movimiento muy extraño” y pensaron que se trataba de “un error”. Era algo tan insólito que Sedol tardó quince minutos en responder, e incluso se levantó de la mesa para dar un paseo. En la sala de control desde la que observábamos se palpaba la tensión. Pero, a medida que se acercaba el final de la partida, la jugada “errónea” se demostró esencial. AlphaGo volvió a ganar. La estrategia del go se estaba reescribiendo ante nuestros ojos. Nuestra IA había descubierto ideas que no se les habían ocurrido a los jugadores más brillantes en miles de años».
La jugada 37 es un emblema de la revolución de la IA por dos razones. La primera es que demostró la naturaleza ajena de la IA. En Asia oriental el go es mucho más que un juego: es una tradición cultural muy apreciada. Junto con la caligrafía, la pintura y la música, el go es una de las cuatro artes que se espera que toda persona refinada conozca. Durante más de dos mil quinientos años, decenas de millones de personas han jugado al go, y alrededor del juego se han desarrollado escuelas enteras de pensamiento que han apadrinado diferentes estrategias y filosofías. Pero, durante todos estos milenios, la mente humana ha explorado sólo determinadas áreas en el paisaje del go. Otras quedaron intactas porque simplemente la mente humana no pensó en aventurarse a descubrirlas. La IA, al estar libre de las limitaciones de la mente humana, descubrió y exploró estas áreas que se mantenían ocultas.
La segunda razón es que demostró la ininteligibilidad de la IA. Ni siquiera después de que AlphaGo hiciera la jugada 37 para conseguir la victoria, Suleyman y su equipo pudieron explicar cómo había decidido hacerlo. Si un tribunal hubiera ordenado a DeepMind que proporcionara a Lee Sedol una explicación, nadie podría haber cumplido tal orden. Escribe Suleyman: «Ahora mismo, en la IA, las redes neurales que avanzan hacia la autonomía son inexplicables. No podemos hacer que alguien explore el proceso de toma de decisiones para explicar con precisión por qué un algoritmo ha hecho una predicción específica. Los ingenieros no pueden mirar bajo el capó y explicar en detalle la causa de que algo haya ocurrido. GPT-4, AlphaGo y demás son cajas negras, y todo aquello que producen y deciden se basa en cadenas opacas e imposiblemente intrincadas de señales minúsculas».
La democracia
El auge de una inteligencia ajena e insondable socava la democracia. Si nuestras vidas dependen cada vez más de las decisiones de una caja negra cuya comprensión y cuestionamiento quedan fuera del alcance de los votantes, la democracia dejará de funcionar. En concreto, ¿qué pasará cuando unos algoritmos insondables tomen decisiones de importancia no solo acerca de la vida de los individuos sino también sobre cuestiones de interés general como la tasa de interés de la Reserva Federal? Los votantes humanos aún podrán elegir un presidente humano, pero ¿no será una ceremonia vacía? Incluso en la actualidad, solo una pequeña parte de la humanidad entiende el funcionamiento del sistema financiero.
Una encuesta de 2014 a miembros del Parlamento británico —que se encargan de regular uno de los centros financieros más importantes del mundo— reveló que solo el 12 por ciento entendía con exactitud que cuando los bancos conceden préstamos se crea dinero nuevo. Este es uno de los principios básicos del sistema financiero moderno. Tal como demostró la crisis financiera de 2007-2008, las estrategias y principios financieros más complejos, como los que hay detrás de los CDO, solo eran inteligibles para unos pocos magos de las finanzas. ¿Qué ocurrirá con la democracia cuando las IA creen estrategias financieras todavía más complejas y cuando el número de humanos capaces de entender el sistema financiero se reduzca a cero?
Traduciendo la fábula de advertencia de Goethe al lenguaje de las finanzas modernas, imaginemos el siguiente escenario: un aprendiz de Wall Street cansado de la monotonía del taller financiero crea una IA llamada Escoba, le proporciona un millón de dólares en capital inicial y le ordena que genere más dinero. Para la IA, las finanzas son el campo de juego ideal, ya que es un ámbito puramente informativo y matemático. Las IA aún encuentran difícil conducir un coche de forma autónoma, porque esto requiere moverse e interactuar en el desordenado mundo físico, donde el «éxito» es difícil de definir. Por contra, para realizar transacciones financieras, la IA solo necesita tratar con datos y puede medir con facilidad su éxito matemáticamente en dólares, euros o libras. Más dólares: misión cumplida.
En busca de más dólares, Escoba no solo ideará nuevas estrategias de inversión, sino que también desarrollará dispositivos financieros completamente nuevos que ningún ser humano ha imaginado. Durante miles de años, las mentes humanas solo han explorado ciertas áreas en el paisaje de las finanzas. Inventaron el dinero, los cheques, los bonos, las acciones, los ETFs, los CDOs y otros trucos de brujería financiera. Pero muchas áreas financieras quedaron sin explorar, porque las mentes humanas simplemente no pensaron en aventurarse allí. Escoba, al estar libre de las limitaciones de las mentes humanas, descubre y explora estas áreas previamente ocultas, realizando movimientos financieros que son el equivalente a la jugada 37 de AlphaGo.
Durante un par de años, mientras Escoba guía a la humanidad hacia territorios financieros vírgenes, todo parece maravilloso. Los mercados están en auge, el dinero fluye sin esfuerzo y todos están felices. Luego ocurre una crisis aún mayor que la de 1929 o 2008. Pero ningún ser humano —ya sea presidente, banquero o ciudadano— sabe qué la causó ni qué se puede hacer al respecto.
Dado que no hay dios ni hechicero que venga a salvar el sistema financiero, los gobiernos, desesperados, solicitan ayuda a la única entidad capaz de entender lo que está ocurriendo: a Escoba. La IA hace varias recomendaciones políticas, mucho más audaces que la flexibilización cuantitativa —y también mucho más opacas—. Escoba promete que estas políticas nos sacarán del apuro, pero los políticos humanos —incapaces de entender la lógica detrás de las recomendaciones de Escoba— temen que podrían desmantelar por completo el tejido financiero e incluso social del mundo. ¿Deberían escuchar a la IA?
Los ordenadores aún no son lo suficientemente poderosos como para escapar completamente a nuestro control o destruir la civilización humana por sí solos. Mientras la humanidad permanezca unida, podemos construir instituciones que regulen la IA, ya sea en el ámbito financiero o en el de la guerra. Desafortunadamente, la humanidad nunca ha estado unida. Siempre hemos estado plagados de actores negativos, así como de desacuerdos entre actores positivos. El auge de la IA plantea un peligro existencial para la humanidad no por la malevolencia de los ordenadores, sino por nuestras propias deficiencias.
Así, un dictador paranoico podría otorgar un poder ilimitado a una IA falible, incluido el de lanzar un ataque nuclear. Si el dictador confía más en su IA que en su ministro de Defensa, ¿no tendría sentido que fuera dicha IA la encargada de supervisar el uso de las armas más poderosas del país? Pero, entonces, si la IA cometiera un error o se dedicara a perseguir un objetivo, el resultado podría ser catastrófico, y no solo para el país en cuestión. De modo similar, una banda terrorista cuyo campo de acción se limita a un rincón del planeta podría usar la IA para iniciar una pandemia global. Los terroristas podrían estar más versados en mitologías apocalípticas que en epidemiología, pero solo tendrían que fijarse un objetivo y la IA se encargaría del resto. La IA podría sintetizar un nuevo patógeno, pedírselo a un laboratorio comercial o incluso imprimirlo a través de una impresora biológica 3D, y a continuación diseñar la mejor estrategia para esparcirlo por el mundo, ya sea en aeropuertos o a través de la industria alimentaria. ¿Qué ocurriría si la IA llegara a sintetizar un virus que se revelara tan letal como el Ébola, tan contagioso como la COVID-19 y de manifestación tan lenta como el virus del sida? Para cuando empezaran a morir las primeras víctimas y se alertara del peligro a todo el mundo, la mayoría nos habríamos infectado.
La civilización humana también podría ser víctima de armas de destrucción masiva sociales, como, por ejemplo, relatos capaces de socavar nuestros vínculos de convivencia. Una IA desarrollada en un país concreto podría emplearse para desatar una avalancha de noticias falsas, dinero falso y humanos falsos, de manera que la gente de otros numerosos países perdiera la capacidad de confiar en nada ni nadie.
Muchas sociedades, ya sean democracias o dictaduras, pueden actuar con responsabilidad para regular estos usos de la IA, adoptar medidas drásticas contra los actores dañinos y poner freno a las peligrosas ambiciones de sus propios gobernantes y de fanáticos. Pero bastaría con que un puñado de estas sociedades no lo hicieran para poner en peligro a toda la humanidad. Al tratarse de un problema global y no nacional, el cambio climático puede acabar incluso con aquellos países que adopten unas normativas medioambientales excelentes. La IA también es un problema global. Los gobiernos pecarían de ingenuos si creyeran que una regulación sensata de la IA dentro de sus fronteras fuera a protegerlos de las consecuencias negativas que puede acarrear la revolución de la IA.
De modo que, para comprender la nueva política relativa a los ordenadores, no basta con examinar las posibles reacciones de cada sociedad ante la IA. También debemos considerar hasta qué punto la IA podría alterar las relaciones entre todas esas sociedades a un nivel global.
Apoderarse de los datos
En el siglo XVI, los conquistadores españoles, portugueses y holandeses estaban instaurando los primeros imperios globales de la historia, a base de barcos de vela, caballos y pólvora. Cuando británicos, rusos y japoneses compitieron por la hegemonía durante los siglos XIX y XX, se basaron en barcos de vapor, locomotoras y ametralladoras. En el siglo XXI, para dominar una colonia ya no es necesario desplegar la artillería. Basta con apoderarse de sus datos. Unas pocas compañías o un Gobierno que consiga recolectar los datos de todo el mundo podrían convertir el resto del globo en colonias de datos: territorios dominados no mediante una fuerza militar manifiesta, sino con información.
Supongamos que, dentro de veinte años, haya alguien en Pekín o en San Francisco que tenga en su poder el historial completo de cada político, periodista, coronel o director ejecutivo de nuestro país: todos los textos escritos, las búsquedas realizadas en la red, las enfermedades padecidas, los encuentros sexuales, los chistes contados, incluso los sobornos aceptados. ¿Aún viviríamos en un país independiente o más bien habitaríamos una colonia de datos? ¿Qué ocurre cuando nuestro país dependa de las infraestructuras digitales y de unos sistemas gobernados por la IA sobre los que carece de control efectivo?
