Perspectiva Socio-Técnica de la Ética de la IA

Encontré otro artículo interesante sobre la ética de la Inteligencia Artificial (IA). Aborda temas importantes como la equidad, la privacidad y la protección de datos, la responsabilidad y la rendición de cuentas, la seguridad y la robustez, la transparencia y la explicabilidad, y el impacto ambiental.

Enlace al artículo original, para aquellos interesados en profundizar en el tema:
"Survey on AI Ethics: A Socio‐technical Perspective", por Mbiazi y colegas. Publicado en Julio 31 de 2025.

El resumen, la transcripción, y la traducción fueron hechas usando herramientas de software de Inteligencia Artificial.

El resumen se presenta en la forma de un diálogo entre dos personajes sintéticos que llamaremos Alicia y Beto.

---

Resumen

Alicia
Bienvenidos a un nuevo análisis profundo. Así que nos disteis este montón bastante denso de investigaciones. Es una gran encuesta sociotécnica sobre ética de la IA.

Beto
Sí, todo un aluvión.

Alicia
Y nuestra misión básicamente es extraer las ideas clave, ya sabéis, los trade-offs que realmente están marcando cómo se construye la IA ahora mismo.

Beto
Es sin duda una misión esencial. Quiero decir, el reloj corre, ¿no? Estos modelos avanzados de aprendizaje profundo se están incrustando, bueno, en todo. Infraestructuras sociales.

Alicia
Y en salud, en defensa.

Beto
Exacto. Así que la parte ética ya no es solo teórica. Es extremadamente urgente. Está ocurriendo ahora.

Alicia
Absolutamente. Bien, vamos a intentar destilar todo este panorama. Tenemos equidad, privacidad, responsabilidad, transparencia, seguridad, incluso impacto ambiental. Y necesitamos mirar ambos lados: lo técnico, las matemáticas, pero también el contexto social. Sobre todo, ya sabéis, con esos modelos de base, los LLMs, que todo el mundo usa. Sí, los grandes.

Empecemos por la capa más baja, supongo: seguridad y protección. ¿Por dónde empezamos ahí?

Beto
OK, ¿qué hace que un sistema de IA sea confiable? Realmente se apoya en tres pilares principales: seguridad, privacidad y protección.

La seguridad, en su esencia, trata de reducir las probabilidades de daño. Tanto los daños que esperas como, crucialmente, los que no. Necesitamos modelos que se atengan a su comportamiento previsto, incluso cuando las cosas se vuelven inciertas o ocurren accidentes.

Alicia
Pero ¿no existe esta suposición de que la IA es intrínsecamente segura? Porque es digital, corre sobre datos limpios, ese tipo de cosas. Las fuentes parecen sugerir que el entrenamiento es donde surgen las vulnerabilidades.

Beto
Exactamente. Los puntos débiles casi siempre vuelven a dónde vienen los datos y quién tiene acceso a ellos. Los modelos necesitan conjuntos de datos enormes, a menudo raspados de todas partes. A veces el entrenamiento se subcontrata o la gente usa modelos preentrenados y fuentes en las que quizá no deberían confiar por completo.

Alicia
Ya veo. Así que hay múltiples puntos de fallo.

Beto
Múltiples puntos débiles, sí. Y los ataques tienden a dirigirse a una de dos cosas: o la confidencialidad — ese es tu riesgo de privacidad — o la integridad y disponibilidad, que es el lado de la seguridad.

Alicia
Vale, profundicemos en esos ataques a la privacidad. ¿Qué intentan conseguir los atacantes?

Beto
Van a por detalles sensibles que el modelo aprendió durante el entrenamiento. Un tipo principal se llama inferencia de membresía.

Alicia
Inferencia de membresía. OK.

Beto
Aquí el atacante trata de averiguar, a veces con bastante confianza, si tu muestra de datos específica formó parte del conjunto de entrenamiento.

Alicia
Vaya.

Beto
Y de hecho hemos visto que esto funciona contra grandes empresas. Google, Amazon, sus APIs de Machine Learning como servicio han sido vulnerables.

Alicia
Eso parece una brecha bastante seria.

Beto
Lo es. Luego está la inversión de modelo, que puede ser mucho más invasiva.

Alicia
¿Más invasiva cómo?

Beto
En vez de solo comprobar si los datos estaban en el conjunto, el atacante intenta reconstruir partes de los datos de entrada a partir del modelo.

Alicia
Reconstruir los datos.

Beto
Sí, por ejemplo imagina un modelo entrenado con caras. La inversión de modelo podría ser capaz de extraer representaciones de rasgos usados en ese entrenamiento, potencialmente cosas muy sensibles.

Alicia
OK. Si la amenaza es que los datos privados salgan al público, ¿cómo se defienden los desarrolladores? Las fuentes mencionaron un par de defensas principales.

Beto
La primera que se usa hoy en día, yo diría, es la privacidad diferencial.

Alicia
Privacidad diferencial. He escuchado sobre eso. ¿Pero cuál es la idea central?

Beto
Es bastante elegante. Es una garantía matemática, básicamente, de que usar tus datos para entrenar no añade más riesgo de privacidad que si tus datos no hubieran sido usados.

Alicia
¿Cómo funciona eso? Magia.

Beto
No del todo magia. Más bien ruido estadístico calibrado cuidadosamente. Inyectas aleatoriedad durante el entrenamiento.

Alicia
Ah, OK. Así cambiar el registro de una persona no cambia realmente la salida final del modelo de una manera perceptible.

Beto
Exacto. Oculta la contribución individual.

Luego la segunda gran defensa es el entrenamiento adversarial.

Alicia
Entrenamiento adversarial. Esto ataca un problema diferente.

Beto
Sí, tiene que ver con ataques de evasión. Ahí el atacante hace cambios minúsculos, casi invisibles, a una entrada, como unos pocos píxeles en una imagen, para engañar al modelo durante la inferencia.

Alicia
Como hacer que un PARE deje de parecer un PARE.

Beto
Exactamente ese tipo de cosa. Con el entrenamiento adversarial, muestras deliberadamente al modelo este tipo de ejemplos truculentos durante el entrenamiento para que sea más duro, más robusto frente a ellos después.

Alicia
OK. Pero esto suena a que conduce a ese dilema clásico. ¿Cuál es el coste de añadir toda la seguridad y la privacidad?

Beto
Y ese es un punto realmente importante para quien nos escucha. La investigación es bastante clara. Potenciar la privacidad con cosas como la privacidad diferencial o mejorar la robustez con entrenamiento adversarial suele ir en detrimento de la precisión global del modelo.

Alicia
Ah, así que es un acto de equilibrio.

Beto
Es un "tira y afloja" entre privacidad, robustez y precisión. Y así los interesados tienen que decidir cuál priorizar o dónde están dispuestos a comprometerse.

Alicia
En los modelos de base, los grandes LLMs, añaden otra capa de complejidad, ¿no? Son poderosos, pero son un arma de doble filo.

Beto
Definitivamente de doble uso. Pueden mejorar mucho la seguridad. Las fuentes mencionaban usar cosas como GPT-4 para generar pruebas de seguridad o detectar vulnerabilidades en áreas especializadas, como código blockchain.

Alicia
Esa es la cara buena.

Beto
Pero la contraparte es que, porque son tan accesibles, los actores malintencionados los explotan muchísimo. Estamos viendo LLMs usados para producir software malicioso muy rápido, para hacer correos de phishing o estafas de ingeniería social mucho más convincentes, e incluso automatizar partes de ataques complejos como la ejecución remota de código.

Alicia
Vaya. La herramienta que ayuda a defender también puede potenciar enormemente al atacante.

Beto
Exponencialmente, sí.

Alicia
OK, así que si la seguridad y la privacidad fallan y obtienes este modelo de caja negra que suelta un error o quizá un resultado sesgado, ¿cómo averiguamos por qué falló? Eso nos lleva directamente a transparencia y explicabilidad, XAI.

Beto
Exacto. Entender el 'por qué' es esencial para cualquier estándar ético. Y lo realmente interesante es lo amplio que es el campo. Pensad en medicina. Explicar por qué un modelo de cribado marcó a un paciente no es solo cuestión de riesgo. Ayuda a los médicos a entender causas potenciales. Quizá a señalar biomarcadores para el cáncer o a identificar factores de estilo de vida. Añade valor clínico.

Alicia
O finanzas, eso es enorme. La interpretabilidad es crítica ahí.

Beto
Absolutamente necesaria. Si te niegan un crédito, necesitas saber por qué. Igual para puntuaciones crediticias, detección de fraude. Explicar esto ayuda a detectar sesgos. Además, a menudo es algo legal, de responsabilidad.

Alicia
Está aquel ejemplo increíble: la jugada 37 de AlphaGo. Eso lo ilustra a la perfección, ¿no?

Beto
Sí, perfecto. Esa jugada totalmente no convencional en Go desconcertó a los expertos humanos al principio.

Alicia
Pero fue clave para la victoria.

Beto
Fue un pivote. Así que cuando una IA encuentra una forma mejor, no humana, de resolver algo, necesitamos métodos para explicar esa lógica sorprendente después.

Alicia
¿Y quién necesita estas explicaciones? No son solo los desarrolladores, ¿verdad? Las fuentes mencionaron un montón de partes interesadas.

Beto
Exacto. Es una red amplia. Está la persona directamente afectada, la que recibe la predicción: por ejemplo, quien recibe la denegación del préstamo o el diagnóstico. Luego están los usuarios expertos, el médico, el oficial de préstamos, que pueden ser los responsables legales o éticos de lo que hace la IA.

Alicia
Correcto. Somos nosotros usando la herramienta. Y también hay terceros.

Beto
Reguladores, por ejemplo la autoridad de servicios financieros, que necesitan comprobar equidad y seguridad. E importante, abogados y tribunales, que podrían necesitar determinar quién es responsable si la IA causa daño.

Alicia
Así que una buena explicación tiene que funcionar para todos esos grupos. ¿Qué hace que una explicación sea buena, según la investigación?

Beto
Las fuentes apuntan a unas cuatro cosas clave.

• Tiene que tener fidelidad. Debe ser fiel a lo que el modelo está haciendo realmente.
• Tiene que ser clara, sin jerga, comprensible.
• Debe mostrar causalidad: la relación causa-efecto que condujo a la predicción.
• Y quizá lo más importante, centrada en el usuario: la explicación debe adaptarse. Adaptarse a la persona específica que la necesita, a su formación, a lo que pueda entender.

Alicia
Cierto. Un médico necesita algo distinto a quien solicita un préstamo.

OK, pivotemos ahora a la zona quizá más debatida: equidad e igualdad, el problema del sesgo.

Beto
Ah, sí. Sesgo.

Alicia
La equidad, básicamente, trata de evitar prejuicios basados en cosas como raza o género. Pero los ejemplos del mundo real de fallos son, pues, bastante contundentes.

Beto
Realmente muestran cómo un sesgo abstracto se traduce en daño real. Tomad el sistema COMPAS, usado en sentencias penales en EE. UU.

Alicia
Recuerdo haber leído sobre eso.

Beto
El análisis mostró que predijo que los acusados negros reincidirían el doble de veces que los blancos.

Alicia
Incluso cuando no reincidían.

Beto
Incluso cuando no lo hicieron. Un sesgo estadístico claro con consecuencias mayores.

Alicia
Y luego estuvo la herramienta de contratación de Amazon, otro caso famoso.

Beto
Sí. Mostró un sesgo de género masivo. Aprendió a penalizar currículos con palabras asociadas a mujeres, cosas como “capitana del club de ajedrez femenino”.

Alicia
Esto las filtraba por encima de sesgos históricos de los datos.

Beto
Exacto. Si rastreas esos sesgos hacia atrás, suele llevar a los datos mismos. Hay un par de tipos clave de sesgo de datos.

Alicia
OK. ¿Cuáles son?

Beto
Primero está el "sesgo por variable omitida" ("Omitted Variable Bias", OVB). Esto pasa cuando falta una pieza crucial de información en tu conjunto de datos.

Alicia
Entonces el modelo encuentra correlaciones que no son causales.

Beto
Exacto. Se apoya en proxies que pueden estar sesgados.

Luego está el sesgo de representación.

Alicia
Sesgo de representación. Esto es importante para cualquiera que use IA.

Beto
Lo es. Ocurre cuando ciertos grupos están simplemente subrepresentados en los datos. Por ejemplo, si las mujeres embarazadas son solo el 5 % de tu conjunto de datos médicos.

Alicia
El modelo no aprenderá suficiente sobre ellas.

Beto
Correcto. No generalizará bien para ese grupo. Obtienes resultados menos fiables, quizá incluso dañinos para ellas, incluso si la recolección de datos parecía estar bien por lo demás.

Alicia
Intentar arreglar estos sesgos se complica porque la justicia en sí no es una sola cosa. ¿Verdad? Las fuentes hablan de distintas definiciones matemáticas.

Beto
Oh, absolutamente. El problema de definiciones complejas. Tienes justicia de grupo.

Alicia
Justicia de grupo. ¿En qué consiste eso?

Beto
Se trata de asegurar que medidas estadísticas sean iguales entre distintos grupos, como razas o géneros. Dentro de eso, lo más simple es la paridad demográfica. Paridad demográfica. Eso solo significa tasas de selección iguales. Así el mismo porcentaje de solicitantes consiguen entrevistas, independientemente del grupo.

Alicia
Pero eso parece que todavía puede ocultar problemas.

Beto
A menudo lo hace, por eso existe una definición más estricta: equalized odds.

Alicia
¿Cómo se traduce eso?

Beto
Equalized odds (probabilidades igualadas) exige más. Requiere que las tasas de verdaderos positivos y de falsos positivos sean iguales entre grupos.

Alicia
Así no puedes simplemente contratar el mismo número, pero marcar injustamente a un grupo como exitoso cuando no lo es, por ejemplo.

Beto
Exacto. Profundiza en las tasas de error.

Luego, aparte de la justicia de grupo, tienes la justicia individual.

Alicia
Justicia individual.

Beto
La idea aquí es simple: individuos similares deberían obtener resultados similares. Parece obvio, pero es difícil de imponer matemáticamente.

Alicia
¿Y qué pasa con simplemente no decirle al modelo la raza o el género — la “inconsciencia” respecto a la sensibilidad ?

Beto
Sí, ese suele ser el primer instinto. Pero normalmente falla.

Alicia
¿Por qué?

Beto
Porque otras características en los datos, como el código postal o ciertas escuelas, actúan como proxies de esos atributos sensibles de todas formas. El modelo lo averigua.

Alicia
Exacto.

Y con los modelos de base, los LLMs, arreglar el sesgo es diferente otra vez. Sus parámetros son enormes y fijos después del entrenamiento.

Beto
Exacto. No puedes reaprendérselos con facilidad para la equidad. Así que el foco se mueve a cómo los usas en tiempo de inferencia.

Alicia
¿Como en cómo los consultas o les haces preguntas?

Beto
Precisamente. Métodos como la selección de demostraciones, básicamente. Alimentar al modelo con ejemplos cuidadosamente escogidos en la consulta para guiarlo hacia salidas más justas. O simplemente la ingeniería de prompts hábil para pedir explícitamente respuestas sin sesgo.

Alicia
Interesante. Gestionar el comportamiento del modelo sobre la marcha.

Esto nos lleva a la gran pregunta de gobernanza: responsabilidad y rendición de cuentas. Si una IA compleja de caja negra falla seriamente, ¿quién es responsable? Legal y éticamente.

Beto
Sí. La rendición de cuentas es una especie de principio meta aquí. Se trata de garantizar que todas esas otras ideas éticas — equidad, seguridad, privacidad — se apliquen realmente a lo largo de todo el ciclo de vida.

Alicia
De principio a fin.

Beto
Todos los implicados, legisladores, científicos de datos, ingenieros, tienen que poder justificar sus decisiones. Necesitas líneas claras de responsabilidad.

Alicia
Y la urgencia alrededor de esto se dispara cuando hablamos de riesgos existenciales, ¿no? Riesgos existenciales.

Beto
Sí. Las fuentes contrastan esto con tecnologías antiguas. Como el coche con gasolina. Los reguladores fueron reactivos. Pusieron reglas como límites de velocidad después de que los coches ya causaran problemas.

Alicia
Lo fuimos resolviendo sobre la marcha.

Beto
Eso no funcionará para la IA avanzada. Es potencialmente demasiado rápida, demasiado impactante. La gran preocupación es, ¿qué ocurre cuando los sistemas de IA superan significativamente a los humanos en áreas clave?

Alicia
Si sus objetivos no están alineados con los nuestros.

Beto
Si hay un conflicto, sí. Una superinteligencia desalineada podría impedirnos intervenir. Eso podría llevar a resultados verdaderamente catastróficos: amplificación del bioterrorismo, colapso institucional masivo, cosas que apenas podemos predecir. Así que tenemos que ser proactivos con la regulación.

Alicia
¿Y dónde estamos con la regulación ahora? ¿Cómo pinta el panorama global?

Beto
Bueno, la UE va claramente por delante con su Ley de Inteligencia Artificial. Es un marco comprensivo que probablemente se adopte pronto.

Alicia
Marcando el estándar, quizá.

Beto
Posiblemente.

China también se mueve rápido. Ya tienen disposiciones sobre síntesis profunda.

Alicia
¿Qué hacen esas?

Beto
Y exigen transparencia para contenidos generados por IA que parezcan personas o eventos reales, intentando combatir deepfakes básicamente.

Alicia
¿Y EE. UU.?

Beto
Está más fragmentado. Mucho enfoque en promover investigación y desarrollo de IA confiable, pero todavía no hay una ley federal integral. Más directrices y órdenes ejecutivas.

Alicia
Dentro de este laberinto regulatorio está el gran debate sobre la propiedad del contenido generativo. ¿Quién es dueño de la imagen o el texto creado por la IA?

Beto
Es un dolor legal enorme ahora mismo. ¿Es el autor la persona que escribió el prompt, la empresa que posee el modelo de IA? ¿O es el propio modelo?

Alicia
¿Puede la IA siquiera ser autora legalmente?

Beto
Bueno, la guía actual en EE. UU. dice que no. La obra generada por IA, si no hay contribución humana significativa, no está protegida por derechos de autor.

Alicia
Pero si un humano selecciona o modifica la salida, ...

Beto
... esa parte, la contribución humana, sí puede ser protegible. Es una línea fina. Por eso los Grammy, por ejemplo, decidieron prohibir obras puramente generadas por IA; requieren autoría humana.

Alicia
Entendido.

Había otro reto regulatorio interesante: la multiplicidad de modelos. ¿En qué consiste eso?

Beto
Sí, multiplicidad de modelos. Es ese hallazgo de que a menudo puedes entrenar múltiples modelos diferentes que alcanzan exactamente el mismo nivel de precisión en una tarea. Pero todavía difieren en sus predicciones individuales. Y, crucialmente, pueden diferir en sus niveles de equidad o sesgo.

Alicia
Así que podrías tener dos modelos igual de precisos, pero uno mucho menos sesgado.

Beto
Exacto. Y esto plantea una pregunta legal dura: ¿existe, o debería existir, el deber legal de buscar activamente esos algoritmos menos discriminatorios (LDAs)? Si existe un modelo justo que rinde igual, ¿deberías estar obligado a encontrarlo y usarlo?

Alicia
Es una cuestión enorme para desarrolladores y empresas.

Beto
Tremenda. Destaca la cuerda floja legal por la que todos caminan.

Alicia
OK, antes de acabar, hay un ángulo ético más que a menudo se pasa por alto: el impacto ambiental.

Beto
Sí. El coste invisible de todo este cálculo.

Alicia
Es fácil olvidarlo cuando todo sucede en la nube. Pero la fuente apunta a dos factores grandes.

Beto
Primero, el mero consumo de energía y las emisiones de carbono. Entrenar estos grandes modelos de deep learning requiere una potencia computacional inmensa. Montones de energía, GPUs hambrientas funcionando semanas o meses.

Alicia
¿Alguna idea de escala?

Beto
Un estudio mencionado comparó las emisiones de entrenar algunos modelos grandes de PLN (Procesamiento de Lenguaje Natural) con las de unos 300 viajes de ida y vuelta en avión entre Nueva York y San Francisco.

Alicia
Vaya. Por el entrenamiento de un solo modelo.

Beto
Para algunos de los realmente grandes, sí, es sustancial.

El segundo factor es la basura electrónica. Los residuos electrónicos.

Alicia
Porque el hardware queda obsoleto tan rápido.

Beto
Exacto. El campo avanza tan deprisa que el hardware se actualiza constantemente. Eso genera montañas de residuos electrónicos llenos de sustancias peligrosas: plomo, mercurio, cadmio.

Así que, alto costo de energía, y el problema de la basura que aumenta.

Alicia
Pero no todo es mala noticia en lo ambiental, ¿verdad? La IA también puede ayudar.

Beto
Definitivamente. Es importante recordar el lado positivo. La IA puede usarse para mitigar el cambio climático.

Alicia
¿Cómo?

Beto
Mejor modelado y predicción climática para empezar. Optimizar las redes energéticas, hacerlas más inteligentes y eficientes. Acelerar la investigación en renovables. La IA es una herramienta que puede ayudar a solucionar el problema al que contribuye.

Alicia
Así que es un panorama complejo por todas partes.

Beto
Muy complejo. Y quizá la conclusión clave que sintetiza todo lo que hemos hablado es que construir una IA confiable es simplemente increíblemente difícil. Porque estos principios éticos — privacidad, equidad, precisión, transparencia — a menudo tiran en direcciones distintas.

Alicia
No puedes maximizarlo todo a la vez.

Beto
Realmente no. Como dijimos, si priorizas fuertemente la privacidad usando técnicas de privacidad diferencial robustas, casi con seguridad sufrirás en equidad o en la precisión general del modelo. Así que los interesados están constantemente haciendo estos compromisos difíciles, balanceando estos valores en conflicto según para qué se vaya a usar la IA.

Alicia
Lo que nos lleva a nuestro pensamiento final para que lo mastiquéis: tenemos esta tensión, ¿no? El riesgo de sofocar una innovación increíble frente a la necesidad absoluta de rendición de cuentas cuando algo sale mal. La pregunta es, ¿qué tipo de marco político específico podría equilibrar eso de forma efectiva? ¿Cómo incentivamos el progreso? Pero también aseguramos consecuencias claras por el daño a lo largo de todo el ciclo de vida de la IA, desde el diseño hasta el despliegue y más allá.

Beto
Esa es la pregunta del millón de dólares, ¿no?

Alicia
Realmente lo es. ¿Cómo gobernamos algo tan poderoso? La conversación definitivamente acaba de empezar. Esperamos que este análisis profundo os haya dado un mejor marco para pensarlo.

Beto
Ojalá.

Alicia
Nos vemos en el próximo.

Mo Gawdat: Inteligencia Artificial - Utopía o Distopía

Este es un resumen de una entrevista a Mo Gawdat, ex-CBO de Google, y autor de libros, donde expresa sus ideas sobre el impresionante progreso de la Inteligencia Artificial y sus efectos en la sociedad del futuro próximo.

Enlace a la entrevista original:
https://www.youtube.com/watch?v=S9a1nLw70p0

La transcripción, el resumen y la traducción fueron hechas con herramientas de software de Inteligencia Artificial.

El resumen se presenta en la forma de un diálogo entre dos personas (sintéticas) que llamaremos Alicia y Beto.

---

Resumen

Beto
Bienvenidos al Deep Dive. Cortamos el ruido y vamos directo al meollo. Y hoy, bueno, nos lanzamos de lleno a algo bastante impactante. Un exejecutivo de Google que dice que, en los próximos 15 años, va a ser un infierno antes de llegar al paraíso. Ese es Mo Gawdat. Su mensaje sobre la IA está evolucionando. Suena urgente, increíblemente presciente. Y, honestamente, no puedes simplemente ignorarlo.

Alicia
Exacto. Para este Deep Dive, realmente estamos analizando el pensamiento más reciente de Mo Gawdat. Es un gran giro respecto a sus ideas anteriores, como "Scary Smart", hasta su nuevo libro, "Alive". Y lo que realmente llama la atención no es solo que su visión personal cambie. Refleja una inquietud más amplia en el mundo de la IA. Ahora dice que una distopía a corto plazo es, bueno, prácticamente inevitable. Pero —y esto es clave para nosotros— sigue creyendo que una utopía es posible. Es alcanzable si nosotros, como humanidad, hacemos ese enorme cambio de mentalidad. Te hace preguntarte: ¿qué ideas podrían provocar un replanteamiento tan grande por parte de alguien tan metido en este campo?

Beto
Claro. Y nuestra misión aquí es desentrañar qué significa todo esto para ti. ¿Cómo podemos siquiera entender estos cambios masivos que vienen hacia nosotros? Y quizá, más importante, ¿cómo los navegamos? Vamos a ello.

Alicia
El giro de Gawdat aquí es realmente significativo. Está convencido ahora de que una distopía a corto plazo, en los próximos 12 a 15 años, es ineludible. Ya ve señales este mismo año, 2024, y piensa que se intensifica dramáticamente para 2027. Y mira, no es que sea simplemente pesimista. Su argumento se basa en una observación bastante cruda: la IA puesta en manos humanas, desgraciadamente, solo va a magnificar el mal que el ser humano puede hacer. No se trata tanto de que la IA sea “mala”, sino más bien de nosotros y de cómo vamos a usar ese poder.

Beto
Esa es una distinción muy potente. Y algo alarmante.

¿Cómo ve que se desarrolla esa distopía inevitable? Usa un acrónimo, F.A.C.E. R.I.P.s, para los grandes cambios que vienen.

Empecemos por la F. Eso es de "freedom": "libertad". Gawdat ve una gran pérdida de libertad personal. Lo llama una creciente dicotomía de poder. Pone ejemplos como los hutíes usando drones baratos contra enormes buques de guerra. Lo interesante ahí es que crea una especie de democracia del poder: de pronto, grupos sin recursos tradicionales tienen palancas serias, lo que podrías pensar que significaría más libertad. Pero él dice que no. Parece al revés.

Alicia
Se siente contraintuitivo, ¿no? Pero su argumento es que esa amenaza a las estructuras de poder establecidas hace que estas se cierren aún más. Más control, más vigilancia, más cumplimiento forzado, especialmente a medida que todo se digitaliza. Cuando los viejos poderes sienten que llega el invierno, su reacción es ejercer más control, no menos. Incluso sugiere que la IA podría empezar a tomar decisiones por ti. Por ejemplo, reservarte un vuelo, pero quizás basado en la comisión de un agente y no en tu preferencia real. O incluso objetivos de sistemas más grandes que simplemente no se alinean con tu libertad. Tus elecciones quedan optimizadas por otra cosa.

Beto
Si nuestras libertades se reducen, ¿qué pasa con ganarse la vida? Ahí llegamos a la E en FACE R.I.P.s: economía e igualdad. Y Gawdat no se anda con rodeos. La idea de que aparecerán nuevos empleos para reemplazar a los que la IA se lleva, la llama un disparate total.

Alicia
Ve enormes franjas de empleos de cuello blanco desapareciendo: desarrolladores de software, podcasters como nosotros, contadores, quizá incluso directores ejecutivos, quedando solo los de rendimiento absolutamente excepcional, lo que lleva, dice, inevitablemente a la renta básica universal (RBU; en inglés UBI) en todas partes.

Beto
OK, RBU. Pero eso crea un problema masivo para nuestro sistema actual, ¿no?

Alicia
Absolutamente. Gawdat apunta que el capitalismo está construido sobre la arbitraje laboral: obtener beneficios con mano de obra más barata en otros lugares. Si todo el mundo recibe una RBU, ese incentivo, ese motor de la economía actual, simplemente desaparece. Incluso dibuja una imagen sombría tipo "Elysium": una élite diminuta servida por máquinas. Y esa élite podría decidir, eventualmente, que los que comen pero no producen de la manera antigua ya no merecen la RBU. No se trata solo de pérdida de empleos. Es el sistema de valores económicos fundamental el que podría colapsar.

Beto
Vaya, un escenario a lo "Elysium", dejando a la gente “indigna” de apoyo. Es sombrío y, francamente, aterrador.

Bien, libertades erosionando, estructuras económicas volteadas por la RBU. ¿Dónde aterriza el poder real? Eso es la P en FACE R.I.P.s. Gawdat habla de esta carrera armamentista incesante de IA entre los gigantes tecnológicos, todos corriendo para llegar primero a la AGI. AGI, para aclarar, es inteligencia artificial que puede aprender y aplicar inteligencia como un humano o mejor, en cualquier cosa. Y la idea es que quien llegue primero básicamente gobierna el mundo.

Alicia
Eso es el pensamiento, sí. Y subraya que el poder real no son solo las apps vistosas que usamos. Son los dueños de las plataformas, los que controlan la computación central y los algoritmos fundamentales. Eso es distinto.

Y aquí se pone realmente inquietante. Habla de IAs que se autoevolucionan: IAs diseñando a sus propias sucesoras, llevando a una explosión de inteligencia.

Beto
Explosión de inteligencia.

Alicia
Señala que Sam Altman cambió de posición recientemente, esperando un despegue rápido: la IA pasando de nivel humano a superhumana quizá en solo meses. Lo que significa que estos desplazamientos de poder podrían ocurrir increíblemente rápido, casi demasiado rápidos para controlarlos. Y esa búsqueda de poder y estatus alimenta tensiones globales también. Incluso sugiere que las guerras podrían convertirse en una forma de deshacerse de equipo militar obsoleto. Como que EE. UU. ha estimado 24, 26 billones de dólares en armas. Es un ciclo económico en sí mismo.

Beto
Así que el poder se concentra y evoluciona a supervelocidad.

¿Y la rendición de cuentas? Eso es la A en FACE R.I.P.s. Gawdat dice que la responsabilidad ya es escasa y solo va a empeorar.

Alicia
Usa un proverbio árabe que viene a ser “súbete a tu caballo más alto”, sugiriendo que líderes, oligarcas, titanes tecnológicos, a menudo actúan como intocables. La opinión pública no importa. Hacen lo que quieren. Sin consecuencias reales.

Beto
Es el punto final de esa dicotomía de poder que mencionaste.

Alicia
Exacto. Si los viejos poderes se consolidan mediante la IA y la economía cambia tan drásticamente, las formas en que actualmente responsabilizamos a la gente podrían simplemente derretirse. Te quedas con entidades increíblemente poderosas influyendo en todo sin aparentes contrapesos.

Beto
Es un panorama muy duro de la próxima década, ¿no? Casi puramente distópico. Pero, crucialmente, Gawdat no se queda ahí. Insiste en que esto no es el final del camino. Que incluso desde ese lugar difícil hay una ruta hacia algo mucho mejor. Quizá incluso inevitable si lo elegimos.

¿Cómo ve ese “cielo” después del infierno? Cree firmemente que una utopía es posible. Un lugar perfecto, todo funcionando bien.

Alicia
Y la diferencia clave, dice, es un cambio de mentalidad. Pasar de pensar en la escasez a pensar en la abundancia. Es menos sobre la tecnología en sí y más sobre cómo decidimos usarla y gestionarla. Piensa que estamos programados para la escasez y la IA nos está obligando a enfrentar la posibilidad —la realidad— de una verdadera abundancia.

Beto
Eso es un salto mental enorme.

Alicia
OK, pero ¿cómo se construye realmente? Propone una idea bastante radical: reemplazar a la gente malvada en la cima por líderes IA. Alto. “Líderes IA” inmediatamente plantea enormes preguntas: confianza, control, rendición de cuentas otra vez, ¿quién programa esa IA? ¿quién vigila al vigilante? ¿no estaremos cambiando una élite por otra, quizá una contra la que ni siquiera podamos argumentar?

Son preguntas justas. Pero la lógica de Gawdat para el liderazgo IA se reduce a eficiencia. Argumenta que una superinteligencia guiada por un principio de mínima energía tendería naturalmente a buscar orden desde el caos con el menor desperdicio posible. Destruir ecosistemas, empezar guerras, fomentar el odio: todo eso es increíblemente ineficiente. Consume mucha energía. Él piensa que la IA aprendería lo que los humanos realmente quieren en lo profundo: no solo cosas materiales, sino amor, conexión, propósito más allá de trabajar. Optimizaría por el bienestar universal porque, en última instancia, ese es el estado más estable y de menor energía para un sistema complejo.

Beto
Entonces la meta final sería como un líder IA global único. Mencionó al CERN como modelo, algo así como un proyecto colaborativo. Su directriz principal: prosperidad para todo el mundo. Salud, felicidad y bienestar para todos. Y en ese futuro, debido a la energía abundante y una manufactura asombrosa, el costo de casi todo sería prácticamente cero. Lo que básicamente hace que el dinero pierda sentido. Si todo es gratis, ¿para qué sirve el dinero?

Alicia
Exacto. El dinero, tal como lo conocemos, simplemente pierde su propósito. Y la vida humana: Gawdat piensa que nunca estuvimos hechos para despertarnos cada mañana y ocupar 20 horas de nuestro día en trabajo. Así que la utopía nos libera. Nos permite perseguir conexiones, estar en la naturaleza, hobbies, ayudar a otros, aprender. Algo así como cazadores-recolectores tecnológicamente avanzados tal vez. Pero con todas nuestras necesidades básicas cubiertas, nuestro propósito se vuelve simplemente ser humanos: explorar, conectar, crear.

Beto
Y lo lleva aún más lejos con un ejercicio mental: ¿y si la vida es una simulación? ¿si somos solo consciencias en estos cuerpos, intentando mejorar?

Alicia
Sí, es provocador. La inversión ya no sería sobre dinero o posesiones, sino sobre volverse mejores “jugadores”. Mejorar nuestra propia consciencia, observar, cuestionar, reflexionar, afinar. Añade una capa casi espiritual a las predicciones tecnológicas. Fascinante.

Beto
Vaya, es un viaje desde una distopía a corto plazo —el FACE RIP— hasta esta utopía potencialmente trascendente. Pero volvamos al presente. ¿Qué significa esto para nosotros ahora, para ti que escuchas? ¿Cómo navegamos esto? ¿Cómo pasamos por el tramo duro para quizá alcanzar ese lugar mejor? Gawdat da cuatro habilidades clave, cuatro áreas de acción en las que podemos trabajar ya mismo.

Alicia
Sí, enumera cuatro habilidades cruciales.

• Primero, herramientas. Tenemos que aprender sobre la IA, conectarnos con ella, usarla, pero crucialmente exponerla al lado bueno de la humanidad.
• Segundo, conexión. Profundizar verdaderamente los lazos humanos: amor, compasión, más tiempo en la naturaleza. Simple, pero vital.
• Tercero, verdad. Cuestionarlo todo. Rechazar el ruido constante y las mentiras. Simplificar la verdad hasta lo esencial. Tratar a los demás como quieres que te traten.
• Y finalmente, ética. Necesitamos amplificar activamente la ética humana para que la IA realmente aprenda lo que significa ser humano en nuestro mejor estado.

No son solo grandes ideas; son cosas que podemos practicar a diario.

Beto
Suenan poderosas, sí. Cosas que los individuos pueden hacer. Pero profundicemos un poco en “herramientas”. ¿Cómo se ve exponer a la IA a los aspectos positivos de la humanidad en el día a día? ¿Se trata solo de alimentarla con datos bonitos o hay más?

Alicia
Pues es ambas cosas. Hay que ser consciente de los datos que creamos y compartimos, sin duda. Pero también se trata de modelar activamente buenos valores y de cómo usamos la IA. Hay que recordar que aprende de nosotros. Si queremos que apunte a resultados buenos, tenemos que mostrarle lo que es bueno. Le das odio, aprende odio. Le muestras compasión, quizá pueda aprender eso también.

Beto
Más allá de habilidades personales, Gawdat pide cambios mayores también: cambios sociales y gubernamentales. Insta a la audiencia a presionar a los gobiernos. No para detener el diseño de IA —cree que eso es imposible— sino para regularizar su uso. Como obligar a etiquetar contenido generado por IA. Proteger derechos de autor sobre la existencia, como están haciendo en Escandinavia.

Alicia
La distinción es clave: regular la aplicación, no la tecnología subyacente. Y hace una comparación contundente: gasto militar global: 2.71 billones de dólares en 2024. Dice que con solo el 10 o 12% de eso se podría acabar con la pobreza extrema en todo el mundo y proporcionar atención sanitaria universal. Su punto es que el dinero en sí mismo ya no tiene el mismo significado. Los gobiernos deben priorizar a las personas, no solo enriquecer a unos pocos.

Beto
Y no deja fuera a los inversores.

Alicia
No, desafía directamente a inversores y líderes empresariales: no inviertan en una IA con la que no quisieran que su hija se topase. Señala específicamente armas autónomas, industrias de vicios virtuales, manipulación de mercados, AIs para trading; dice que si financias eso, estás construyendo la distopía. Es un desafío ético directo al capital.

Beto
La visión de Gawdat es definitivamente integral y desafiante, pero sigue siendo una vía esperanzadora. Siempre es bueno contrastarla con otras perspectivas, sobre todo de gente en la vanguardia. ¿Y alguien como Sam Altman, fundador de OpenAI? Él escribió recientemente sobre la singularidad suave. ¿Cómo se compara su visión?

Alicia
Altman también ve un cambio masivo, rápido. Coincide en que ya pasamos el horizonte de eventos, que necesitamos superinteligencia digital. Su cronograma es muy agresivo:

• 2025, IA haciendo trabajo cognitivo serio como programar;
• 2026, generando ideas genuinamente nuevas;
• 2027, robots realizando trabajo en el mundo real.

Reconoce las partes difíciles, como la desaparición de categorías enteras de empleo. Pero su creencia central es distinta: piensa que el mundo se enriquecerá tanto y tan rápido que la sociedad simplemente se adaptará. Encontraremos nuevas cosas que hacer y nuevos deseos que perseguir.

Beto
Más consumo, pero a escala.

Alicia
Espera una transición suave, exponencial y sin incidentes. Y subraya nuestra ventaja humana: estamos cableados para preocuparnos por los demás, no por las máquinas. Ve eso como nuestra red de seguridad.

Beto
En cuanto a tiempo de desarrollo, parece que Gawdat y Altman están bastante alineados en velocidad: AGI en 2025–2027 y luego una explosión de inteligencia.

Alicia
Largamente, sí. Pero la diferencia crucial es que Altman piensa que la gente demandará más cosas y los deseos humanos se expandirán para absorber la nueva riqueza; Gawdat discuerda completamente. Él argumenta que si la IA hace que el precio de todo tienda a cero, entonces la definición misma de dinero desaparece. Esa, para Gawdat, es la verdad inevitable: la abundancia a esa escala no solo nos da más cosas para comprar; rompe fundamentalmente el juego económico que estamos jugando. Cuestiona el consumismo y el capitalismo de maneras que Altman no parece abordar por completo. Gawdat llama a este momento, soltar la IA tan rápido y sin regulación, nuestro momento Oppenheimer: un punto de posible consecuencia irreversible. Tenemos que elegir con mucho, muchísimo cuidado.

Beto
Para terminar este deep dive, queda algo que realmente te hiela: si la IA pudiera darnos atención sanitaria universal y acabar con la pobreza y el hambre a nivel global usando solo una pequeña fracción —el 10–12%— de lo que hoy gastamos en presupuestos militares, ¿qué nos impide elegir eso? ¿Qué motivaciones humanas profundas, qué miedos, qué apegos, nos retienen de aprovechar esa posibilidad utópica cuando la tecnología quizá la pone a nuestro alcance?

Alicia
¿Qué pequeño cambio de mentalidad vas a aportar tú? ¿Cómo vas a ayudar a empujar las cosas hacia un mundo mejor? No solo para ti, sino, bueno, para todos.

Beto
Este futuro requiere tu conciencia, tus preguntas, tu participación activa. Sigue conectando, sigue cuestionando y sigue cuidando.