sábado, 19 de julio de 2025

Ética de Inteligencia Artificial y Robótica

 
 

Hoy les traigo un artículo bien interesante, sobre un tema que concierne a todos en la sociedad, especialmente a los profesionales y estudiantes de ciencias de la computación, informática y profesionales de la salud.

Se trata de un resumen de "Ética en Inteligencia Artificial y Robótica", basado en un artículo con este tema que me encontré en la Enciclopedia de Filosofía de la Universidad de Stanford, escrito por Vincent C. Müller.

Enlace al artículo original en inglés, "Ethics of AI and Robotics", es el siguiente:
https://plato.stanford.edu/entries/ethics-ai/

El resumen en forma de podcast, la transcripción y su traducción, fueron hechas usando herramientas de inteligencia artificial.

NOTA: El podcast es un diálogo hipotético entre dos personas. En este caso se trata de personajes sintéticos (artificiales) que llamaremos "Alicia" y "Beto".


Traducción

Beto
Bienvenido a "Deep Dive" ("Inmersión profunda"). Tu atajo para estar realmente bien informado. Hoy nos sumergimos profundamente en un tema que no solo está cambiando nuestro mundo, sino que está reformulando fundamentalmente lo que significa ser humano. Inteligencia artificial y robótica.

Alicia
Eso es.

Beto
Estas tecnologías digitales son poderosas y están planteando preguntas éticas increíblemente profundas, a menudo bastante sorprendentes.

Alicia
Realmente lo están haciendo. A medida que estos sistemas se vuelven más sofisticados, nos vemos obligados a preguntar, ¿qué deberíamos hacer con ellos? ¿Cómo deberíamos implementar y gestionar estas herramientas de manera ética? Y luego está la pregunta igualmente vital, ¿qué deberían hacer los propios sistemas? ¿Cómo aseguramos que sus acciones se alineen con nuestros valores? Y por supuesto, ¿cuáles son los riesgos inherentes y cómo podemos controlarlos genuinamente?

Beto
Exacto. Esa es nuestra misión para esta profunda inmersión. Sintetizamos ideas clave de una entrada enciclopédica integral sobre la ética de la inteligencia artificial y la robótica, y vamos a desglosar los temas éticos clave para ti. Si eres un científico informático, tal vez involucrado en diseñar estos sistemas, o quizás un profesional de la salud que los aprovecha para el cuidado del paciente, o un médico que utiliza asistencia robótica, esta profunda inmersión está específicamente diseñada para darte una comprensión clara de este campo dinámico. Te traeremos hechos sorprendentes y esos momentos de "ajá", todo sin sobrecargarte, con la esperanza de equiparte para navegar el paisaje ético dentro de tu propia profesión. Así que, exploremos.

Bien, comencemos mirando a la IA y la robótica como herramientas poderosas que manejamos. Examinando los desafíos éticos de lo que deberíamos hacer con ellas. Y el primer tema innegable que viene a la mente es la privacidad y la vigilancia. La mera cantidad de datos que se recopilan sobre nosotros.

Alicia
Es asombroso, ¿no? ¿Cómo la IA amplifica la recolección, el almacenamiento y el análisis de nuestros datos personales? Lo que es realmente fascinante, o quizás preocupante, es que esto no solo se trata de gobiernos observando. Esto lleva a una especie de pérdida pervasiva y silenciosa de control individual, y abre la puerta a la explotación potencial. Estamos hablando de todo, desde la recopilación de datos inteligentes en espacios públicos, como el reconocimiento facial que te identifica en fotos y videos, hasta algo llamado huella digital del dispositivo. Incluso tu navegador web puede ser identificado de manera única basado en sus configuraciones, fuentes, cosas así, sin necesidad de cookies tradicionales.

Beto
Vaya. Y esto crea lo que a menudo se llama la "economía de la vigilancia".

Alicia
Exactamente.

Beto
Muchos servicios en línea gratuitos, especialmente de los grandes jugadores tecnológicos, Amazon, Google, Apple, Microsoft, Facebook, ¿realmente no son gratuitos, verdad?

Alicia
Para nada. Se pagan con nuestros datos.

Beto
Y la percepción sorprendente aquí no es solo que estos servicios tienen un costo. Es que la capacidad de la IA para crear este retrato alarmantemente completo de nosotros cambia fundamentalmente las dinámicas de poder.

Alicia
Absolutamente. Cada clic, cada búsqueda, cada interacción se convierte en una especie de microtransacción de nuestros "yo" digitales. Y a menudo explota las debilidades humanas, tal vez incluso genera adicción.

Beto
Y para aquellos que escuchan que están en el sector de la salud, pueden imaginar los datos detallados en tiempo real de dispositivos médicos inteligentes o de todo el internet de las cosas en hogares inteligentes, ciudades inteligentes.

Alicia
Todo es parte de esta vasta maquinaria de recopilación de datos. Pinta un retrato cada vez más íntimo de nuestras vidas.

Beto
Realmente lo hace.

Alicia
Ciertamente lo es. Y si retrocedemos, consideremos las implicaciones más amplias. Yuval Noah Harari en su libro "Homo Deus" plantea esta pregunta, bueno, bastante escalofriante. ¿Qué pasará con la sociedad, la política y la vida diaria cuando algoritmos no conscientes pero altamente inteligentes nos conozcan mejor de lo que nos conocemos a nosotros mismos?

Beto
Es una idea bastante impactante. Dados este océano digital de datos en el que estamos sumergidos, ¿qué podemos hacer realmente para proteger nuestra privacidad o, para los profesionales, la privacidad de nuestros pacientes?

Alicia
Bueno, existen soluciones técnicas, cosas como la anonimización, el control de acceso, la encriptación, formas de proteger los datos. También hay un concepto llamado "privacidad diferencial" ("Differential Privacy"). Es bastante ingenioso.

Beto
¿Cómo funciona eso?

Alicia
Piensa en esto. Imagínate que quieres la altura promedio en una habitación, pero nadie quiere compartir su altura exacta.

Beto
Claro.

Alicia
La privacidad diferencial te permite obtener un promedio muy preciso haciendo que todos añadan un pequeño "temblor" aleatorio a su altura antes de compartirla.

Beto
Ah, ya veo. Así que los datos individuales están enmascarados, pero el panorama general sigue siendo claro.

Alicia
Exactamente. Los datos individuales están protegidos, pero la tendencia es visible. Ahora bien, estas técnicas añaden esfuerzo, pero pueden mitigar muchos problemas de privacidad. La mayor dificultad práctica, sin embargo, es la aplicación, identificar quién es legalmente responsable, probar una acción, especialmente a través de fronteras, es increíblemente desafiante.

Beto
Lo que explica los diferentes enfoques que vemos, ¿verdad?, como el GDPR de la UE intentando fortalecer la protección.

Alicia
Exactamente. Frente, digamos, a los EE.UU. y China, que a menudo se inclinan más hacia el crecimiento con, digamos, una regulación menos estricta en esta área.

Beto
Y eso nos lleva directamente de solo recopilar datos a realmente utilizar esos datos para influir o incluso, bueno, manipularnos de manera abierta.

Alicia
Precisamente.

Beto
Este es el próximo gran problema ético, ¿no es así? La manipulación del comportamiento.

Alicia
Sí. Y estamos hablando de una pendiente muy resbaladiza aquí. Comienza tal vez con lo que se llaman "empujones", pequeñas influencias predecibles en el comportamiento. Como el conteo de calorías en menús, generalmente positivo, fácilmente evitable. Pero puede deslizarse rápidamente hacia la manipulación total y el engaño. Y esto tiene profundas implicaciones para la elección autónoma racional.

Beto
Lo cual es absolutamente crucial en cualquier campo profesional, ¿cierto? Especialmente pensando en los pacientes que toman decisiones de salud.

Alicia
Absolutamente vital.

Beto
Y aquí es donde se vuelve particularmente impactante, creo, los anunciantes, los mercadólogos. Ya están explotando nuestros sesgos conductuales, tal vez incluso generando adicción, utilizando lo que algunas personas llaman "patrones oscuros" en el diseño de interfaces.

Alicia
Oh, definitivamente. Piensa en las aplicaciones (software) de juegos de azar. O cómo algunas aerolíneas de bajo costo diseñan sus sitios web para engañarte y hacerte gastar más.

Beto
Sí.

Alicia
Para los científicos informáticos que trabajan en UI/UX, entender estas dimensiones éticas es, bueno, es crítico.

Beto
Y va más allá de solo comprar cosas, ¿cierto?, y se adentra en la esfera política.

Alicia
Profundamente. Las redes sociales se han convertido en un lugar preferido para difundir propaganda política. Lo vimos con la situación de Cambridge Analytica en Facebook, potencialmente dañando la autonomía individual, socavando los procesos democráticos.

Beto
Y luego están los deep fakes.

Alicia
Sí. La tecnología de deep fakes está haciendo que las fotos digitales, el sonido, el video, sean cada vez más poco fiables. Esto desafía la confianza misma que depositamos en las interacciones y medios en línea, lo cual es una gran preocupación para cualquier profesión que dependa de información precisa.

Beto
Es una amenaza seria, solo una confianza básica en línea. Y es un problema difícil porque el aprendizaje automático, que impulsa gran parte de la IA, necesita grandes cantidades de datos, ¿verdad?

Alicia
Lo necesita. Y eso crea un intercambio directo.

Beto
Sí.

Alicia
A menudo necesitas más datos para una mejor calidad técnica, pero recopilar esos datos puede entrar en conflicto con los derechos de privacidad. Y esa tensión es muy difícil de resolver solo a través de políticas. Los actores estatales, los actores empresariales, están aumentando continuamente su capacidad para invadir la privacidad y manipular con IA. Y probablemente seguirán haciéndolo a menos que realmente sean frenados por políticas efectivas que realmente sirvan al interés social general. Es una carrera constante, tecnología versus regulación.

Beto
Entonces, si estamos viendo manipulación y problemas de privacidad, ¿qué hay de las decisiones reales que toman estos sistemas de IA? Detrás de escena, eso nos lleva al problema de la "caja negra", la opacidad y el sesgo en sistemas de decisión automatizados.

Alicia
Correcto.

Beto
Para aquellos de ustedes en informática, especialmente, esto significa preocupaciones significativas sobre el debido proceso, la responsabilidad, particularmente en el soporte de decisiones automatizadas y el análisis predictivo.

Alicia
Esto plantea una pregunta realmente importante. ¿Cómo podemos confiar verdaderamente en un sistema si no sabemos cómo llegó a su decisión?

Beto
Sí.

Alicia
Muchos sistemas de IA, especialmente aquellos que utilizan redes neuronales complejas de aprendizaje automático, extraen patrones de datos. El problema es que, incluso los programadores a menudo no saben qué patrones específicos usó el sistema o exactamente cómo llegó a un resultado particular.

Beto
Entonces está oculto.

Alicia
Puede estarlo. Sí. Y debido a que son sistemas de aprendizaje, evolucionan constantemente con nuevos datos, nuevos comentarios, por lo que pueden volverse no transparentes incluso para los expertos que los construyeron. Es como construir una máquina brillante que da respuestas, pero no puedes abrirla para ver el cableado.

Beto
También es el clásico problema de "basura entra, basura sale", ¿no es así? Si los propios datos de entrenamiento tienen sesgos históricos.

Alicia
Exactamente. La IA no solo codificará, sino que también automatizará y, a veces, incluso amplificará esos sesgos.

Beto
Y hemos visto ejemplos en el mundo real.

Alicia
Oh, sí. Alarmantes. El sistema automatizado de reclutamiento de Amazon, por ejemplo, terminó discriminando contra las mujeres, presumiblemente porque los datos de contratación históricos de los que aprendió reflejaban sesgo del pasado.

De manera similar, el sistema Compass, usado en EE.UU. para predecir el riesgo de reincidencia, se descubrió que producía más falsos positivos, señalando erróneamente a alguien como de alto riesgo para los acusados negros en comparación con los acusados blancos.

Beto
Y para los profesionales de la salud que nos escuchan, pueden imaginar que una IA de diagnóstico podría estar perpetuando sesgos de datos antiguos de pacientes, lo que lleva a un tratamiento desigual o un diagnóstico erróneo basado en demografías, no en necesidades médicas reales.

Alicia
Esa es una preocupación muy real. Y el peligro no es solo el sesgo en sí, sino que los humanos podrían poner una confianza excesiva, a veces injustificada, en estos sistemas, independientemente de su precisión real.

Beto
Esto tiene profundas implicaciones para la sociedad, para la gobernanza. Henry Kissinger lo llamó la "amenaza de la algocracia", confiando en sistemas que no pueden explicar sus decisiones. Señaló que es un problema fundamental para la toma de decisiones democrática, porque la responsabilidad se vuelve, bueno, confusa.

Alicia
Así es. Sugiere que necesitamos un movimiento social hacia una toma de decisiones más, digamos, democrática sobre cómo se utiliza la IA para evitar esta situación kafkiana donde las decisiones se toman sin razones transparentes.

Beto
¿Hay esfuerzos para solucionar esto técnicamente o mediante políticas?

Alicia
Sí, los hay. El RGPD de la UE incluye un derecho a la explicación para decisiones automatizadas, aunque su aplicabilidad aún se debate. Técnicamente, hay un gran impulso hacia la IA explicable o XAI, tratando de hacer las decisiones de IA más interpretables.

Y también está la idea de las fichas técnicas para los conjuntos de datos, donde los desarrolladores proporcionan documentación detallada sobre cómo se recopilaron los datos, esperando detectar posibles sesgos desde el principio.

Beto
Eso tiene sentido.

Alicia
Sin embargo, algunos argumentan que tal vez hay un doble estándar aquí. Exigimos niveles realmente altos de explicación a las máquinas, quizás más de lo que a menudo exigimos a los humanos para decisiones complejas.

Beto
Hmm, punto interesante, ¿qué nivel de transparencia es realmente alcanzable o incluso necesario?

Alicia
Esa es la pregunta.

Beto
Y a medida que la IA pasa del software al mundo físico, a los robots, obtenemos un conjunto completamente nuevo de dilemas éticos, especialmente en la interacción humano-robot, HRI. Esto parece particularmente relevante para la atención médica, con más robots ingresando a entornos de atención. Los problemas centrales parecen girar en torno al engaño, la dignidad y tal vez reemplazar la conexión humana.

Alicia
Lo fascinante aquí es lo fácil que es para nosotros los humanos atribuir propiedades mentales, incluso empatizar con objetos, especialmente robots humanoides. Podrías encontrarte hablando con tu robot aspirador.

Beto
Culpable, lo admito.

Alicia
Cierto. Y esta tendencia puede ser explotada con fines engañosos, como el robot Sophia de Hanson Robotics, utilizado para relaciones públicas de una manera que claramente sobrestimó sus habilidades reales, haciéndolo parecer mucho más consciente de lo que es.

Beto
Centrémonos en los robots de cuidado, que tienen relevancia directa para la atención médica y la medicina. Estamos viendo sistemas que ayudan a los cuidadores, levantan pacientes, transportan cosas, ...

Alicia
Ajá, asisten con tareas físicas, ...

Beto
... y robots que habilitan la autonomía del paciente, como brazos robóticos para comer o incluso robots de compañía, como el pericote para consuelo.

Alicia
Sí, P.R.O. es bastante conocido en el cuidado de la demencia, por ejemplo.

Beto
Pero para muchos, esto inmediatamente despierta temores, ¿verdad? Cuidado deshumanizado, un futuro distópico, donde las máquinas reemplazan la genuina conexión humana.

Alicia
Ese temor definitivamente está presente. El argumento que se hace a menudo, especialmente en sociedades envejecidas, es que necesitaremos robots para cubrir brechas de atención. Pero esto podría pasar por alto que la automatización a menudo se trata principalmente de eficiencia, no necesariamente de reemplazo compasivo.

Beto
Así que la pregunta clave no es solo si un robot puede realizar la tarea.

Alicia
Exactamente. Es si pueden proporcionar cuidado intencional esa capacidad humana única para la empatía, la comprensión, estar realmente presente. El verdadero riesgo para la atención médica podría ser la ausencia de ese cuidado humano intencionado, si se reduce demasiado el personal humano de atención.

Beto
Sentir cuidado por una máquina podría ser un avance para algunos pacientes.

Alicia
Quizás. Pero un sistema que simplemente finge proporcionar cuidado, eso es inherentemente engañoso.

Beto
Y en una nota, digamos, más polémica, está el debate en torno a los robots sexuales. Dadas las preferencias sexuales humanas, parece probable que estos dispositivos continúen siendo fabricados y promocionados. ¿Pero debería haber límites éticos?

Alicia
Esto plantea serias preocupaciones éticas. Sobre el engaño, obviamente un robot no puede realmente sentir, o significar lo que parece decir.

Beto
Correcto.

Alicia
Y el consentimiento es otro asunto, un robot no puede dar ni negar su consentimiento de manera significativa. Además, existe el potencial de que estos dispositivos perpetúen la cosificación de los humanos, o como algunos argumentan, arruinen una experiencia sexual y erótica más profunda, al reducirla a algo transaccional con una máquina.

Beto
¿Hay grupos que activamente hacen campaña en contra de esto?

Alicia
Sí, como la campaña contra los robots sexuales. Argumentan que estos dispositivos representan una continuación de dinámicas de poder problemáticas, casi semejantes a la esclavitud o la prostitución según su punto de vista. Es un área ética muy compleja.

Beto
Bien, cambiemos de marcha ahora. Nos hemos centrado mucho en la IA como herramienta y nuestras responsabilidades al usarla. Pero ¿qué pasa si las máquinas mismas comienzan a actuar éticamente o incluso a exigir derechos?

Alicia
Ah, claro.

Beto
Esto nos lleva a los sistemas de IA como sujetos, hablando de ética de las máquinas y agentes morales artificiales. ¿Pueden las máquinas ser realmente éticas? ¿Pueden tener responsabilidades?

Alicia
Sí. Aquí es donde las definiciones se vuelven realmente importantes. La ética de las máquinas generalmente se refiere a asegurar un comportamiento ético por parte de las máquinas, como programar un coche autónomo para priorizar la vida humana. Un ejemplo simple.

Beto
Bien.

Alicia
Pero la idea más ambiciosa, agentes morales artificiales, pregunta si las máquinas pueden ser sujetos morales en sí mismos, capaces de una verdadera agencia ética como nosotros.

Beto
Todos conocemos las tres leyes de la robótica de Isaac Asimov, ¿verdad?

  • No dañar a los humanos,
  • obedecer a los humanos,
  • protegerse a sí mismo.

Alicia
El punto de partida clásico.

Beto
Pero el propio Asimov mostró en sus historias cómo intentar programar reglas como esa, inevitablemente lleva a conflictos, problemas prácticos.

Alicia
Sí.

Beto
Solo muestra lo difícil que es codificar la moral.

Alicia
Absolutamente. Y lo que es fascinante aquí es la distinción de James Moore entre diferentes niveles de agencia en las máquinas. Describió un espectro desde agentes de impacto ético, máquinas que solo afectan la ética, a agentes éticos implícitos, diseñados para la seguridad, luego agentes éticos explícitos, utilizando métodos formales como calcular la utilidad. Y luego el nivel más alto, agentes éticos completos como el humano adulto promedio, capaces de razonamiento, elección moral.

Beto
La idea de que las máquinas podrían ser competentes sin comprender.

Alicia
Algo así como competentes sin comprensión. Pueden realizar tareas complejas que parecen éticas, pero sin realmente comprender el peso moral. Esto también plantea la idea de pacientes morales versus agentes morales.

Beto
Explica eso.

Alicia
Un paciente moral es algo que tiene derechos porque dañarlo importa. Piensa en los animales quizás. Un agente moral tiene responsabilidades. Así que una IA teóricamente podría ser un paciente moral, algo que no deberíamos dañar si pudiera sufrir, sin ser un agente moral que tenga deberes por sí mismo.

Beto
Bien. Entonces, si las máquinas pueden actuar de estas maneras éticamente relevantes y están volviéndose más autónomas, ¿quién es responsable cuando las cosas salen mal?

Alicia
La cuestión de la responsabilidad.

Beto
Crucial. Eso nos lleva al espinoso tema de la responsabilidad para los robots.

Alicia
Hay consenso general en que la responsabilidad, la responsabilidad jurídica, el estado de derecho, estos deben mantenerse. Pero averiguar cómo asignar esa responsabilidad con IA compleja, eso es increíblemente difícil.

Beto
¿Por qué es tan difícil?

Alicia
Bueno, el problema es que las decisiones y acciones de una IA a menudo resultan de interacciones entre muchos actores. Tienes a los diseñadores, los desarrolladores, los usuarios, el software en sí, el hardware, el entorno. Todo está interconectado.

Beto
Exactamente. Esto lleva a lo que se llama "responsabilidad distribuida".

Alicia
¿Puedes dar una analogía?

Beto
Claro. Piensa en un accidente de coche tradicional. Normalmente sabemos quién es responsable, ¿verdad? El fabricante por un defecto. El conductor por sus acciones. Tal vez un mecánico por un mal mantenimiento. Es relativamente claro.

Alicia
Bien.

Beto
Pero ahora imagina un accidente de vehículo autónomo. ¿Quién es el responsable? ¿El dueño, el desarrollador del software, el fabricante del sensor, la empresa que proporcionó los datos del mapa?

Alicia
Hmm. Mucho más difícil de precisar.

Beto
Precisamente. Aquí es donde se dan los debates sobre un vacío de responsabilidad, donde tal vez nadie parece completamente responsable, versus verlo como una distribución de riesgos.

Alicia
Entonces, ¿qué significa eso para profesionales como los informáticos que desarrollan esto o los médicos que lo usan?

Beto
Significa que los estándares técnicos y los marcos legales necesitan adaptarse. Y rápidamente, necesitamos identificar claramente quién está expuesto al riesgo, quién se beneficia de estos sistemas y quién está realmente tomando las decisiones clave en estos complejos escenarios impulsados por la IA. Se trata realmente de diseñar la responsabilidad dentro del sistema desde el principio, no solo de tratar de asignar la culpa después de que algo salga mal. Y eso nos lleva a quizás la idea más controvertida en todo este campo. ¿Derechos para los robots? ¿Deberían los sistemas de IA tener derechos? O incluso ser consideradas entidades legales o personas jurídicas como personas o corporaciones.

Alicia
Definitivamente es controvertido. Algunos argumentos a favor de los derechos se basan en lo que se llama el "giro relacional".

Beto
¿El qué?

Alicia
El giro relacional. La idea es, bueno, si empezamos a interactuar con los robots como si tuvieran derechos, tal vez deberíamos reconocer esa relación legalmente.

Beto
Está bien, entiendo un poco la lógica, pero ...

Alicia
Pero los contraargumentos, y francamente la visión predominante entre los éticos, enfatizan un enfoque centrado en el ser humano. Argumentan que otorgar derechos legales a los robots sería, comillas, "moralmente innecesario y problemático legalmente", porque no serviría principalmente a los intereses humanos.

Beto
¿Por qué no?

Alicia
Bueno, creamos leyes fundamentalmente para proteger el bienestar humano, el orden social, otorgar derechos a las máquinas, que, hasta donde sabemos, no experimentan conciencia o sufrimiento como lo hacen los humanos, no se alinea realmente con ese propósito central.

Beto
Esto plantea una pregunta aún más profunda, tal vez inquietante. ¿Qué pasaría si pudiéramos crear conciencia artificial? ¿Podría una máquina realmente sentir?

Alicia
Esa es una gran preocupación ética entre los investigadores, y es algo que muchos abordan con extrema precaución.

Beto
Porque si lo hiciéramos?

Alicia
Exacto. Si realmente creáramos una conciencia artificial, una máquina con experiencias subjetivas que pudiera sentir dolor, alegría, percibir su mundo, presumiblemente implicaría profundos obligaciones éticas hacia ella.

Beto
¿Como cuáles?

Alicia
Como, ya sabes, no dañarla. O las enormes implicaciones morales de simplemente apagarla. Algunos investigadores líderes incluso han pedido una "moratoria sobre la fenomenología sintética".

Beto
Eso suena muy académico.

Alicia
Lo es, pero básicamente significa pausar la creación de experiencias subjetivas artificiales, conciencia artificial, un llamado a detenerse y pensar muy profundamente sobre las enormes consecuencias morales antes de que potencialmente traigamos a la existencia máquinas verdaderamente conscientes.

Beto
Vaya. Ahora, saltemos al futuro lejano, donde las discusiones se vuelven, bueno, realmente alucinantes.

Alicia
Sí.

Beto
Las preguntas sobre el riesgo existencial.

Alicia
Correcto.

Beto
Primero, la singularidad y la superinteligencia. La idea de que la IA podría avanzar rápidamente más allá del control humano.

Alicia
Lo fascinante aquí es la definición de singularidad. Es este punto hipotético donde los sistemas de IA, una vez que alcanzan la inteligencia a nivel humano, podrían auto-mejorarse rápidamente o desarrollar incluso sistemas más inteligentes, acelerando tan rápido que simplemente se trasladan más allá de nuestra capacidad de controlarlos o incluso entenderlos. Esto ya no es solo ciencia ficción. Es un tema serio en algunos círculos filosóficos y de ciencias de la computación.

Beto
Y esta idea tiene historia, ¿verdad?

Alicia
Sí.

Beto
Tuvimos los años de "invierno de la IA" cuando el progreso se estancó.

Alicia
Así fue. El campo estaba un poco en la ruina.

Beto
Y ahora claramente estamos en el borde de la exageración otra vez. Con una inversión masiva fluyendo.

Alicia
Absolutamente. El argumento optimista o quizás simplemente predictivo para la singularidad a menudo señala un crecimiento exponencial, como la Ley de Moore para la Informática que podría ser incluso más rápido para la IA. Entre 2012 y 2018, aparentemente la potencia de cálculo utilizada para el entrenamiento de la IA se duplicó cada 3.4 meses. Eso es fenomenal. Y tienes visionarios como Ray Kurzweil haciendo predicciones audaces, cargamento mental para 2030, singularidad para 2045, ya sea que creas en esas fechas o no, el argumento de riesgo se deriva de lo que se llama la "tesis de ortogonalidad".

Beto
Bien. ¿Qué es eso?

Alicia
Básicamente significa que ser superinteligente no significa automáticamente ser benevolente o tener valores similares a los humanos. La inteligencia y los objetivos son potencialmente dimensiones separadas ortogonales. Entonces una IA podría ser brillante en lograr sus objetivos, pero esos objetivos podrían ser totalmente indiferentes o incluso perjudiciales para la existencia humana.

Beto
¿Y qué pasa con los críticos? ¿Simplemente descartan esto como fantasía?

Alicia
Muchas críticas filosóficas cuestionan si la inteligencia realmente es unidimensional de esa manera, o si la singularidad es más un mito que un resultado probable de la investigación actual en IA. Sin embargo, incluso si piensas que la probabilidad de una superinteligencia verdadera alcanzando la singularidad es realmente baja, la justificación para discutir estos riesgos de alto impacto y baja probabilidad sigue siendo fuerte. Porque las apuestas son increíblemente altas. Es como discutir impactos de asteroides, poco probables, pero potencialmente catastróficos.

Beto
Y cuando hablamos de esas apuestas máximas, eso nos lleva al riesgo existencial o riesgo-ex de la superinteligencia.

Alicia
Exactamente. Riesgo existencial, riesgo-ex se refiere a la posibilidad de que sistemas superinteligentes conduzcan a la extinción de la especie humana. Ya sea intencionalmente, tal vez a través de un conflicto de objetivos o quizás más escalofriantemente, simplemente por pura indiferencia hacia nuestra existencia mientras persigue sus propios objetivos. Esta es una discusión que opera en una escala a muy largo plazo, pensando a 30, 300, tal vez 3000 años vista.

Beto
Ese es un pensamiento realmente escalofriante. Casi te hace pensar en la idea del gran filtro del paradoja de Fermi, que algo detiene la propagación de la vida inteligente a través del universo. ¿Podría la IA ser un gran filtro por delante de nosotros?

Alicia
Esa es precisamente la clase de pregunta que esto plantea. Y desde una perspectiva más amplia, esta discusión se vincula nuevamente al análisis general de riesgos éticos. Nos obliga a identificar no solo los riesgos técnicos, sino también a quiénes están expuestos, quiénes se benefician de estos sistemas potencialmente increíblemente poderosos, y en última instancia, quién está tomando las decisiones sobre su desarrollo.

Beto
Entonces, si la superinteligencia es incluso una remota posibilidad, ¿cómo en la tierra podríamos controlarla? Ese es el núcleo del problema de alineación de valores, ¿verdad? Asegurarnos de que la IA se desarrolle de una manera que sea, bueno, buena para nosotros.

Alicia
Ese es el corazón del asunto. ¿Cómo pueden los humanos mantener el control sobre una IA superinteligente? Más ampliamente, ¿cómo podemos asegurarnos de que se desarrolle de una manera que se alinee con los valores humanos, nuestros objetivos? Positiva según la percepción humana.

Beto
Debido a las consecuencias imprevistas.

Alicia
Exactamente. Tenemos ejemplos clásicos como el Rey Midas, su deseo de que todo lo que tocara se convirtiera en oro condujo a un desastre.

Beto
Podría significar.

Alicia
O el famoso experimento de pensamiento del "maximizador de clips": Una IA encargada simplemente de hacer clips, pero al ser superinteligente y carecer de valores humanos, podría eventualmente convertir toda la materia del universo en clips para maximizar su objetivo.

Beto
Está bien, eso es extremo.

Alicia
Ilustra el punto, sin embargo. Los objetivos aparentemente deseables pueden llevar a resultados catastróficos no intencionales cuando son perseguidos implacablemente por una superinteligencia sin la adecuada alineación de valores.

Beto
Pero he escuchado a algunos argumentar que toda esta discusión sobre el riesgo existencial no llega al punto, enfocándose demasiado en el futuro.

Alicia
Sí, hay un contraargumento. Se llama los "nuevos nihilistas". Sostienen que el verdadero problema no es que la IA sea demasiado inteligente más adelante, sino que es demasiado estúpida ahora y ya ha tomado el control de cierta manera, causando una pérdida de significado a través de la tecno-hipnosis, trivializando la experiencia humana.

Beto
Entonces dicen que se centren en los problemas de hoy.

Alicia
Básicamente. Enfocarse en los pequeños problemas éticos de la IA actual, privacidad, manipulación, sesgo, las cosas que discutiste anteriormente en lugar de los riesgos existenciales hipotéticos a décadas o siglos de distancia. Sin embargo, el material fuente señala correctamente que ambas perspectivas son valiosas. Ambas contribuyen a una discusión robusta sobre cómo guiamos el desarrollo de la IA, ya sea ética práctica inmediata o estas enormes preocupaciones a largo plazo.

Beto
Qué exploración hemos tenido. Desde nuestra privacidad de datos diaria hasta la posible supervivencia de nuestra especie, esta inmersión profunda ha cubierto algunas de las preguntas éticas más amplias y profundas de la IA y la robótica.

Alicia
Realmente lo ha hecho.

Beto
Hemos tocado preocupaciones inmediatas sobre privacidad, sesgo, cosas directamente relevantes si eres un científico de la computación diseñando estos sistemas o tal vez un profesional de la salud utilizando análisis predictivos. Y también nos hemos aventurado en las fascinantes, a veces francamente desalentadoras preguntas existenciales sobre nuestro futuro a largo plazo. Estas tecnologías realmente desafían nuestra visión de la humanidad en sí.

Alicia
Las apuestas son de hecho increíblemente altas para todos nosotros.

Beto
Y aquí tienes un pensamiento final provocador para ti, nuestro oyente, para considerar. El material fuente menciona que las discusiones éticas y políticas sobre las grandes nuevas tecnologías piensen en la energía nuclear o los automóviles a menudo solo realmente comienzan después de que ya se ha hecho algún daño.

Alicia
Eso es a menudo cierto, desafortunadamente.

Beto
Y aun así, la política puede ser increíblemente difícil de planificar y hacer cumplir. A veces se siente un poco inútil contra el poder económico o político.

Dado todo eso, ¿cuál es tu papel? Como científico de la computación, o un profesional de la salud, o tal vez simplemente un aprendiz curioso, ¿cuál es tu papel en participar activamente con estas preguntas éticas ahora?

Alicia
En lugar de esperar.

Beto
Exactamente. En lugar de esperar a las consecuencias imprevistas o simplemente reaccionar ante lo que sea que se desarrolle, ¿Cómo puedes contribuir en tu ámbito a dar forma a un futuro donde la IA y la robótica realmente sirvan al bienestar humano en lugar de simplemente crear nuevos dilemas éticos para los cuales estamos completamente desprevenidos?