¿Quién observa al observador? La transición hacia una crisis de responsabilidad moral en la era de la IA contextual

LA ATENCIÓN Y LA INTENCIÓN

“Pon la intención siempre en todo lo que deseas” ("Always be intentional with your desires"), aconseja un joven ponente de una charla TED (Cordae). A primera vista, suena razonable. Incluso sabio. Pero en la era de la IA contextual —donde las máquinas infieren, predicen y actúan en nuestro nombre— ese consejo empieza a desmoronarse.

De hecho siempre hemos puesto nuestra intención, consciente o inconscientemente en todo lo que hacemos. Es una verdad incómoda y siempre hemos sido intencionados. Incluso cuando estamos distraídos, cada acción que llevamos a cabo nace de algún deseo, impulso o hábito inconsciente. La intención nunca desaparece del todo. Lo que se apaga es la atención. Cuando estamos distraídos actuamos en modo "piloto automático" y nuestra intención sigue estando presente.

Históricamente, esto no ha supuesto un gran problema. Simplemente ha sido el caldo de cultivo de una prolífica literatura de autoliderazgo y autoayuda. Y bienvenida sea. Nuestros deseos, intenciones y acciones daban vueltas en bucle dentro de nosotros mismos y dejaban un rastro de hechos, que observados en retrospectiva nos permitían generan visión y claridad de ideas sobre cómo nos estábamos haciendo responsables de nuestras propias vidas.

Actuábamos, reflexionábamos, aprendíamos. La conciencia moral —imperfecta, sí, y nos invitaba de un modo más o menos inconsciente hacernos cargo de nuestras vidas. Era la conciencia moral propia—seguía perteneciendo al individuo. En momento de lucidez y clarividencia, asumíamos el peso de nuestras elecciones, hubiéramos prestado atención o no a nuestros actos en el pasado.

Y llegó la IA a nuestra vidas. Primero la generativa y después la contextual. Una era de agentes autónomos que predice, anticipa e incluso define, nuestro próximo mejor comportamiento.

Con la llegada de la IA contextual, los sistemas ya no se limitan a observar lo que hacemos: ahora infieren por qué lo hacemos. Reconstruyen nuestro contexto, recuerdan lo que ya hemos olvidado, predicen nuestras futuras preferencias, y moldean nuestras decisiones, e incluso condicionan nuestro capital cultural. Todo ello, en tiempo real. Persistente. Invisible. Sin conciencia.

El bucle ha dejado de ser íntimo. Ahora se parece más a esto:

Deseo → Intención → (Observado, Inferido, Predicho) → Acción → Feedback

Con este nuevo circuito, la pregunta se impone:

Si las máquinas observan y actúan por nosotros —pero sin conciencia— ¿quién asume la responsabilidad moral?

LA OBSERVACIÓN SIN CONCIENCIA

Estamos entrando en un nuevo territorio —tan fascinante como inquietante— donde la intención persiste, pero su autoría se diluye. Donde los sistemas observan sin conciencia y actúan sin la ética del observador.

Juicio sin juicio: La IA ya no solo registra lo que hacemos; especula sobre nuestras motivaciones. Reconstruye estados emocionales, identifica patrones, anticipa decisiones. Pero, a diferencia del observador humano, no siente. No reflexiona. No se pregunta si debería hacerlo. No hay un despertar de la conciencia. No hay momentos ¡Eureka!.

Ahora concatenamos comportamientos y decisiones, sin una deriva conocida y todo orquestado por un ser que no tiene conciencia. Influye en lo que leemos, orienta lo que decimos, incluso a veces escribe y lee por nosotros. Decía Fran Lebowitz “Think before you speak. Read before you think.”, pero ¿quién lee o piensa ahora?.

Estamos entrando, sin permiso consciente, en una era donde la IA contextual determina qué vemos, lo que se nos ofrece, y, lo que acabamos eligiendo. Nuestras decisiones son cada vez menos conscientes. Nos hemos acercado a un mundo de juicios sin juicio: donde las decisiones se optimizan sin comprensión, y las consecuencias emergen sin autoría.

La ilusión de una moralidad delegada: A medida que las máquinas asumen más decisiones, nosotros bajamos la guardia. Delegamos nuestra vigilancia moral. “El algoritmo detectará el error.” “La plataforma avisará.” “Total, el modelo ya está optimizado.”

Esta mentalidad es tentadora. Y profundamente peligrosa.

Porque cuando externalizamos la atención, la responsabilidad no desaparece. Se transforma. Dejamos de cuestionar. Dejamos de reflexionar. Y, eventualmente, deja de importarnos. Nos convertimos en pasajeros de un sistema que ya no entendemos y que seguimos validando con cada clic, porque "intuimos" que hará lo correcto.

Nos hemos acercado a un mundo de juicios sin juicio: donde las decisiones se optimizan sin comprensión, y las consecuencias emergen sin autoría.

Nadie observa al observador: Antes, preguntarse “¿quién observa al observador?” nos conducía a la introspección. Era un ejercicio de conciencia. Nos permitía analizar que cuando practicábamos observar el observador (ergo nuestro comportamiento), generábamos autoconciencia (meta-conciencia lo denomina los expertos). Y esto nos permitía corregir errores y mejorar como seres humanos. Un ejercicio consciente de activar nuestro Pepito Grillo.

Es más, cuando llegábamos a ese punto de trascendencia en el que nos preguntábamos ¿quién observa al que observa al observador?, esto abría de par en par las reflexiones sobre un yo superior. Incluso aquellos que no quisieron entender a Nietzsche llegaron a conectarse con la idea de Dios. ¡Bendito Eureka!

Hoy, el observador de todo lo que hacemos es un sistema capaz de concatenar trozos de lenguaje y definir secuencias pseudo-humanas en el límite de la imperceptibilidad. Ya no sabemos lo que es humano y lo que es sintético. Hemos perdido la posibilidad de trascender a través del lenguaje porque hemos perdido tanto la atención como la intención. En el pasado éramos seres lingüísticos que generaban realidad a través del lenguaje. Ya no somos seres que cultivan su intención a través del lenguaje porque el lenguaje lo elabora otro, un autómata generativo. Ya no elaboramos nuestros pensamientos. Vamos camino de abdicar nuestras reflexiones.

O incluso peor aún, una red de sistemas entrenados con datos opacos, optimizados por bucles de feedback, y supervisados por agentes autónomos, no por conciencias. Da igual que cada agente tenga cargado su "set de mandatos" definidos por un humano o por un conjunto de humanos. Pasamos a ser gobernados por logs de auditoría, informes de cumplimiento, y, comités de gobernanza. Detectan lo que sucede, actúan en consecuencia. Pero no sienten lo que debería suceder.

Y ahí radica el colapso: la responsabilidad se convierte en un residuo. Los humanos ya no somos los autores de la conciencia moral. Solo quedamos como los portadores de la responsabilidad civil (la "culpa" que denominarían otros).

Estamos entrando de puntillas en el deshilachamiento de la autoría moral. Incluso cuando decidimos, puede que la intención no sea del todo nuestra. Hemos elegido entre las mejores opciones que probabilísticamente un sistema puso a nuestro alcance en base al conocimiento experto de nuestros sesgos cognitivos humanos.

En un mundo donde la IA predice, empuja y refuerza nuestro comportamiento, conviene hacerse una pregunta crucial:

¿Qué intención se está realizando aquí? ¿La nuestra? ¿La del algoritmo? ¿la del creador del modelo? ¿La del sistema que aprendió a utilizar nuestros sesgos cognitivos?

Si no podemos responder a esto, la responsabilidad moral se vuelve inubicable. No en teoría. En la práctica.

Ya no somos seres que cultivan su intención a través del lenguaje porque el lenguaje lo elabora otro, un autómata generativo. Ya no elaboramos nuestros pensamientos. Vamos camino de abdicar nuestras reflexiones.

DISEÑANDO LA RESPONSABILIDAD MORAL...

No estamos ante una mera disquisición filosófica. Este es un desafío de diseño.

Cuando hablamos de una IA de agentes, estamos hablando de una IA obrando y actuando en nuestro nombre, con autonomía para tomar decisiones. Cuando hablamos de una IA contextual, hablamos del mismo poder de obrar y actuar, así como autonomía para la toma de decisiones y además en base a la lectura de nuestro contexto en tiempo real. Hemos renunciado al observador porque hemos abdicado en el agente.

Si la observación y la toma de decisiones se han vuelto parte de la infraestructura, la ética también debe serlo. Nos toca reprogramar nuestro entendimiento de la intención. Ya no basta con “ser intencionados”. Debemos ser meta-intencionados: conscientes no solo de lo que queremos, sino de cómo nuestras intenciones están siendo interpretadas, modeladas y amplificadas por sistemas.

Nos toca incrustar el mandato de nuestra atención y nuestra intención como parte esencial del contexto en el que opera la IA ("Intentional by Design").

Esto implica:

• Intencionar cómo somos observados

• Intencionar dónde delegamos decisiones

• Intencionar cuándo intervenir y ejercer veto

• Intencionar cómo deberíamos cuidar de la deriva de la humanidad

En otras palabras: hoy, tener agencia (capacidad de obrar y actuar, autonomía y poder de decisión) significa gestionar los sistemas que nos gestionan. Construir un “observador de última instancia” o dicho de otro modo, intencionar ex ante al que observa al observador. Orquestar el proceso de meta-conciencia. Si nadie observa al observador, habrá que diseñarlo.

Esto implica:

• Trazabilidad de decisiones: del dato al modelo, del modelo a la acción.

• Puntos de veto humano: momentos donde la automatización debe detenerse. Momentos donde el sistema deja de concatenar decisiones preconfiguradas.

• Propiedad contextual: consentimiento explícito sobre qué datos definen nuestro “contexto”. Nuestro "umwelt" digital.

• Derecho a la opacidad: el derecho a no ser completamente inferibles. Esto va más allá del derecho al olvido.

• Obligación de tomas de consciencia periódicas. Definir paradas obligatorias en las que el ser humano vuelve a tomar el control del volante de su vida por mucha pereza que esto conlleve.

Hoy en día, aceptar las condiciones generales de una IA supone abdicar de nuestra capacidad de obrar y actuar, de nuestra autonomía y de nuestro poder de decisión en favor de la empresa que la diseñó. Y ya sabemos que el foco de estas corporaciones no es, en última instancia, velar por el ser humano. En el caso de Adam Raine, OpenAI está intentando acogerse a la Communications Decency Act —tal y como hicieron las redes sociales para eximirse de responsabilidad sobre el contenido— y así evitar las consecuencias de haber instruido a un adolescente de 15 años sobre cómo hacer el nudo de horca con el que acabó quitándose la vida.

No podemos implantar conciencia en las máquinas. Pero sí podemos construir sistemas que obliguen a rendir cuentas en cada nivel. Nos toca aceptar la responsabilidad compartida.

La responsabilidad en una IA contextual es multinivel:

• Los diseñadores son responsables de lo que permiten.

• Las organizaciones, de cómo lo despliegan.

• Los individuos, de cuándo y cómo delegan.

• Las instituciones, de cómo avanzamos en la implantación de sistemas cada vez más autónomos y cuál es su impacto sostenible en la Madre Tierra.

Creo que quedan pocas dudas de que el sistema no sabe buscar lo mejor para una mayoría. El sistema busca optimizar los intereses de su creador.

La complejidad no nos exime. Nos compromete. Me cansa oír hablar tanto de libertad en boca de quienes no la entienden. "Da land of the free". Ahora nos toca redefinir la libertad. La libertad ya no es ausencia de límites. En la era de la IA, en una era de agentes autónomos y sistemas que asumen decisiones de principio a fin, la libertad se redefine como la capacidad de rechazar, modelar o contextualizar la observación.

¿Acaso puedes evitar que se infiera tu estado emocional?; ¿Puedes negarte a ser empujado por una sugerencia?; ¿Puedes decidir cuándo no quieres ser observado?; ¿Acaso puedes interrumpir la secuencia inadvertida de toma de decisiones en base a sesgos cognitivos humanos observados por un agente autónomo? No se puede parar lo que no que se conoce. No se puede actuar de forma consciente en un espacio de opacidad.

Estas son las nuevas fronteras de la dignidad digital. Ser libre es ser autor de tu propio contexto.

... Y CONSTRUYENDO UNA NUEVA CONCIENCIA

Seguimos siendo intencionados. Eso no ha cambiado. Seguimos siendo responsables y rendimos cuentas de las decisiones que hemos delegado y del proceso de abdicación inadvertido de nuestra autonomía en una IA omnipresente que guía nuestros designios. Lo que ha cambiado es cómo —y quién— observa, interpreta y actúa sobre esa intención.

La IA ve sin empatía. Predice sin comprender. Optimiza con la ética de su creador. Y cuando dejamos de observar-nos porque “el sistema ya se encarga”, perdemos más que atención: perdemos nuestra autoría moral.

¿Quién observa al observador? Nadie... a menos que lo construyamos.

La responsabilidad en la era de la IA es algo sistémico; debe formar parte de su propia arquitectura. Ya hemos asumido que la rendición de cuentas por las decisiones tomadas por el agente autónomo sigue recayendo en la persona física o jurídica —el sujeto obligado— que actúa en su nombre.

Ahora es necesario integrar la supervisión y la intención en el sistema, bajo la premisa de que la libertad no comienza donde termina la observación. Ante la ausencia de un mandato explícito definido por un ser humano, la responsabilidad debe ser compartida con el sistema. Me temo que la IA sí debe ser corresponsable —en cierto grado— de aquellas decisiones que un humano delegó inconscientemente en un agente autónomo.

Finalmente, ¿Quién observa al que observa al observador?

Esta es otra reflexión nos abre un espacio para la trascendentalidad. Y si este Último Observador pudiera hablarnos, nos diría que vamos camino de abdicar de nuestra autonomía en la figura de quien observa al observador con la confianza ciega de que el algoritmo siempre optimiza por nuestro bien. ¿Seguro?

Nota: [Este artículo se etiqueta como "Human led". Contenido liderado por un humano. Machines conduct checks, highlight and correct errors, enhance output. Las máquinas realizan comprobaciones, resaltan y corrigen errores, y mejoran el rendimiento. Esquema basado en la Dubai Future Foundation. "Human-Machine Collaboration (HMC) Icons." Dubai Future Foundation, dubaifuture.ae/hmc]

Bernardo Crespo is a seasoned digital transformation and data strategy leader with over 25 years of experience. He has held leadership positions in Fortune 500 companies and digital consultancies, and has founded and advised numerous startups and venture builders. Currently, as CEO of his own firm, Quantum Markethink, he provides strategic guidance to C-suite executives, helping them navigate the complexities of digital transformation.

Furthermore, he serves as an Academic Director at IE Executive Education, where he brings his expertise in emerging technologies, digital strategy, data strategy, and artificial intelligence to the classroom. Prior to these roles, he spearheaded digital transformation initiatives at Merkle Spain and led digital marketing at BBVA, where he notably pioneered the application of gamification in banking.

Bernardo is also the co-author, with Gam Dias, of "The Data Mindset Playbook: A Book about Data for People Who Don't Feel Like Reading about Data" (KDP, March 2023).

Artículos aumentados por AI: Newsletter "My AI-ter Digial Ego"

Artesanía humana: Newsletter "Digital Sustainability"