Entender Deep Learning a través de la generación de imágenes.

Las imágenes 1 y 6 son sintéticas: generadas por IA a partir de una serie temporal de imágenes.

Las 2, 3, 4 y 5 son creaciones humanas. Mías, para ser más preciso. Las dibujo en una app "Paper" (originalmente de FiftyThree, ahora de WeTransfer) con los dedos sobre la pantalla. Primero generé la imagen 2 y así sucesivamente. Humano y tiempo de relajación.

Compartí con la IA una serie de piezas con un estilo y una estética similar, y dejé que OpenAI generara lo que hipotéticamente habría sido la primera de la serie y la siguiente.

Los humanos interpretaríamos lógica compositiva, lógica cromática, lógica espacial. Para la IA es un juego de atributos, iteraciones y distancia probabilística. Y aun así, el resultado es sencillamente maravilloso.

𝙏é𝙘𝙣𝙞𝙘𝙖𝙢𝙚𝙣𝙩𝙚: 𝚎𝚕 𝚖𝚘𝚍𝚎𝚕𝚘 𝚌𝚘𝚍𝚒𝚏𝚒𝚌𝚊 𝚌𝚊𝚍𝚊 𝚒𝚖𝚊𝚐𝚎𝚗 𝚎𝚗 𝚞𝚗 𝚎𝚜𝚙𝚊𝚌𝚒𝚘 𝚕𝚊𝚝𝚎𝚗𝚝𝚎 𝚍𝚎 𝚊𝚕𝚝𝚊 𝚍𝚒𝚖𝚎𝚗𝚜𝚒ó𝚗, 𝚍𝚘𝚗𝚍𝚎 𝚎𝚕 "𝚎𝚜𝚝𝚒𝚕𝚘" 𝚜𝚎 𝚛𝚎𝚙𝚛𝚎𝚜𝚎𝚗𝚝𝚊 𝚌𝚘𝚖𝚘 𝚞𝚗 𝚟𝚎𝚌𝚝𝚘𝚛. 𝙿𝚛𝚘𝚖𝚎𝚍𝚒𝚊 𝚎𝚜𝚘𝚜 𝚟𝚎𝚌𝚝𝚘𝚛𝚎𝚜 𝚙𝚊𝚛𝚊 𝚒𝚗𝚏𝚎𝚛𝚒𝚛 𝚕𝚊 𝚍𝚒𝚛𝚎𝚌𝚌𝚒ó𝚗 𝚍𝚎 𝚕𝚊 𝚜𝚎𝚛𝚒𝚎 𝚢, 𝚖𝚎𝚍𝚒𝚊𝚗𝚝𝚎 𝚍𝚒𝚏𝚞𝚜𝚒ó𝚗 𝚒𝚗𝚟𝚎𝚛𝚜𝚊, 𝚙𝚊𝚛𝚝𝚎 𝚍𝚎 𝚛𝚞𝚒𝚍𝚘 𝚢 𝚕𝚘 𝚟𝚊 𝚍𝚎𝚗𝚘𝚒𝚜𝚒𝚗𝚐 (𝚛𝚎𝚍𝚞𝚌𝚒𝚎𝚗𝚍𝚘 𝚎𝚕 𝚛𝚞𝚒𝚍𝚘) 𝚑𝚊𝚜𝚝𝚊 𝚖𝚊𝚝𝚎𝚛𝚒𝚊𝚕𝚒𝚣𝚊𝚛 𝚞𝚗𝚊 𝚙𝚒𝚎𝚣𝚊 𝚌𝚘𝚑𝚎𝚛𝚎𝚗𝚝𝚎 𝚌𝚘𝚗 𝚎𝚜𝚊 𝚝𝚛𝚊𝚢𝚎𝚌𝚝𝚘𝚛𝚒𝚊 𝚎𝚜𝚝𝚒𝚕í𝚜𝚝𝚒𝚌𝚊. 𝙽𝚘 𝚌𝚘𝚙𝚒𝚊: 𝚒𝚗𝚝𝚎𝚛𝚙𝚘𝚕𝚊.

En otras palabras, el modelo codifica las imágenes en un espacio latente o un mapa matemático de miles de dimensiones donde las características visuales se representan como vectores semánticos. Al promediar estos vectores, la IA identifica la trayectoria estilística de la serie. No copia imágenes: interpola valores.

Y mientras tanto, yo no pierdo mi capacidad de asombro con los matices, y con cómo una IA es capaz de generar la primera y la sexta de una serie humana de cuatro imágenes.

Imágenes 1, 2, 3 y 4. Creaciones humanas

Espacio Latente: Mapeando matemáticamente la creatividad

Imagina que tuvieras que describir cada uno de tus dibujos con, digamos, 512 deslizadores. Uno controla "cuán circular vs. orgánico es", otro "saturación cromática", otro "densidad de capas concéntricas", otro "presencia de azul marino"… y así hasta 512. Ningún deslizador tiene un nombre que un humano reconocería —son dimensiones que el modelo algorítmico ha descubierto solo (deep learning) durante el entrenamiento—, pero entre todos capturan la esencia de cualquier imagen.

Ese espacio de 512 dimensiones es el espacio latente. El número, en realidad, es bastante mayor: en modelos como Stable Diffusion, el espacio donde ocurre la generación tiene unas 16.000 dimensiones, y los espacios semánticos asociados —los que codifican "estilo" o "concepto"— rondan las 768 o 1.024.

El universo observable contiene unos 10⁸⁰ átomos. Ya con solo 512 deslizadores binarios, el espacio latente tiene más combinaciones posibles que átomos hay en el universo, elevado a casi el doble.

En modelos cerrados de mayor tamaño, las cifras suben a varios miles. La idea de "512 deslizadores" es una simplificación pedagógica. Lo importante es retener que hablamos de miles de ejes, no de centenas, y que cada uno es una dimensión aprendida automáticamente, sin nombre humano. Inferencias.

Cada imagen del mundo es un punto ahí dentro. Imágenes parecidas viven cerca; imágenes radicalmente distintas, lejos.

Lo poderoso del espacio latente es que en él puedes hacer aritmética con significado. El ejemplo clásico de los embeddings de palabras: rey − hombre + mujer ≈ reina. En imágenes funciona igual: retrato sonriendo − retrato neutro = "vector de sonrisa", que luego puedes sumar a cualquier otro retrato para hacerle sonreír.

Los seis dibujos son seis puntos en ese espacio. Forman una pequeña nube. La IA puede calcular el centro de esa nube (el "estilo promedio"), su dirección dominante (hacia dónde evoluciona la serie), o un punto interpolado entre dos cualesquiera. Eso es lo que hace para inferir "la primera" (imagen 1) y "la siguiente" (imagen 6): localiza una posición plausible dentro de tu nube estilística. No busca el punto exacto, sino que muestrea una posición plausible. Por eso, si le pidiéramos generar "la séptima imagen" diez veces, nos daría diez imágenes distintas, todas coherentes con mi estilo. Es un proceso estocástico, no determinista. ¿Encaja ahora el concepto de modelos no deterministas?

El espacio latente es un mapa comprimido del mundo visual donde la geometría significa algo. Movernos en una dirección equivale a transformar la imagen de una manera coherente.

Imagen 1 e imagen 6 en la serie

Difusión: Estabilizando la creación a partir del ruido

La difusión es el mecanismo de generación. Y su lógica es contraintuitiva pero hermosa.

Durante el entrenamiento, la IA hace lo opuesto a generar. Coge una imagen real y le añade ruido gaussiano poco a poco, paso a paso, hasta convertirla en estática pura —ese ruido blanco de televisor mal sintonizado—. Y en cada paso, aprende a predecir qué ruido se acaba de añadir. Repite esto millones de veces con millones de imágenes. Aprende a destruir imágenes de forma controlada. Aprende a distinguir qué sobra para que una imagen vuelva a tener sentido.

Cuando llega el momento de generar, la IA invierte el proceso. Parte de ruido puro —literalmente valores aleatorios extraídos de una campana de Gauss— y, paso a paso, resta el ruido que "ella" misma predice. poco a poco va limpiando ese ruido. En cada paso elimina una parte de lo que sobra hasta que empieza a aparecer una imagen coherente. En cada iteración la imagen está un poco menos sucia, un poco más definida. Tras cincuenta o cien pasos, emerge una imagen coherente desde el caos. Y todo esto ocurre en segundos, quizás minutos.

Un matiz técnico, el ruido del que se parte no vive en el espacio semántico —el de "estilo, concepto, composición"—, sino en el espacio latente del autoencoder, una representación comprimida de la imagen. El espacio semántico actúa de forma distinta: como un vector de condición que guía el proceso. En cada uno de los ~50 pasos, el modelo recibe dos entradas —el ruido actual y esa condición— y predice qué porción del ruido sobra para acercarse a una imagen coherente con el estilo pedido. El ruido aleatorio es la materia prima; el embedding de tu serie es el campo de fuerzas que la esculpe.

La metáfora más precisa que podemos utilizar es la del escultor Miguel Ángel. Decía Michelangelo di Lodovico Buonarroti Simoni que el David ya estaba dentro del bloque de mármol, y él solo retiraba lo que sobraba.

La difusión es exactamente eso. La imagen ya está latente en el ruido.

El modelo solo retira, paso a paso, lo que no pertenece. Con un añadido que Miguel Ángel no tenía: el "David" que emerge depende de qué condición estilística se le susurre al cincel en cada golpe.

Hoy en día el cincel o el pincel pueden ser físicos o semánticos. Partir de palabras o de imágenes o de audio o de texto, etc. El cincel o el pincel son la variable. Y también pueden ser una constante. La creatividad sigue existiendo. Y lo que llamamos arte es una consideración emocional.

¿Son arte las imágenes 1 y 6?