Human-in-the-loop*! Descodificando el arte a través de algoritmos

Compartir en: linkedin whatsapp
Imagen decorativa de cabeza
Obtenida de: Pixabay

Autora: María del Mar Martín García

*HITL: Rama de la IA en la que la inteligencia humana interviene cuando una máquina de IA tiene dificultad para resolver un problema, creándose un círculo virtuoso en el que se entrena, ajusta y prueba un algoritmo específico.

JUSTIFICACIÓN Y BREVE DESCRIPCIÓN 

La inteligencia artificial (IA) y el arte tienen cada vez más puntos de unión. La IA se utiliza en el ámbito artístico para crear obras de arte, para asistir a los artistas en su proceso creativo, así como para analizar y comprender mejor las obras de arte existentes. Por ejemplo, los algoritmos de reconocimiento de imágenes pueden identificar las características de una pintura, su corriente artística o su época.  

En la presente propuesta se revierte este proceso. Por ello, y tras observar, analizar e investigar varias pinturas, será el alumnado el que proponga a la IA una serie de rasgos distintivos de un estilo artístico determinado con el objetivo de conseguir generar imágenes que representen dicho estilo. 

Así pues, al integrar las artes y el diseño en la tecnología, las disciplinas comúnmente identificadas como STEM (Ciencia, Tecnología, Ingeniería y Matemáticas) se transforman en STEAM, con A de Arte, de este modo que se amplíen las posibilidades de que el alumnado profundice sus conocimientos sobre ellas y las utilice. 

NIVELES Y ETAPA

Cursos 1º, 2º, 3º, 4º de Enseñanza Secundaria Obligatoria. 

ASIGNATURAS 

  • Educación Plástica, Visual y Audiovisual. 
  • Proyecto de Educación Plástica y Audiovisual. 
  • Expresión Artística. 

TEMPORALIZACIÓN 

Tres sesiones de una hora: 

  • Sesión 1. Reconocimiento de imágenes a través del pensamiento computacional. 
  • Sesión 2. Puesta en común y comprobación del modelo de datos o dataset. 
  • Sesión 3. Say what you see! Comandos para IA generativa de imágenes. 

ÁREA DE TRABAJO 

Pensamiento computacional, inteligencia artificial y competencias digitales. 

PUNTO DE PARTIDA 

  • El alumnado debe contar con habilidades básicas en el uso de herramientas informáticas y acceso a internet.  
  • Es conveniente, aunque no imprescindible, que el alumnado tenga conocimientos básicos sobre arte acordes con su nivel, lo que incluye la comprensión de términos como estilo o autor y algunas nociones sobre movimientos artísticos.  

OBJETIVOS  

Objetivos generales 

  • Familiarizar a los y las estudiantes con distintos autores y estilos artísticos. 
  • Desarrollar en el alumnado habilidades en pensamiento computacional. 

Objetivos específicos 

  • Aprender a identificar y diferenciar los distintos estilos artísticos según la forma de trabajar del aprendizaje automático; es decir, a través de la investigación, selección y clasificación de las características de cada estilo. De este modo, se obtendrá un conjunto de datos etiquetados (dataset) que permite al alumnado identificar una nueva imagen de entre varias. 
  • Ejercitarse en el diseño de comandos, entendidos como las instrucciones que permiten comunicarse con un programa basado en la IA. 
  • Saber utilizar herramientas digitales y tecnológicas para crear, de manera efectiva, imágenes completamente nuevas que respondan fielmente a distintos estilos artísticos. Para ello, se emplearán algoritmos de generación de imágenes de la IA basados en el procesamiento del lenguaje natural. 

DESARROLLO DE LA PROPUESTA 

Sesión 1 – Reconocimiento de imágenes a través del pensamiento computacional. 

A partir del recurso Reconocimiento de imágenes utilizando la IA, el cual se toma como modelo, se muestra al alumnado cómo elaborar una estrategia basada en un modelo de datos que permita reconocer una serie de estilos artísticos.  Los estilos artísticos que se van a estudiar se enmarcan en las vanguardias del siglo XX. Las pinturas que pertenecen a cada uno de ellos, aunque no son iguales, poseen una serie de rasgos comunes que hacen que se puedan categorizar dentro de la misma corriente artística. Se enumeran, a continuación, junto con una obra de un/a autor/a representativo/a: 

Fauvismo vs Expresionismo
Cubismo vs Futurismo
Surrealismo vs Art Decó
Arte Pop vs Hiperrealismo

Todas las imágenes anteriores están etiquetadas, es decir, se sabe cuál es su autor y a qué estilo corresponden. En equipos, y utilizando un repositorio de páginas web de referencia, el alumnado deberá investigar las características de cada imagen y cada estilo. Deberá, además, responder a varios criterios que permitan distinguir unas corrientes de otras.  Como ejemplo, vamos a incluir tres criterios: el color, las características de las figuras o formas y la temática. Sin embargo, hay muchos otros criterios que se pueden investigar. Cuantas más características se investiguen y más obras de cada autor se traten en un sistema de reconocimiento de imágenes, mejor será el funcionamiento del modelo de datos. Una posible tarea complementaria que se le puede plantear al alumnado es pensar en otros criterios y construir un conjunto de obras etiquetadas distintas al propuesto. 

Dif. Fauvismo vs Expresionismo
Dif. Cubismo vs Futurismo
Dif Surrealismo vs Art Decó
Dif Arte Pop vs Hiperrealismo

Sesión 2 – Puesta en común y comprobación del modelo de datos o dataset.  

Una vez recabada la información, se realiza una puesta en común a través de una pizarra digital colaborativa, como Miro: Descodificando el Arte 

panel 1

A continuación, se ha de comprobar si el modelo de datos es fiable. Para ello, se puede utilizar alguna de las pinturas que se incluyen a continuación y trabajar con ellas. Se trata de imágenes no etiquetadas, es decir, de las que no tenemos información sobre su autor/a y estilo.  

Se reparten entre los equipos algunas de estas imágenes sin descubrir a qué corriente artística o autor/a pertenecen. Cada equipo, empleando el conjunto de datos etiquetados construido en la puesta en común, tendrá que identificar su estilo artístico y autor. Como hemos visto anteriormente, la forma de proceder es anotar información acerca del color, de las formas y de las temáticas que presenta la imagen no etiquetada. También, será necesario contrastar las características encontradas con la información de cada estilo en el conjunto de datos etiquetados en las diferentes columnas. Dicho de otra manera, a través del modelo de datos construido será posible identificar la imagen no etiquetada cuando las tres características coincidan. 

Veamos algunos ejemplos: 

A continuación, se desvelan las soluciones (pincha el link).

Se recomienda dar libertad al alumnado para proponer las distintas características, aunque las propuestas no den como resultado un conjunto de datos etiquetado válido, ya que cometer errores es natural y resulta positivo en el proceso de comprensión del sistema de datos etiquetados y, en general, para el aprendizaje dentro del marco del pensamiento computacional. 

Sesión 3 – Say what you see! Comandos para IA generativa de imágenes. 

Say what you see! es una página web de la colección de Experimentos de Google en la que el alumnado tendrá la oportunidad de establecer un primer contacto y aprender el arte de redactar comandos con la ayuda de la IA de Google. Se trata de un reto en el que el alumnado pondrá a prueba su capacidad de observación y mejorará sus habilidades al describir imágenes generadas por IA. Las descripciones escritas servirán como comandos para generar otra imagen inspirada en la inicial. Sin embargo, solo se aprueba el experimento si se alcanza el umbral visual establecido para cada nivel, lo que pone a prueba las habilidades de lectura de imágenes. A medida que se avanza, se reciben consejos sobre cómo mejorar las instrucciones. Hay que prestar atención, porque solo se pueden realizar tres intentos para superar cada imagen, y cada nivel se vuelve un poco más difícil.  

En la segunda parte de la sesión, el alumnado tendrá que generar, mediante IA, una imagen que posea y replique lo más fielmente posible las características de uno de los periodos artísticos estudiados en las sesiones anteriores. Para ello, empleará una aplicación de IA generativa de imágenes, como, por ejemplo https://runwayml.com/. En la redacción de comandos, además de describir la imagen deseada, se deberán incluir las características del estilo artístico al que pertenece (color, formas, temática), las cuales ya han sido estudiadas y definidas en las sesiones anteriores. Se prestará especial atención a la inclusión de comandos negativos, es decir, instrucciones o ejemplos de texto que sirven para entrenar o guiar el sistema de IA, pero con el objetivo de indicar lo que no se desea que aparezca en la respuesta. Finalmente, se compararán y analizarán los resultados en función de los comandos redactados para extraer conclusiones útiles en futuras aplicaciones. 

Se muestran a continuación algunos resultados obtenidos con esta técnica en la plataforma de IA Runway: 

ART DECÓ
Comando: Obra pictórica estilo Art Decó: colores vivos y brillantes, figuras planas, geometrizadas, rotundas.  – Orientación vertical del lienzo. – Encuadre de cuerpo entero.   – Mujer joven rubia con vestido de raso rojo, a la moda de los años 20. Peinado al estilo de los años 20, con ondas. Labios rojos y ojos grises. Actitud voluptuosa. – Fondo de figuras geométricas. – Ambiente lujoso, moderno y glamuroso.  – Art Deco style painting: bright, bright colours, flat, geometrical, rotund figures.  – Vertical orientation of the canvas. – Full-length framing.   – Young blonde woman in red satin dress, in 1920s fashion. Hair styled in 1920s style, with waves. Red lips and grey eyes. Voluptuous attitude. – Background of geometric figures. – Luxurious, modern and glamorous atmosphere.  Comando negativo: Colores suaves y apagados, poca variedad de color, pinceladas vigorosas, emociones negativas, dinamismo, abstracción, puntillismo, perspectiva, repeticiones.   Soft and muted colours, little variety of colour, vigorous brushstrokes, negative emotions, dynamism, abstraction, pointillism, perspective, repetitions.  
POP ART
Comando: Obra pictórica estilo Pop Art: colores vivos, llamativos, brillantes y contrastados. Imágenes o fotografías planas, seriadas o repetidas. Imágenes u objetos populares o icónicos. Cultura de masas y estética de la publicidad. Consumismo, materialismo. – Repetir en una cuadrícula la misma foto de un tetrabrik de leche cuatro veces, cada foto de un color: magenta, cian, amarillo y verde. El tetrabrik tiene la foto de la cara de una vaca con la lengua fuera relamiéndose y la marca es “CAWMILK”. – El fondo de cada una de las fotos es plano, no hay fondo. – La imagen debe estar pixelada, como si fuera digital y se viera en una pantalla digital.  – Pop Art style pictorial work: vivid, striking, bright and contrasting colours. Flat, serial, repeated images or photographs. Popular or iconic images or objects. Mass culture and aesthetics of advertising. Consumerism, materialism. – Repeating on a grid the same picture of a milk carton four times, each picture of a different colour: magenta, cyan, yellow and green. The carton has a picture of a cow’s face with its tongue out licking its lips and the brand name is “CAWMILK”. – The background of each of the pictures is flat, there is no background. – The image should be pixelated, as if it were digital and viewed on a digital screen.  Comando negativo: – Colores suaves y naturales, poco luminosos. – Formas dibujadas esquemáticas. – Temas tristes, emociones negativas.  – Soft and natural colours, not very bright. – Schematic drawn shapes. – Sad themes, negative emotions.  
CUBISMO
Comando: Obra pictórica estilo cubista: colores poco luminosos, ocres, verdes y grises. Líneas rectas, descomposición de la figura real en figuras geométricas, la realidad se ve desde distintos puntos de vista.  – El cuadro representa una guitarra flamenca sobre una mesa de madera dentro de una habitación. Junto a la guitarra hay un jarrón y un cuchillo. – La imagen está compuesta por figuras planas que surgen de la descomposición de los objetos reales: guitarra, mesa, cuchillo, jarrón. – El fondo se define con planos y líneas simples. – Estatismo.  – Cubist style pictorial work: not very luminous colours, ochres, greens, greys. Straight lines, decomposition of the real figure into geometric figures, reality is seen from different points of view.  – The painting represents a flamenco guitar on a wooden table in a room. Next to the guitar is a vase and a knife. – The image is composed of flat figures that emerge from the decomposition of the real objects: guitar, table, knife, vase. – The background is defined by planes and simple lines. – Staticism.  Comando negativo: – Colores fuertes, vivos, puros. – Dinamismo. – Puntillismo. – Perspectiva.  – Realismo, figuratividad. – Lujo. – Aspecto fotográfico, real. – Personas.  – Strong, vivid, pure colours. – Dynamism. – Pointillism. – Perspective.  – Realism, figurativeness. – Luxury. – Photographic aspect, real. – People. 

RECURSOS MATERIALES 

Dispositivos digitales con acceso a internet: ordenadores o tabletas. 

Páginas web de referencia: 

Herramientas web: 

BENEFICIOS DE LA APLICACIÓN DE LA PROPUESTA 

La utilización de este recurso en el aula permite, de manera más efectiva y eficaz que las metodologías tradicionales, el desarrollo de las siguientes habilidades y competencias: 

  • Integración de habilidades artísticas y STEM.  La propuesta permite fusionar disciplinas tradicionalmente separadas como son la ciencia, tecnología, ingeniería y matemáticas con el arte, de modo que se brinda a los estudiantes una comprensión más holística y profunda en todas las áreas. 
  • Aprendizaje del pensamiento computacional. Los alumnos aprenden a identificar y diferenciar los distintos estilos artísticos a través de la investigación y el análisis de datos, lo que fomenta el desarrollo del pensamiento computacional, una habilidad crucial en el mundo actual, ya que está impulsado por la tecnología. 
  • Fomento de la creatividad: Al emplear algoritmos de generación de imágenes basados en el procesamiento del lenguaje natural, los estudiantes tienen la oportunidad de crear imágenes completamente nuevas que reflejen fielmente diversos estilos artísticos. Esto les brinda un espacio para la experimentación y la expresión creativa. 
  • Aprendizaje activo y participativo: La propuesta involucra a los estudiantes en actividades prácticas y colaborativas en las que deben trabajar en equipo para investigar, analizar y compartir conocimientos sobre los distintos estilos artísticos. Este enfoque fomenta un aprendizaje más significativo y duradero. 
  • Desarrollo de habilidades digitales. Al utilizar herramientas digitales y tecnológicas como algoritmos de IA y plataformas de colaboración en línea, los estudiantes mejoran sus habilidades digitales, y al mismo tiempo, se preparan para enfrentar los desafíos del mundo digital en constante evolución.  

EVALUACIÓN DE LA PROPUESTA 

Para la evaluación de la propuesta se tendrá en cuenta las siguientes rúbricas en las que se detallan  los criterios de evaluación y los niveles de logro. 

PROPUESTAS DE MEJORA 

Sería recomendable contar con acceso a recursos complementarios. Proporcionar acceso a una biblioteca o bases de datos digitales con una amplia variedad de obras de arte enriquecería el conjunto de datos etiquetados y mejoraría la precisión del modelo de datos. 

También, sugerimos la formación adicional en las sesiones  previas para familiarizar al estudiantado con el uso de herramientas digitales específicas, como plataformas de colaboración en línea y algoritmos de generación de imágenes. 

Por último, se podría llevar a cabo una colaboración interdisciplinar si se decide invitar a expertos en inteligencia artificial o historia del arte a impartir charlas o talleres que complementen la propuesta y brinden una perspectiva más amplia sobre el tema. 

MATERIAL DE APOYO Y/O AMPLIACIÓN 

Vínculos y materiales externos que pueden contribuir a la propuesta: