El Museo Aumentado

La digitalización de las colecciones de los museos se encuentra entre sus actividades más importantes en estos últimos años. Actualmente, los objetos físicos no solo se archivan digitalmente, sino que es posible visitarlos de manera virtual dentro de sus respectivos espacios en línea, para que los usuarios (en línea) puedan así curar y experimentar sus colecciones y contenidos de forma interactiva. Este hecho plantea un gran desafío y diferente al que solían desempeñar los museos en su ámbito presencial. Hace unos años el museo era tradicionalmente un contenedor de objetos físicos, pero ahora se halla inmerso en una proliferación de objetos / espacios virtuales curados por máquinas y hasta avatares humanos. En el caso de la tipología de museo, la selección y disposición de las colecciones, así como sus itinerarios curados, se vuelven muy controvertidos. El algoritmo de aprendizaje profundo se convierte en el principal caballo de batalla utilizado por los gigantes de la tecnología para poder procesar grandes conjuntos de datos de colecciones, ya que proporcionan una lectura sesgada o imparcial en la curación de objetos, así como en la navegación y percepción de sus espacios arquitectónicos. En lugar de aceptar la pérdida de la relevancia física de la arquitectura, se argumenta que ésta es, de hecho, el sustrato físico para generar experiencias curatoriales e itinerarios espaciales novedosos. Tomando como referencia una selección de museos, podemos comprobar cómo han realizado una serie de aplicaciones web / apps móviles para investigar la interacción relacional entre usuarios específicos, colecciones y espacios de museo, con el fin de crear y producir formas alternativas en las experiencias de estas instituciones.

Los estudios de museos relacionados con el análisis cualitativo de las experiencias de los visitantes que se conectan con el diseño espacial museístico son sorprendentemente limitados (Volker y Tröndle, 2012), a pesar de que los primeros datos del comportamiento que utilizan el seguimiento espacial de los visitantes del museo se remontan a hace aproximadamente un siglo (Robinson, 1928). La investigación sobre la construcción de un modelo predictivo de la experiencia del visitante del museo solo se vuelve más evidente con la influyente publicación de John Falk (2009). Un estudio más reciente en esta línea es el proyecto «eMotion«, que incorpora tecnologías de rastreo para mapear espacialmente el movimiento de los visitantes, con el fin de comprender sus experiencias dentro del museo (Volker y Tröndle, 2015). Sin embargo, ninguna de estas obras citadas asume un enfoque que se pueda aplicar directamente al rediseño de las experiencias museísticas. Del mismo modo, el uso generativo del aprendizaje automático en presencia fuera de línea / en línea – para reimaginar una nueva forma de experiencia de visitante aumentada por máquinas -, permanece sin explorar.

La experiencia del espacio del museo que mencionamos hoy se entiende como una compleja capa de espacios, tanto físicos como virtuales, que se ve continuamente aumentada por el mecanismo de detección y aprendizaje de los actuales modelos de aprendizaje automático. Con el acceso cada vez más localizado a modelos de aprendizaje profundo previamente «entrenados» – ya sea en forma de API en línea o marcos de código abierto -, los prototipos podrían desarrollarse rápidamente sin la necesidad de una gran cantidad de datos de entrenamiento. En este artículo, hemos desarrollado y contextualizado espacialmente cuatro proyectos diferentes de acuerdo con sus respectivos museos y colecciones, en los que se aprovechan, además, significativamente esas infraestructuras de aprendizaje profundo antes mencionadas, para reflexionar brevemente sobre las formas en que el espacio arquitectónico podría informar y ser informado por sus visitantes humanos y artefactos no humanos.

Por ejemplo, la experiencia de un museo hoy en día se entiende, cada vez más, como una función de su «instagramalidad» para los millennials. «Instagramalidad» es un proyecto que entrena una red neuronal artificial para poder predecir valoraciones basadas ​​en las características visuales de las obras de arte con relación a sus configuraciones espaciales en el sitio. Otro proyecto, «Face2Face«, utiliza el aprendizaje profundo para llevar a cabo un análisis de sentimientos de los visitantes del museo; se basa en la idea de que las obras de arte en sí mismas podrían calificarse en función de una lista de emociones humanas. Así pues, la curación de las obras de arte ya no depende simplemente de las características visuales (el color, la composición) o históricas de los géneros artísticos, sino de los efectos emocionales inmediatos que desencadena. El proyecto «Immersive» permite a los visitantes generar sus propios recorridos en el museo eligiendo una combinación compleja de parámetros, como frecuencia de palabras, histogramas de color o técnicas artísticas. El proyecto «Artswap» hace posible que cada usuario pueda tener su propio retrato, no solo de manera superpuesta, sino combinándose a la perfección con las fotografías de 360º de Google, utilizando modelos generativos profundos; a su vez, se puede generar una galería virtual alternativa y personalizada para cada usuario. Finalmente, el último proyecto que mencionamos aquí es una aplicación que proporciona un sistema de votación para el crowdsourcing de comentarios, puntuando el valor de cada objeto de una exposición. Posteriormente, se utilizan las puntuaciones como base para generar una nueva configuración espacial de acuerdo con la popularidad de cada objeto.

El objetivo de hoy es abordar tres preguntas de investigación principales:

1. ¿Cómo incorporarían los diseños arquitectónicos la práctica curatorial de un museo que se basa en una evaluación mecánica de sus colecciones?
2. ¿Cómo reconsiderarían los diseños arquitectónicos los valores de la exposición aumentada generados por el crowdsourcing visual y social? ¿datos?
3. ¿Cómo serían los diseños arquitectónicos inclusivos de multiplicidades, tanto en sus representaciones físicas como virtuales?

La contribución colectiva de estos proyectos de investigación sobre diseño aumentado se encuentra en la formulación de lo que podría constituir una experiencia de museo innovadora, actualmente enredada en una compleja red de curaduría digital y posibles soluciones tecnológicas.

Instagramalidad.

Concepto:

Instagram no solo ha cambiado la forma en que sus usuarios capturan y comparten fotografías, sino que también ha redefinido dónde deciden pasar su tiempo y cómo interactúan con el mundo que les rodea. En ningún lugar el efecto de Instagram se ha sentido con más fuerza como en los museos, donde las exposiciones «instagrameables» han impulsado un número récord de visitantes (Pardes, 2017), provocando que muchas instituciones, que antes no eran amigables con las cámaras, revisen las reglas sobre sus permisos para hacer fotografías dentro de sus muros. Para los millenials, la instagrammability es ahora una parte esencial de una experiencia de museo exitosa. Este proyecto explora lo que significa tomar una foto instagrameabilizable en el contexto de los museos, esforzándose por permitir que curadores y visitantes comprendan la instagrameabilidad de sus propias instalaciones y fotos. Como consecuencia de esto, se ha desarrollado una interfaz para ingresar y calificar una foto para la instagrameabilidad permitiendo a cualquier usuario tomar o cargar una fotografía desde su escritorio o navegador web móvil, y recibir una calificación numérica de 0 a 100 que predice la calidad instagrameabilizable de la misma. Las predicciones se realizan en base a un modelo generado a partir del entrenamiento de una red neuronal convolucional con 7.704 imágenes relacionadas con un museo en Lausana (Suiza), cada una de las cuales se califica según la proporción de «me gusta» de Instagram sobre sus seguidores.

Datos:

El web scraping se utiliza para descargar todas las imágenes de Instagram disponibles públicamente en línea, y en este caso en concreto etiquetadas sobre los siete museos más populares en Instagram de Lausana, a saber, Le Musée Olympique, Collection de l’Art Brut, Musée de Design et d’art Appliqués Contemporains (MUDAC), Musée de l’Elysée, Espace Arlaud, Fondation de l’Hermitage y Musée Cantonal des Beaux-Arts. Se recopilaron un total de diez mil imágenes de varios tamaños, junto con metadatos sobre los «me gusta» y «followers». Las imágenes se recortan aún más y se redimensionan a un estándar de 224 x 224 píxeles antes de usarse como datos de entrenamiento para el modelo de aprendizaje profundo.

Modelo pre-entrenado:

La tarea clave fue la de mapear las imágenes para traducirlas a calificaciones de instagramabilidad.

Evaluación:

¿Cuáles son las principales características que mejoran la instagramabilidad de esas fotografías de museo?. ¿Existe una combinación específica de exposiciones de museo que podrían aumentar el interés de uno en un objeto como resultado de su puntuación instagrameabilizable? Al mirar las 25 fotografías que más me gustan, por ejemplo, se descubre que las imágenes con fuertes elementos de perspectiva o profundidad son las que tienen más éxito. Por otro lado, las fotografías con sujetos fácilmente reconocibles, o que son menos personales, también suelen gustar más. No es menos importante el hecho de que los colores brillantes o armoniosos que realzan la belleza del paisaje tienen un impacto positivo.

Combinabilidad.

Concepto:

Las exposiciones a menudo se curan según un tema que dicta directamente la colocación de los objetos y, en consecuencia, el itinerario de los visitantes. En otras palabras, existe una narrativa única para todos los visitantes. ¿Podría ser posible una diversidad de itinerarios personalizados dinámicamente sin reubicar los objetos de las colecciones? ¿Cómo podrían construirse estas narrativas secundarias personalizadas aprovechando las capacidades predictivas del aprendizaje automático en la traducción de imágenes a conceptos, así como en la búsqueda de imágenes a colores? Se ha podido obtener la posibilidad de combinar diferentes temáticas para generar (y modificar) un itinerario personalizado. 

Datos:

El museo Fondation de l’Hermitage es el lugar elegido para extraer datos de todas las pinturas de su colección permanente y desde su página web, es decir, las imágenes digitales y otros metadatos. Además, las posiciones físicas de todas las pinturas actualmente expuestas también se registran en el sitio.

Modelo pre-entrenado:

La primera tarea es entrenar un modelo de aprendizaje profundo capaz de generar palabras / conceptos descriptivos clave relacionados con cada imagen y sus elementos constitutivos. Actualmente existen en línea varios modelos de aprendizaje profundo (como servicio) que brindan dicha opción, entre ellos Google Cloud Vision y Clarifai. Clarifai finalmente se usó en el prototipo para tomar una imagen y generar una lista de palabras posibles con sus respectivas probabilidades. Una vez obtenidas estas palabras para cada pintura, se puede construir una nube de palabras, o fusionar las palabras, facilitando así la generación de itinerarios con entradas de palabras. La segunda tarea consiste en utilizar agrupaciones no supervisadas para anotar una imagen con sus colores dominantes y facilitar así la generación de itinerarios con entradas de selección de color. El algoritmo K-Means (aplicado en el espacio de color) se utiliza para extraer y luego asignar cada pintura a 3 colores dominantes. De esta forma, cuando el usuario busca un color, solo las pinturas etiquetadas con colores que no están demasiado «lejos» en la distancia RGB euclidiana se mantienen para la generación del itinerario.

Evaluación:

La aplicación permite mezclar temas al representar primero cada uno de ellos como un conjunto, y mediante las operaciones de conjunto de intersección / unión / diferencia / eliminar, se pueden generar diferentes combinaciones. El proceso de selección de tema, así como de generación y modificación de ruta sirve de base para aumentar la experiencia secuencial de las pinturas en el espacio y el tiempo.

Reversibilidad.

Concepto:

El objetivo es analizar y registrar las emociones desencadenadas al observar diferentes objetos. Es como si éstos pudieran ver a los visitantes. Con tal comprensión, es posible generar recorridos específicos de acuerdo con la secuencia de emociones preferida por los usuarios. Del mismo modo, los curadores podrían usar la misma información para crear una posible secuencia de emociones evocadas cuando los visitantes observaran los objetos.

Datos:

La exposición del Musée de l’Elysée titulada «Le théâtre des apparences» del artista Liu Bolin se ha utilizado como base de datos para el prototipo propuesto. Además de eliminar de la web todas las imágenes digitales de las obras de arte del sitio web del museo, se ha pedido a diez sujetos humanos que proporcionen el conjunto de datos inicial de sus expresiones faciales. Se invita a cada sujeto a que se siente frente a la computadora y observe una secuencia de obras de arte durante 2 o 3 minutos. La secuencia de pintura debe asemejarse a un posible recorrido del museo, y se genera aleatoriamente para cada persona a fin de evitar que una obra de arte pueda afectar potencialmente la emoción de las posteriores. Cada obra se muestra por un tiempo de 6 segundos durante los cuales la cámara web de la computadora graba 4 imágenes (una cada 1,5 segundos) para detectar el tipo de impacto emocional de la misma. En la biblioteca OpenCV, el experimento comienza cuando el usuario presiona el botón correspondiente en la página de inicio del prototipo de la aplicación web. Cada vez que se muestra una nueva obra de arte, se realiza una solicitud. El back-end luego graba 4 imágenes de la pintura y envía una solicitud GET a Microsoft Azure para registrar las emociones correspondientes.

Modelo pre-entrenado:

El software de reconocimiento facial de aprendizaje profundo (Microsoft, 2018) llamado Azure Face API se utiliza para analizar las imágenes grabadas recopiladas a través de la cámara web mencionada anteriormente. Con esta información, todas las obras de arte podrían ser calificadas de acuerdo con sus respectivas calificaciones agregadas. De hecho, actualmente también es posible comparar (lado a lado) sujetos humanos y pinturas en términos de semejanza emocional. Utilizando PCA (análisis de componentes principales) para hacer la reducción de dimensionalidad, ambas entidades podrían representarse en una gráfica 2D, donde la distancia entre dos puntos de datos fuera una métrica de su probabilidad emocional. Como entradas para la trama de PCA, se emplean todos los vectores emocionales de las obras de arte y la media de las reacciones de todas las personas.

Evaluación:

Al enfatizar sobre la respuesta emocional implícita de los visitantes hacia las obras de arte que observan, es posible valorar las colecciones más allá de su presencia material, otorgándoles una dimensión emocional. Esta nueva información serviría entonces de base para generar itinerarios en el museo que mejoraran y personalizaran la experiencia museística de los visitantes.

Intercambiabilidad.

Concepto:

¿Cómo podría ser apropiado DeepFake, un término utilizado para describir los algoritmos de intercambio de rostros basados en modelos de aprendizaje profundo, para una experiencia aumentada en el museo? ¿Hasta qué punto DeepFake es, incluso, culturalmente aceptable (Porter, 2019) cuando se contextualiza para un museo? Existe un proyecto que pretende especular sobre su potencial para aumentar la lógica curatorial de los museos para sus visitantes.

Datos:

La cámara de 360° Ricoh Theta se ha utilizado para tomar fotografías omnidireccionales de todas las salas de exposición del museo Fondation de l’Hermitage. Este entorno virtual se genera allí donde los usuarios pueden visualizar su propia versión en línea de la Fondation de l’Hermitage, y donde los retratos de las pinturas originales se transforman en los de sus propios rostros.

Modelo pre-entrenado:

Face ++ es un conjunto de APIs en línea creado por la empresa china Megvii. Esta compañía está especializada en tecnologías de IA de vanguardia relacionadas con el reconocimiento facial. Una de las funcionalidades de la API es la fusión facial entre imágenes. Además de la capacidad de fusión, su algoritmo de detección de rostros incorporado también funciona eficazmente con los retratos del museo.

Evaluación:

El uso de DeepFake en artefactos y espacios culturales puede parecer irreverente e, incluso, poco ético para algunos. Sin embargo, se logra ampliar la gama de posibles interacciones entre las obras de arte y los visitantes. La detección de rostros en vivo de la aplicación móvil propuesta y la lectura de códigos QR en vivo, facilitan aún más una superposición única en tiempo real de los espacios físicos y virtuales durante las interacciones de intercambio de rostros.

Estos cuatro proyectos tiene como objetivo demostrar las formas en que las tecnologías de aprendizaje profundo pueden usarse para aumentar y mejorar la experiencia del museo. En particular, cada uno de ellos representa la noción respectiva de instagramabilidad, combinabilidad, reversibilidad e intercambiabilidad.

• La instagramabilidad sugiere que la composición virtual 2D de un espacio es, a menudo, más crítica que su configuración espacial física 3D real.
• La combinabilidad indica que mediante la mezcla y el emparejamiento de filtros de selección, se pueden generar varios itinerarios de museo nuevos.
• La reversibilidad insinúa el potencial de humanizar las colecciones en la construcción de una nueva interacción virtual y física en el museo.
• La intercambiabilidad especula que la manipulación virtual de colecciones podría incluso llevar la aceptación cultural de las tecnologías de aprendizaje automático a sus límites, con el espacio arquitectónico del museo intacto física y virtualmente.

Aunque hemos mencionado solo cuatro experimentos de diseño simples (o en ocasiones de apariencia banal), existe una cantidad potencialmente infinita de estrategias en el uso de tecnologías basadas en el aprendizaje profundo para aumentar las experiencias de los museos. En consecuencia, la (1) evaluación maquínica, (2) el aumento estético y (3) las representaciones múltiples de los objetos y obras son capas informativas inevitables de la experiencia museística actual. El hecho de que mejoren o compliquen los espacios físicos en los que se colocan los objetos depende de la capacidad del museógrafo para establecer relaciones entre ellos, que luego podrían permitir una experiencia de visitante altamente personalizada. Sin embargo, estas capas mecánicas pueden entenderse mejor como simples filtros experienciales, análogos a los de Instagram. Sin la referencia espacial (física o virtual) a la arquitectura de un museo, estos filtros permanecerían siendo genéricos y descontextualizados. En otras palabras, la arquitectura continúa validando su papel al afirmar su realidad simbólica para anclar estos aumentos digitales espacialmente.

Consultas: gestion@evemuseos.com

Recursos bibliográficos:

Si quieres recibir nuestro, newsletter y nuestros artículos por correo electrónico, rellena y envía el boletín adjunto, por favor, completando el campo correspondiente en el formulario de inscripción que encontrarás a continuación. Tu dirección de correo electrónico (asegúrate por favor de escribirla correctamente), será utilizada exclusivamente para enviarte nuestros newsletters y artículos, pudiendo darte de baja en el momento que quieras. Tu confirmación de suscripción, si no te llega, puede estar en tu carpeta de spam.