¿Cómo hemos desarrollado Barr X Inception CNN ?

1. Producción y curación del dataset de imágenes

Para dar forma visual al diagrama de  Alfred H. Barr y preparar el material que debía ser analizado por la CNN Inception, se procedió a construir un repositorio de imágenes ad hoc. Este repositorio de imágenes está constituido por  reproducciones digitales de obras «representativas» de los movimientos/poéticas/autores singulares que se incluyen en el diagrama de Barr.

En consecuencia, este dataset replica las mismas exclusiones que son propias del diagrama, derivadas de su perspectiva occidental y eurocéntrica, ampliamente discutida por la literatura crítica y académica. También adolece de sus mismas limitaciones, al quedar circunscrito a los movimientos/poéticas/autores singulares que este incluye. Es esta, quizás, la única concesión al punto de vista de un sujeto contextual e intelectualmente situado.

La búsqueda de las reproducciones digitales ha sido una oportunidad para reflexionar sobre cuestiones paralelas pero no menos importantes, como es la cuestión de la la subrepresentación de determinados movimientos, poéticas y autores en la iconosfera digital. En el proyecto, se ha tratado de aquilatar estos desequilibrios estableciendo un número estándar de 50 obras para cada uno de los movimientos/poéticas/autores singulares presentes en el diagrama de Barr. En algunos casos, hemos tenido que recurrir a obras que fueron producidas con posterioridad a las fechas que marca la cronología del diagrama de Barr.

Para llevar a cabo la recolección, se han utilizado repositorios abiertos, como Wikimedia Commons o WikiArtÇ; recolectores como Google Arts and Culture; o los catálogos online de las instituciones museísticas. Todas las imágenes están creditadas con su fuente de origen en su fichero de metadatos.

Cada imagen se ha descrito con un conjunto reducido de metadatos, que son los siguientes:

filename (ID)

creator

title

date

movement

image source

Los ficheros de metadatos están disponibles aquí.


2. Análisis con Inception CNN

Una vez normalizada toda la información y los ficheros de imágenes, se ha analizado el dataset con una CNN Inception entrenada con el dataset ImageNet 2012. Posteriormente, se ha aplicado un algoritmo de reducción de dimensionalidad, en concreto UMAP, para poder proyectar los resultados del análisis en un espacio bidimensional. Por último, la detección de clústeres se ha realizado con HDBSCAN, una versión refinada del algoritmo clásico DBSCAN para aprendizaje no supervisado usando medidas de densidad.

Todos los materiales se encuentran accesibles en Github con una licencia MIT.


3. Interpretación y lecturas posibles

DHLab / PixPlot

La interpretación se ha realizado sobre la base del espacio vectorial clusterizado resultante del análisis computacional.

[Clicar sobre la imagen para ir al campo visual CNN Inception]