AI for MUSE: intelligenza artificiale e realtà virtuale al servizio dei musei

Un’esperienza di vista più immersiva e completa, che crea suggestioni e collegamenti tra opere anche su collezioni differenti e addirittura ne struttura di nuove, non nello spazio fisico, ma in quello virtuale: è il progetto AI for MUSE, che utilizza l'intelligenza artificiale, la realtà virtuale e le app per migliorare l'esperienza di visita nei musei.

Il progetto nasce dalla collaborazione tra Università di Torino e Politecnico, con il sostegno di Fondazione Compagnia di San Paolo nell’ambito della prima edizione del bando “Intelligenza Artificiale, uomo e società”. La sperimentazione parte da Torino e coinvolge otto realtà museali: Reggia di Venaria Reale, Museo Egizio, Palazzo Madama, GAM- Galleria Civica d’Arte Moderna e Contemporanea e MAO - Museo d’Arte Orientale, Museo Nazionale del Cinema, Museo Nazionale dell’Automobile e Pinacoteca Agnelli. Insieme a loro, partner del progetto sono Associazione Abbonamento Musei, Osservatorio Culturale del Piemonte e Big Data Analysis Lab del Comune di Torino.

Per il Politecnico sono coinvolti il Dipartimento di Automatica e informatica e il Dipartimento di Architettura e Design: “L’intelligenza artificiale è un elemento sempre più presente nelle nostre vite e ormai è possibile pensare al suo utilizzo anche ad ambiti nei quali fino a poco tempo fa non avremmo immaginato applicazioni, come appunto quello culturale e museale in particolare. Il Politecnico possiede le migliori competenze tecniche e tecnologiche per essere protagonista in questo processo, ma dall’altra parte possiede anche una solida base culturale e competenze multidisciplinari, indispensabili per gestire al meglio i progetti legati all’AI, come ben dimostra questo progetto che vede il coinvolgimento di due Dipartimenti del nostro Ateneo afferenti ad aree culturali molto differenti, ma complementari tra loro, come deve essere sempre più la nostra ricerca”, ha ricordato il Rettore del Politecnico Guido Saracco.

CORE AI

Nell’ambito del progetto, il Dipartimento di Automatica e informatica del Politecnico, con il coordinamento del professor Giovanni Squilleri, ha sviluppato un’intelligenza artificiale espressamente dedicata all’ambito dei musei e delle collezioni: CoreAI, che crea in modo automatico connessioni trasversali a cui potrebbe pensare un esperto di Storia dell’Arte, considerando contemporaneamente diversi aspetti quali il periodo artistico, la corrente di appartenenza, lo stile, il soggetto e le affinità formali. Se, per esempio, alla Pinacoteca Agnelli ci si sofferma su La Baigneuse Blonde di Renoir, I-Muse mostrerà le connessioni con Ritratto di signora di Giovanni Boldini conservato nelle collezioni della GAM. Oppure, se si visita il Museo Egizio e ci si sofferma sulla Statuetta di Tauret del XII secolo a.C., l’app suggerisce di andare ad ammirare anche la statua della GAM DadAndroginErmete del 1987 di Luigi Ontani.

CoreAI non è un sistema di raccomandazione propriamente detto, in quanto non crea un modello dell’utente, ma si basa esclusivamente sull’analisi delle opere. Potrebbe essere usato per fornire suggerimenti personalizzati, ad esempio cercando le opere vicine a quelle particolarmente apprezzate da un utente, ma non necessita di informazioni personali.

Dal punto di vista tecnologico, CoreAI è un sistema ad agenti che utilizza moduli scritti appositamente e solide tecnologie di Natural Language Processing. Le informazioni disponibili sulle opere e i risultati delle analisi compiute dagli agenti sono memorizzati in un Knowledge Graph; quindi, il sistema genera delle “schede testuali” ottimizzate per essere analizzate da una rete neurale. I termini specifici della Storia dell’Arte sono contestualizzati utilizzando Wikipedia, mentre tassonomie preparate da esperti vengono usate per collegare periodi e correnti artistiche; vengono prese in considerazione anche le biografie degli autori per fornire altre possibili relazioni.

Al termine della definizione del cosiddetto spazio latente, cioè la mappa ideale creata dall’algoritmo, un numero limitato di coppie di opere viene selezionato dal sistema e giudicato da un esperto umano. Con una tecnica simile al Reinforcement Learning from Human Feedback, l’opinione su questi casi viene utilizzata dall’AI per modificare l’intero spazio, con il conseguente avvicinamento o allontanamento di tutte le opere.

MUSEI VIRTUALI

Il superamento delle barriere tra le singole collezioni è anche l'orizzonte in cui si muove una seconda attività sviluppata nell'ambito del progetto AI for MUSE dal Dipartimento di Architettura e Design del Politecnico (referente il professor Manfredo di Robilant, insieme a Valerio Della Scala e Francesca Favaro e con il contributo di Alessandro Raffa; coordinatore per il Dipartimento il professor Sergio Pace) che ha progettato venti musei virtuali su temi trasversali, che ospitano opere da tutti gli otto musei coinvolti in uno spazio virtuale appunto comune. Il progetto vuole mettere a fuoco nuovi punti di vista sulle collezioni esistenti, sia dal punto di vista curatoriale, che architettonico, infatti anche dal punto di vista delle architetture virtuali proposte, ciascun museo è basato su una rappresentazione simbolica del proprio tema. Per esempio, il museo virtuale dedicato al tempo è basato su un corridoio che rappresenta il tempo lineare, intersecato a un anello quadrato che rappresenta il tempo circolare.

Dal punto di vista dei contenuti, sono state individuate venti parole chiave, ognuna coincidente con il tema di un museo virtuale. Per ciascuna di esse, i team curatoriali di ogni museo hanno individuato una serie di possibili corrispondenze con le opere della propria collezione, scegliendone immagini relative e informazioni essenziali. Il gruppo di ricerca ha quindi inserito le immagini all’interno di ciascun museo virtuale. Di qui l’acronimo VTM, Virtual Transdisciplinary Museums. Il risultato ottenuto è stato infatti il passaggio da una serie di collezioni concepite in maniera verticale, vale a dire afferenti ad uno specifico settore (l’automobile, il cinema, la pittura per esempio), a collezioni transdisciplinari. Per esempio, alla parola chiave cambiamento climatico, il Museo dell’Auto ha associato uno dei primi prototipi di auto alimentata dal solare, mentre il Museo del Cinema un documentario su una spedizione polare di inizio Novecento, mentre dalla GAM è stato proposto un paesaggio coperto di neve sulle prime pendici alpine. Ciascuno dei VTM ospita una collezione di venti opere e/o reperti: tutti i musei sono sempre presenti con almeno un contributo.

Ogni museo è navigabile liberamente, e soffermandosi sulle riproduzioni di opere e reperti appaiono le didascalie. I venti musei virtuali saranno visitabili in una piattaforma web in corso di sviluppo con il Dipartimento di Automatica e Informatica.

L’APP I-MUSE

Inoltre, il progetto Ai for MUSE ha permesso di realizzare l'app I-MUSE, sviluppata in collaborazione con la società Synesthesia e messa a disposizione del pubblico da luglio 2023, nell’ambito del progetto “Una notte al museo” promosso dall’Associazione Club Silencio. L’app (disponibile per iOS e Android) consente agli utenti di migliorare e amplificare la loro esperienza di visita, con percorsi personalizzati, approfondimenti suggeriti sulla base delle loro preferenze e la possibilità di scoprire sia le opere esposte sia quelli custodite nei magazzini e archivi.

Grazie a I-Muse è dunque possibile allargare gli orizzonti di visita, superando l’idea di musei separati e mettendo le collezioni in dialogo tra loro. I visitatori potranno fruire del patrimonio come se fosse custodito in unico grande museo, a portata di app. Tra le molte funzionalità di I-Muse anche il gaming sviluppato dalla società Garycom, con una sezione apposita dell’app che permette di giocare con le collezioni.