Tactile Integration for Visually-impaired Orchestra Musicians
Il progetto mira a realizzare un sistema a supporto della direzione orchestrale che permetta l’inclusione di musicisti ipo/non vedenti nell’organico dell’orchestra.
Basandosi su un sistema di motion tracking che acquisisce i movimenti del direttore, il progetto prevede di:
- realizzare un dispositivo vibrotattile indossabile dai musicisti per trasmettere i gesti direttoriali attraverso il tatto;
- integrare il tracciamento dell’espressione facciale del direttore;
- sviluppare un algoritmo di machine learning ottimizzato per piattaforme a basso costo, come Raspberry Pi, capace di riconoscere in tempo reale i pattern gestuali ed espressivi di direzione;
- convertire tali pattern in segnali vibrotattili percepibili dai musicisti, migliorando la precisione nella ricezione delle indicazioni del direttore.
La validazione avverrà tramite test sperimentali che includeranno musicisti con deficit visivi, al fine di dimostrare l’efficacia della soluzione sviluppata.
Il progetto contribuirà in modo significativo all’avanzamento della ricerca nei settori dell’interazione multimodale uomo-macchina e del machine learning per applicazioni real-time su piattaforme hardware a basso costo. Il progetto rafforzerà il collegamento tra scienza e musica, creando un terreno fertile per l’interazione interdisciplinare tra elettronica/telecomunicazioni, interazione uomo-macchina, ed etica, discipline che finora hanno avuto poche occasioni di collaborazione.
Il progetto contribuirà, inoltre, a sensibilizzare artisti, educatori e il pubblico sulle implicazioni artistiche e sociali dell’uso delle tecnologie IoMusT, con particolare attenzione alle esigenze dei musicisti ipo/non vedenti. La tecnologia proposta favorirà l’inclusione e la parità di accesso alle attività musicali, promuovendo la co-creazione e l’educazione musicale per persone di tutte le età.
Infine, il progetto ha un potenziale diretto di trasferimento tecnologico, grazie alla combinazione di un prototipo indossabile a basso costo e di algoritmi ottimizzati per piattaforme embedded come Raspberry Pi.
Partner di progetto
- Conservatorio Guido Cantelli di Novara
- Conservatorio Giuseppe Verdi di Como
- Coro del Politecnico di Torino
- Coro Jubilate di Legnano
Team di progetto
- Cristina Rottondi (DET), PA
- Antonio Servetti (DAUIN), Ricercatore confermato
- Matteo Sacchetto (DET), Assegnista di ricerca