NetJam: a hardware solution for ultralow-latency audio streaming in networked music performance
Duration:
Principal investigator(s):
Project type:
Funding body:
Project identification number:
PoliTo role:
Abstract
Le applicazioni di “Networked music performance” (NMP) ambiscono a supportare un’interazione musicale in tempo reale, mediata da una rete di telecomunicazioni, tra musicisti dislocati in luoghi geografici diversi. Per consentire ai musicisti di mantenere il necessario sincronismo per suonare insieme, è richiesta una latenza complessiva dello streaming audio idealmente inferiore ai 25-30 ms, corrispondenti al tempo necessario per la propagazione del suono in 9-10 m in spazio libero. Tale valore è normalmente considerato la massima distanza fisica accettabile per garantire un’esecuzione musicale sincrona tra musicisti, in assenza di ulteriori riferimenti temporali quali ad esempio quelli forniti dalla gestualità di un direttore d’orchestra. Dati i requisiti estremamente stringenti in termini di latenza, lato ricevitore non è possibile adottare una memoria di dimensioni significative, utile per compensare eventuali perdite di pacchetti con le note tecniche di ritrasmissione (ad esempio quelle implementate dal protocollo TCP). Pertanto, nel caso in cui l’applicazione ricevente non ottenga i dati audio in tempo utile per effettuarne la riproduzione a causa di perdite e/o ritardi eccessivi nella ricezione dei pacchetti che li contengono, occorre introdurre lato ricevente dei meccanismi di ricostruzione del segnale originario, al fine di consentirne una corretta riproduzione. Il progetto proposto consiste nell’integrazione in un sistema embedded per l’acquisizione e lo streaming di segnali audio di un metodo di correzione al ricevitore degli errori dovuti a perdite di pacchetti contenenti dati in formato MIDI, evitando così la ritrasmissione dei dati persi. Il metodo è oggetto del brevetto “Recupero in tempo reale degli errori di trasmissione di segnali audio in formato MIDI”, ad oggi in fase di deposito. Il prototipo adotterà una soluzione hardware basata su FPGA e microcontrollore. Per l’elaborazione del segnale (sia raw-audio che MIDI) si utilizzerà una scheda di sviluppo embedded e si adotterà la pila protocollare RTP/UDP/IP per supportare connessioni in modalità peer-to-peer a ridottissima latenza. Il prototipo integrerà anche un meccanismo di controllo dei volumi e del mixaggio dei flussi audio in ricezione (sempre via MIDI), che potrà essere effettuato sia localmente che da remoto.
People involved
- Cristina Emma Margherita Rottondi. (Responsabile Scientifico)
- Laura Fulci. (Responsabile Scientifico di Struttura)
Departments
Keywords
ERC sectors
Sustainable Development Goals
Budget
Total cost: | € 39,500.00 |
---|---|
Total contribution: | € 39,500.00 |
PoliTo total cost: | € 39,500.00 |
PoliTo contribution: | € 39,500.00 |