Research database

NetJam: a hardware solution for ultralow-latency audio streaming in networked music performance

Duration:
6 months (2020 - 2021)
Principal investigator(s):
Project type:
Corporate-funded and donor-funded research
Funding body:
PRIVATI (CSP-LINKS)
Project identification number:
000
PoliTo role:
Coordinator

Abstract

Le applicazioni di “Networked music performance” (NMP) ambiscono a supportare un’interazione musicale in tempo reale, mediata da una rete di telecomunicazioni, tra musicisti dislocati in luoghi geografici diversi. Per consentire ai musicisti di mantenere il necessario sincronismo per suonare insieme, è richiesta una latenza complessiva dello streaming audio idealmente inferiore ai 25-30 ms, corrispondenti al tempo necessario per la propagazione del suono in 9-10 m in spazio libero. Tale valore è normalmente considerato la massima distanza fisica accettabile per garantire un’esecuzione musicale sincrona tra musicisti, in assenza di ulteriori riferimenti temporali quali ad esempio quelli forniti dalla gestualità di un direttore d’orchestra. Dati i requisiti estremamente stringenti in termini di latenza, lato ricevitore non è possibile adottare una memoria di dimensioni significative, utile per compensare eventuali perdite di pacchetti con le note tecniche di ritrasmissione (ad esempio quelle implementate dal protocollo TCP). Pertanto, nel caso in cui l’applicazione ricevente non ottenga i dati audio in tempo utile per effettuarne la riproduzione a causa di perdite e/o ritardi eccessivi nella ricezione dei pacchetti che li contengono, occorre introdurre lato ricevente dei meccanismi di ricostruzione del segnale originario, al fine di consentirne una corretta riproduzione. Il progetto proposto consiste nell’integrazione in un sistema embedded per l’acquisizione e lo streaming di segnali audio di un metodo di correzione al ricevitore degli errori dovuti a perdite di pacchetti contenenti dati in formato MIDI, evitando così la ritrasmissione dei dati persi. Il metodo è oggetto del brevetto “Recupero in tempo reale degli errori di trasmissione di segnali audio in formato MIDI”, ad oggi in fase di deposito. Il prototipo adotterà una soluzione hardware basata su FPGA e microcontrollore. Per l’elaborazione del segnale (sia raw-audio che MIDI) si utilizzerà una scheda di sviluppo embedded e si adotterà la pila protocollare RTP/UDP/IP per supportare connessioni in modalità peer-to-peer a ridottissima latenza. Il prototipo integrerà anche un meccanismo di controllo dei volumi e del mixaggio dei flussi audio in ricezione (sempre via MIDI), che potrà essere effettuato sia localmente che da remoto.

People involved

Departments

Keywords

ERC sectors

PE7_8 - Networks (communication networks, sensor networks, networks of robots, etc.)

Sustainable Development Goals

Obiettivo 4. Fornire un’educazione di qualità, equa ed inclusiva, e opportunità di apprendimento per tutti

Budget

Total cost: € 39,500.00
Total contribution: € 39,500.00
PoliTo total cost: € 39,500.00
PoliTo contribution: € 39,500.00