“Metodi e prototipi software per la sincronizzazione automatica di
annuncio pubblicitario
“Music Information Retrieval - TOOLS” Antonello D’Aguanno [email protected] http://www.lim.dico.unimi.it/didatt/materiali/mir2.ppt Problemi Presentati • Pitch Tracking • Beat Tracking • Tempo Induction • Score Extraction • Genre Extraction • Automatic Music Synchronization Comprensione dell’informazione Finalità degli Algoritmi Fornire informazioni oggettive (meta-dati) sul contenuto musicale di un determinato brano audio Algoritmo Stream Audio Low Level Features Meta Dati Analisi Musicale Le Caratteristiche dei Segnali Audio In questo contesto i segnali audio sono caratterizzati da due differenti parametri: • • Numero di strumenti che suonano in un brano • Monotimbrici Un solo strumento • Politimbrici Due o più strumenti Numero di note presenti contemporaneamente in un brano • Monofonici Una sola nota • Polifonici Due o più note Pitch Tracking Scopo dell’Algoritmo Estrarre il pitch da un segnale audio e fornire delle sequenze di dati che caratterizzino l’andamento del pitch rispetto al tempo Estrazione delle caratteristiche di basso livello • Autocorrelazione • Analisi dello spettro alla ricerca di strutture armoniche Risultati Risultati commerciali su segnali monofonici e monotimbrici, problema aperto su segnali più complessi Pitch Tracking Criticità • Difficoltà nella segmentazione delle note • Instabilità del pitch nei segnali vocali e in alcuni strumenti Analisi musicale e semplificazioni • Sfruttare la teoria musicale per risolvere situazione di ambiguità ad esempio dando priorità alle note della tonalità • Non riconoscere esattamente le note ma solo se il pitch aumenta, diminuisce o rimane stabile Beat Tracking Scopo dell’Algoritmo Estrarre i beat da un segnale audio e fornire delle sequenze di dati che caratterizzino l’andamento dei beat rispetto al tempo, fornendo una analisi ritmica del segnale audio Estrazione delle caratteristiche di basso livello • Filtraggi ad alte frequenze • Analisi dello spettro Risultati Risultati commerciali per l’individuazione dei beat, problema aperto sulla valutazione della struttura e tessitura ritmica Beat Tracking Criticità • Non necessariamente è presente una sezione ritmica (batteria) • Talvolta i beat non sono i punti più energetici del segnale Analisi musicale e peculiarità • Sfruttare la teoria musicale per risolvere situazioni di ambiguità ad esempio una struttra ritmica che varia continuamente è poco probabile • Si devono distinguere i sistemi real time da quelli off line. I primi non compiono analisi sulla struttura ritmica del brano Tempo Induction Scopo dell’Algoritmo Estrarre i BPM (velocità del metronomo) da un segnale audio. È uno dei pochi algoritmi sviluppati anche su segnali compressi Estrazione delle caratteristiche di basso livello • Filtraggi ad alte frequenze • Analisi dello spettro Risultati Risultati commerciali con applicazioni anche su software di editing Tempo Induction Criticità • La maggior parte dei brani non ha BPM perfettamente stabili, ma tendono ad oscillare • Alcuni brani hanno BPM variabili • È complesso riconoscere il tempo corretto senza confondere, ad esempio, quarti ed ottavi Analisi musicale e semplificazioni Sfruttare la teoria musicale per risolvere situazioni di ambiguità, ad esempio un tempo che varia continuamente è poco probabile Score Extraction Scopo dell’Algoritmo Estrarre la partitura da un segnale audio Metodologie • Autocorrelazione • Analisi dello spettro • … Risultati Risultati commerciali su segnali monofonici e monotimbrici, problema aperto su segnali più complessi Score Extraction Criticità • Come riconoscere la segnatura di tempo? • I timbri dei diversi strumenti sono molto differenti • Separare gli strumenti con pitched da quelli unpitched • La voce • Le variazioni di tempo Un problema composto In generale lo score extraction può essere considerato come una sorta di contenitore che potrebbe contenere i problemi già visti più altri quali: separazione delle sorgenti, riconoscimento dei timbri e altri Genre Extraction Scopo dell’Algoritmo Estrarre il genere da un segnale audio e riuscire a riconoscere differenti brani che appartengano ad uno stesso genere Metodologie • Estrazione del pitch, del tempo, del beat, del timbro e altro Risultati Nessun Risultato commerciale, problema poco sensato su segnali monofonici e monotimbrici. Genre Extraction Due approcci differenti • Prescriptive approach: i generi possibili sono decisi a priori l’algoritmo deve scegliere in quale cluster inserire il brano in esame • Similarity relations approach: l’algoritmo trova le canzoni simili e le pone all’interno dello stesso cluster, non esistono generi scelti a priori Osservazione Nel primo caso è oggettiva la classificazione per generi, mentre nel secondo sono oggettive le similarità tra i brani Sincronizzazione Stream Audio Partitura sincronizzata Sincronizzatore Partitura Navigazione coerente audio partitura Ambito di ricerca affrontato nel MIR Soluzioni proposte solo su stream audio non compressi Sincronizzazione Scopo dell’Algoritmo • Sincronizzazione fine: per sistemi di navigazione interattiva e ricerche musicologiche • Sincronizzazione generica: per sistemi che visualizzano la partitura e l’audio coerentemente Estrazione delle caratteristiche di basso livello • Analisi dell’energia • Analisi dello spettro alla ricerca di strutture armoniche Risultati Risultati buoni su segnali monofonici e monotimbrici, problema aperto su segnali più complessi Sincronizzazione Criticità • Note ribattute, abbellimenti, agogica • Esecuzioni non pedisseque Analisi musicale • Sono comunemente utilizzate tecniche DTW (Dinamic Time Warping) per porre in relazione caratteristiche della partitura con caratteristiche dell’audio DTW Problema • Costo computazionale molto elevato • Necessarie euristiche
