“Music Information Retrieval - TOOLS”
Antonello D’Aguanno
[email protected]
http://www.lim.dico.unimi.it/didatt/materiali/mir2.ppt
Problemi Presentati
•
Pitch Tracking
•
Beat Tracking
•
Tempo Induction
•
Score Extraction
•
Genre Extraction
•
Automatic Music Synchronization
Comprensione
dell’informazione
Finalità degli Algoritmi
Fornire informazioni oggettive (meta-dati) sul
contenuto musicale di un determinato brano
audio
Algoritmo
Stream Audio
Low Level Features
Meta Dati
Analisi Musicale
Le Caratteristiche dei
Segnali Audio
In questo contesto i segnali audio sono caratterizzati da
due differenti parametri:
•
•
Numero di strumenti che suonano in un brano
•
Monotimbrici
Un solo strumento
•
Politimbrici
Due o più strumenti
Numero di note presenti contemporaneamente in un brano
•
Monofonici
Una sola nota
•
Polifonici
Due o più note
Pitch Tracking
Scopo dell’Algoritmo
Estrarre il pitch da un segnale audio e fornire delle sequenze di dati
che caratterizzino l’andamento del pitch rispetto al tempo
Estrazione delle caratteristiche di basso livello
•
Autocorrelazione
•
Analisi dello spettro alla ricerca di strutture armoniche
Risultati
Risultati commerciali su segnali monofonici e monotimbrici,
problema aperto su segnali più complessi
Pitch Tracking
Criticità
•
Difficoltà nella segmentazione delle note
•
Instabilità del pitch nei segnali vocali e in alcuni strumenti
Analisi musicale e semplificazioni
•
Sfruttare la teoria musicale per risolvere situazione di ambiguità
ad esempio dando priorità alle note della tonalità
•
Non riconoscere esattamente le note ma solo se il pitch aumenta,
diminuisce o rimane stabile
Beat Tracking
Scopo dell’Algoritmo
Estrarre i beat da un segnale audio e fornire delle sequenze di dati
che caratterizzino l’andamento dei beat rispetto al tempo, fornendo
una analisi ritmica del segnale audio
Estrazione delle caratteristiche di basso livello
•
Filtraggi ad alte frequenze
•
Analisi dello spettro
Risultati
Risultati commerciali per l’individuazione dei beat, problema aperto
sulla valutazione della struttura e tessitura ritmica
Beat Tracking
Criticità
•
Non necessariamente è presente una sezione ritmica (batteria)
•
Talvolta i beat non sono i punti più energetici del segnale
Analisi musicale e peculiarità
•
Sfruttare la teoria musicale per risolvere situazioni di ambiguità
ad esempio una struttra ritmica che varia continuamente è poco
probabile
•
Si devono distinguere i sistemi real time da quelli off line. I primi
non compiono analisi sulla struttura ritmica del brano
Tempo Induction
Scopo dell’Algoritmo
Estrarre i BPM (velocità del metronomo) da un segnale audio. È uno
dei pochi algoritmi sviluppati anche su segnali compressi
Estrazione delle caratteristiche di basso livello
•
Filtraggi ad alte frequenze
•
Analisi dello spettro
Risultati
Risultati commerciali con applicazioni anche su software di editing
Tempo Induction
Criticità
•
La maggior parte dei brani non ha BPM perfettamente stabili, ma
tendono ad oscillare
•
Alcuni brani hanno BPM variabili
•
È complesso riconoscere il tempo corretto senza confondere, ad
esempio, quarti ed ottavi
Analisi musicale e semplificazioni
Sfruttare la teoria musicale per risolvere situazioni di ambiguità, ad
esempio un tempo che varia continuamente è poco probabile
Score Extraction
Scopo dell’Algoritmo
Estrarre la partitura da un segnale audio
Metodologie
•
Autocorrelazione
•
Analisi dello spettro
•
…
Risultati
Risultati commerciali su segnali monofonici e monotimbrici,
problema aperto su segnali più complessi
Score Extraction
Criticità
•
Come riconoscere la segnatura di tempo?
•
I timbri dei diversi strumenti sono molto differenti
•
Separare gli strumenti con pitched da quelli unpitched
•
La voce
•
Le variazioni di tempo
Un problema composto
In generale lo score extraction può essere considerato come una
sorta di contenitore che potrebbe contenere i problemi già visti più
altri quali: separazione delle sorgenti, riconoscimento dei timbri e
altri
Genre Extraction
Scopo dell’Algoritmo
Estrarre il genere da un segnale audio e riuscire a riconoscere
differenti brani che appartengano ad uno stesso genere
Metodologie
•
Estrazione del pitch, del tempo, del beat, del timbro e altro
Risultati
Nessun Risultato commerciale, problema poco sensato su segnali
monofonici e monotimbrici.
Genre Extraction
Due approcci differenti
•
Prescriptive approach: i generi possibili sono decisi a priori
l’algoritmo deve scegliere in quale cluster inserire il brano in
esame
•
Similarity relations approach: l’algoritmo trova le canzoni simili e
le pone all’interno dello stesso cluster, non esistono generi scelti
a priori
Osservazione
Nel primo caso è oggettiva la classificazione per generi, mentre nel
secondo sono oggettive le similarità tra i brani
Sincronizzazione
Stream Audio
Partitura sincronizzata
Sincronizzatore
Partitura
Navigazione coerente audio partitura
Ambito di ricerca affrontato nel MIR
Soluzioni proposte solo su stream audio non compressi
Sincronizzazione
Scopo dell’Algoritmo
•
Sincronizzazione fine: per sistemi di navigazione interattiva e
ricerche musicologiche
•
Sincronizzazione generica: per sistemi che visualizzano la
partitura e l’audio coerentemente
Estrazione delle caratteristiche di basso livello
•
Analisi dell’energia
•
Analisi dello spettro alla ricerca di strutture armoniche
Risultati
Risultati buoni su segnali monofonici e monotimbrici, problema
aperto su segnali più complessi
Sincronizzazione
Criticità
•
Note ribattute, abbellimenti, agogica
•
Esecuzioni non pedisseque
Analisi musicale
•
Sono comunemente utilizzate tecniche DTW (Dinamic Time
Warping) per porre in relazione caratteristiche della partitura con
caratteristiche dell’audio
DTW
Problema
•
Costo computazionale molto elevato
•
Necessarie euristiche
