Blind Source Separation:
Tradizioni e Prospettive
Informatica applicata alla musica, 12/04/2016
Blind Source Separation
Table of Contents
• Cosa è un MIX?!
Introduzione e conoscenze di base
• Fondamenti di Blind Source Separation
Tecniche statistiche e percettive
• Una personale prospettiva di ricerca
Separazione come interrogazione dello spazio di rappresentazione
• Applicazioni
Esempi d’uso
Cosa è un MIX?!
Introduzione e conoscenze di base
Cello
Suono Armonico
Piano
Suono con inarmonicità
Woodblock
Suono inarmonico, percussivo
Giorgio Presti, Laboratorio di Informatica Musicale
Cosa è un MIX?!
Introduzione e conoscenze di base
Mix istantaneo
Somma pesata degli input
Fenomeni convolutivi
Ritardi e riverberi
Fenomeni non lineari
Distorsioni e compressioni
Giorgio Presti, Laboratorio di Informatica Musicale
Cosa è un MIX?!
Introduzione e conoscenze di base
MIX
Blind Source Separation
Cosa è una sorgente?
Giorgio Presti, Laboratorio di Informatica Musicale
Cosa è una distribuzione statistica?
Introduzione e conoscenze di base
• Modo in cui si dispongono i valori di una variabile
μ
Normalizzazione
Sottrarre μ e dividere per σ
per avere μ =0 e σ=1
(viene mantenuto il
rapporto interno tra i dati)
σ
Curtosi
Quanto la distribuzione
assomiglia a una gaussiana?
Giorgio Presti, Laboratorio di Informatica Musicale
Cosa è un la Correlazione fra due variabili?!
Introduzione e conoscenze di base
• La correlazione tra due variabili indica quanto
dipendono linearmente l’una dall’altra
Se siete fortunati correlato è il contrario di indipendente
Giorgio Presti, Laboratorio di Informatica Musicale
Cosa è un la Correlazione fra due variabili?!
Introduzione e conoscenze di base
• Per la cronaca: LA CORRELAZIONE TRA DUE
FENOMENI NON IMPLICA UN RAPPORTO DI CAUSALITA’
Giorgio Presti, Laboratorio di Informatica Musicale
Cosa è un la Correlazione fra due variabili?!
Introduzione e conoscenze di base
• Per la cronaca: LA CORRELAZIONE TRA DUE
FENOMENI NON IMPLICA UN RAPPORTO DI CAUSALITA’
E anche se implica causalità, magari non è quella che pensate
Giorgio Presti, Laboratorio di Informatica Musicale
Cosa è un la Correlazione fra due variabili?!
Introduzione e conoscenze di base
• Per la cronaca: LA CORRELAZIONE TRA DUE
FENOMENI NON IMPLICA UN RAPPORTO DI CAUSALITA’
Oppure si?
Giorgio Presti, Laboratorio di Informatica Musicale
Cosa è un la Correlazione fra due variabili?!
Introduzione e conoscenze di base
• Per la cronaca: LA CORRELAZIONE TRA DUE
FENOMENI NON IMPLICA UN RAPPORTO DI CAUSALITA’
Quindi il succo è…
Giorgio Presti, Laboratorio di Informatica Musicale
Cosa è un Segnale Multivariato?!
Introduzione e conoscenze di base
• Un segnale multivariato è un segnale composto dalla
combinazione di più componenti
• Avere più osservazioni di un segnale multivariato
significa avere diversi segnali, in cui le stesse
componenti sono miscelate in modi diversi
Giorgio Presti, Laboratorio di Informatica Musicale
Blind Source Separation
Table of Contents
• Cosa è un MIX?!
Introduzione e conoscenze di base
• Fondamenti di Blind Source Separation
Tecniche statistiche e percettive
• Una personale prospettiva di ricerca
Separazione come interrogazione dello spazio di rappresentazione
• Applicazioni
Esempi d’uso
Fondamenti di Blind Source Separation
Tecniche statistiche e percettive
• Indipendent Component Analysis
Rotazione e deformazione dello spazio per esplicitare le componenti
• Non-Negative Matrix Factorization
Decomposizione dello spettro come prodotto fra matrici
• Computational Auditory Scene Analysis
Simulazione del sistema percettivo e mascheramento dello spettro
Giorgio Presti, Laboratorio di Informatica Musicale
ICA
Rotazione e deformazione dello spazio per esplicitare le componenti
• Segnali A e B prima della miscelatura
Giorgio Presti, Laboratorio di Informatica Musicale
ICA
Rotazione e deformazione dello spazio per esplicitare le componenti
• Miscele M1 e M2
Giorgio Presti, Laboratorio di Informatica Musicale
ICA
Rotazione e deformazione dello spazio per esplicitare le componenti
• Minimizzazione della curtosi
Giorgio Presti, Laboratorio di Informatica Musicale
ICA
Rotazione e deformazione dello spazio per esplicitare le componenti
• Rappresentazione dati mediante componenti indipendenti
Giorgio Presti, Laboratorio di Informatica Musicale
NMF
Decomposizione dello spettro come prodotto fra matrici
Giorgio Presti, Laboratorio di Informatica Musicale
NMF
Decomposizione dello spettro come prodotto fra matrici
Giorgio Presti, Laboratorio di Informatica Musicale
CASA
Simulazione del sistema percettivo e mascheramento dello spettro
L’obbiettivo non è la separazione, ma l’organizzazione
delle informazioni in strutture utili
Da cui è possibile estrarre le maschere per isolare le sorgenti
Come funziona:
• Si isolano piccoli elementi
• Li si raggruppa in sorgenti
• Si estraggono gli attributi delle sorgenti
Giorgio Presti, Laboratorio di Informatica Musicale
CASA
Simulazione del sistema percettivo e mascheramento dello spettro
Simulazone coclea: Gammatone filter
Principi gestaltici
Mascheratura dello spettro
Astrazioni della scena sonora
Giorgio Presti, Laboratorio di Informatica Musicale
CASA
Simulazione del sistema percettivo e mascheramento dello spettro
Data-driven VS Prediction-driven
Giorgio Presti, Laboratorio di Informatica Musicale
CASA
Simulazione del sistema percettivo e mascheramento dello spettro
Data-driven VS Prediction-driven
Giorgio Presti, Laboratorio di Informatica Musicale
CASA
Simulazione del sistema percettivo e mascheramento dello spettro
Alcuni principi della Gestalt considerati in CASA
Giorgio Presti, Laboratorio di Informatica Musicale
CASA
Simulazione del sistema percettivo e mascheramento dello spettro
Alcuni principi della Gestalt considerati in CASA
Giorgio Presti, Laboratorio di Informatica Musicale
CASA
Simulazione del sistema percettivo e mascheramento dello spettro
Alcuni principi della Gestalt considerati in CASA
Giorgio Presti, Laboratorio di Informatica Musicale
Pro e Contro
Confronto fra i diversi approcci
Tecnica
Pro
Contro
ICA
Mix Istantanei
Armonici sovrapposti
Tante osservazioni quante sorgenti
Sensibile a non linearità e conv.
Non recupera il volume originale
NMF
Resistente a conv. e non linearità
Recupero dei livelli
Armonici sovrapposti
Training
CASA
Resistente a conv. e non linearità
Recupero dei livelli
Risposte soggettive
Armonici sovrapposti
Risposte soggettive
Giorgio Presti, Laboratorio di Informatica Musicale
Blind Source Separation
Table of Contents
• Cosa è un MIX?!
Introduzione e conoscenze di base
• Fondamenti di Blind Source Separation
Tecniche statistiche e percettive
• Una personale prospettiva di ricerca
Separazione come interrogazione dello spazio di rappresentazione
• Applicazioni
Esempi d’uso
Una personale prospettiva di ricerca
Separazione come interrogazione dello spazio di rappresentazione
• Sources as regions of space
Separation achieved by filterig, masking or resampling portions of space
• Sources as objects in space
Separation achieved by fitting parametric objects in space
• Sources as components in space
Separation achieved by decomposing space with NMF or ICA
space?
Giorgio Presti, Laboratorio di Informatica Musicale
Spazi di rappresentazione
Space as time, frequency and…
• Time-Frequency Mixture Space
Sources distributed in 2 observations
• Time-Frequency Structure Space
Local properties of an image
Giorgio Presti, Laboratorio di Informatica Musicale
Spazi di rappresentazione
Space as time, frequency and…
• Mixture Space
Interpolating 2 observations
A couple of observations,
a continuum in between,
peaks on principal components
Giorgio Presti, Laboratorio di Informatica Musicale
Spazi di rappresentazione
Space as time, frequency and…
• Mixture Space
Each frequency bin of the couple can be represented with a single vector:
Angle → Hue
Correlation → Saturation
Magnitude → Brightness
Giorgio Presti, Laboratorio di Informatica Musicale
Spazi di rappresentazione
Space as time, frequency and…
• Mixture Space
Giorgio Presti, Laboratorio di Informatica Musicale
Spazi di rappresentazione
Space as time, frequency and…
• Structure Space
Assign a vector to each point,
parallel to the crests on which it lays
Giorgio Presti, Laboratorio di Informatica Musicale
Spazi di rappresentazione
Space as time, frequency and…
• Structure Space
Assign a vector to each point,
parallel to the crests on which it lays
Giorgio Presti, Laboratorio di Informatica Musicale
Spazi di rappresentazione
Space as time, frequency and…
• Structure Space
Highlight the direction of streaks
Angle → Hue
Magnitude → Saturation
Input → Brightness
Giorgio Presti, Laboratorio di Informatica Musicale
Blind Source Separation
Table of Contents
• Cosa è un MIX?!
Introduzione e conoscenze di base
• Fondamenti di Blind Source Separation
Tecniche statistiche e percettive
• Una personale prospettiva di ricerca
Separazione come interrogazione dello spazio di rappresentazione
• Applicazioni
Esempi d’uso
Applications
Use cases of the proposed techniques
• Mixture Space
Stereo to Multichannel expansion; Data visualization; Denoising; Classification;
Mix correction, phase correction and many audio editing tools…
• Structure Space
Distinction between percussive and pitched sounds, but also many
image processing uses are possible…
Giorgio Presti, Laboratorio di Informatica Musicale
Thanks for your attention!
Giorgio Presti
