APPROSSIMAZIONE DI FUNZIONI AF - 1 • La regressione e la classificazione sono due aspetti particolari dell’ APPROSSIMAZIONE DI FUNZIONE • Le MLP possono essere viste come particolari REGRESSORI NON LINEARI PROBLEMA Sia: x input d = f ( x ) funzione incognita x Obiettivo : trovare f (.) assegnato un numero finito di coppie ( x , w ) f (.) incognita d fˆ x, w y risposta desiderata + e • y fˆ x, w dipende dalla scelta di w che può essere modificato per minimizzare la discrepanza tra y e d • quando y approssima d, il sistema adattativo sta approssimando f x con la sua mappa input-output y fˆ x, w AF - 2 • La natura di f (.) e il criterio di errore definiscono il problema di learning – Se f (.) lineare e criterio di errore MSE REGRESSIONE LINEARE – Se f (.) produce valori 1/0 ( -1/ 1 ) classificazione. In tale caso la funzione è chiamata FUNZIONE INDICATORE – Anche il problema della generalizzazione può essere trattato matematicamente nell’ottica dell’approssimazione di funzioni UTILITA’ DELLE RNA NELL’APPROSSIMAZIONE DI FUNZIONE – SONO APPROSSIMATORI UNIVERSALI – SONO APPROSSIMATORI EFFICIENTI – POSSONO ESSERE IMPLEMENTATE COME SISTEMI ADATTATIVI OBIETTIVO DELLA AF AF - 3 Descrivere il comportamento di funzioni altamente complesse utilizzando insiemi di funzioni più semplici Es: - Legendre e Gauss uso di polinomi - Sviluppo in serie di Taylor approssimazione nell’intorno di un punto - Serie di Fourier uso dei polinomi trigonometrici Generalizzazione Hp: f ( x) reale x x1,, xD T reale f (x) quadratica mente integrabil e TEOREMA DELLA PROIEZIONE LINEARE Si può descrivere f(x), in una area compatta S dello spazio degli ingressi attraverso una combinazione di funzioni semplici jix), cioè: N Con e arbitrariamente piccolo i 1 fˆ ( x, w) approssima nte di f ( x) fˆ ( x, w) wiji ( x) con w w1,, wN tale che : f ( x) fˆ ( x, w) e ji funzioni elementari REALIZZAZIONE AF - 4 j1 j2 x1 x2 w2 jk wk xd w1 S f (x,w) wN jN Quando si determinano i coefficienti wi che rendono e arbitrariemente piccolo per qualunque f (.) nel dominio d’interesse si dice che l’insieme {ji (.)} ha la proprietà di approssimatore universale sulla classe f (.), o anche che l’insieme è completo PROBLEMI 1. SCEGLIERE LE FUNZIONI ELEMENTARI ji (.) 2. CALCOLARE I PESI wi 3. SELEZIONARE IL NUMERO N DI FUNZIONI ELEMENTARI 1. AMPIA SCELTA (TRIGONOMETRICHE, SINC, WAVELET, etc.) Nota: I neuroni nascosti di una MLP con 1 strato nascosto implementano una possibile scelta delle funzioni elementari ji (.) 2. La scelta dei wi dipende dal criterio usato per calcolare la discrepanza tra f (x ) e fˆ ( x, w) Es: criterio LS i wi possono essere calcolati analiticamente AF - 5 Se N è pari al numero di pattern d’ingresso xi: si può scrivere: j1 ( x1 ) j N ( x1 ) w1 f ( x1 ) w 1 f j1 ( xN ) j N ( xN ) wN f ( xN ) f è un vettore dei valori della funzione negli N punti CRITERI PER LA SCELTA DELLE {ji(.)} • Devono essere approssimatori universali per la classe di funzioni f(.) • Devono essere facilmente trattabili matematicamente • Deve esistere 1 ( x) verificato se le ji costituiscono una base, cioè sono linearmente indipendenti w1j1( x) wNj N ( x) 0 se e solo se (w1,, wN ) 0 SPESSO SI ASSUME CHE LE {ji(.)} SIANO UNA BASE ORTONORMALE TEOREMA DEL CAMPIONAMENTO AF - 6 Si può approssimare qualunque segnale reale che sia smooth in un intervallo conoscendo i valori del segnale in un insieme finito di punti equispaziati (detti campioni) nell’intervallo a) Funzioni sinc ji ( x) sinc( x xi ) sin( x xi ) x xi Si può dimostrare che i pesi sono i valori del segnale nei punti di campionamento b) Serie di Fourier AF - 7 c) Wavelet • Nella trasformata di Fourier le funzioni elementari hanno estensione infinita nel tempo • In molte applicazioni i segnali hanno durata temporale finita (es. transitori) • L’idea alla base dell’analisi wavelet è di scegliere una forma d’onda adatta a rappresentare il segnale e poi creare molte versioni traslate e scalate dell’onda “madre” • La decomposizione wavelet ha due parametri: fˆ ( x, w) wijj ij ( x) i j j ij ( x) 2 j / 2 j (2 j x i ) Traslazione e scalatura di una wavelet • Usando sistemi adattativi i pesi possono essere trovati attraverso il learning piuttosto che analiticamente AF - 8 • Le basi sono dipendenti dai dati Basi per l’approssimazione di funzioni non lineari con le MLP • Funzioni elementari locali: rispondono primariamente ad un’area limitata dello spazio degli ingressi • Funzioni elementari globali: rispondono all’intero spazio degli ingressi +1 X1 X2 XD b1 j1 a11 ji w1 w1 S y ji ( x) aik xk bi k y wiji i La MLP realizza l’approssimazione di funzione usando come basi esattamente le uscite dei neuroni nascosti Approssimazione con funzioni logistiche AF - 9 Nota: i neuroni sigmoidali realizzano funzioni elementari globali Interpretazione: la MLP sta realizzando una approssimazione di funzione con un set di BASI ADATTATIVE che vengono realizzate dai dati di input-output Esse dipendono dai pesi del primo strato e dagli ingressi RADIAL BASIS FUNCTION (RBF) AF - 10 ji ( x) ( x xi ) • di norma è una gaussiana: x2 mono - dimensiona le G ( x ) exp 2 2 x T 1 x multi - dimensiona le G ( x ) exp 2 2 : varianza 2 I : matrice di covarianza • La gaussiana è centrata in x i con varianza 2 : ha il massimo della risposta nell’intorno dell’ingresso x i e decade esponenzialmente col quadrato della distanza • Sono funzioni elementari locali N • Dalla: ˆ f ( x, w) wij i( x) i 1 fˆ ( x, w) wiG x xi i APPROSSIMAZIONE CON RBF monodimensionale L’APPROSSIMAZIONE CON RBF RICHIEDE: AF - 11 • Il posizionamento delle Gaussiane per coprire lo spazio degli ingressi • Il controllo dell’ampiezza di ciascuna Gaussiana • Il controllo della larghezza di ciascuna Gaussiana DIFFERENZE TRA MLP E RBF RBF: - basi locali modificandone una non si influenza l’approssimazione nelle altre zone dello spazio - il numero di RBF cresce esponenzialmente con le dimensioni dello spazio da coprire - Allenamento efficiente una volta determinati i centri delle funzioni infatti l’errore è lineare coi pesi - Convergenza al minimo globale purché i pesi siano posizionati in modo ottimo LE RBF SONO MOLTO ADATTE PER L’IDENTIFICAZIONE DI SISTEMI Scelta del numero di basi AF - 12 Una scelta ottimale discende da un compromesso tra l’errore sul modello e la sua varianza Analogia col fitting polinomiale Alto bias (errore) Alta varianza non generalizza • I fiducial sono gli esempi del trainig set • Il dominio completo è costituito da tutti i dati possibili d’ingresso • Il polinomio corrisponde alla mappa input/output creata dalla rete • I coefficienti del polinomio equivalgono ai pesi delle connessioni • Il grado del polinomio corrisponde al numero di pesi