Dott. Angiati Elena RELAZIONE SULL'ATTIVITA' E LE RICERCHE SVOLTE ALLA CONCLUSIONE DEL SECONDO ANNO DEL XXIII CICLO DEL CORSO DI DOTTORATO DI RICERCA IN SCIENZE E TECNOLOGIE DELL’INFORMAZIONE E DELLA COMUNICAZIONE, INDIRIZZO: SCIENZE ED INGEGNERIA DELLO SPAZIO 1. TEMATICHE DI RICERCA Le tematiche da me sviluppate hanno avuto per oggetto: 1) Studio e sviluppo di algoritmi di elaborazione di immagini SAR per il monitoraggio del territorio; 1.1. Studio e sviluppo di algoritmi di elaborazione di immagini SAR per il monitoraggio del territorio Durante il mio secondo anno di dottorato è stata proseguita la ricerca inerente lo studio di metodi per l’elaborazione di immagini SAR (Synthetic Aperture Radar) per il monitoraggio del territorio. L’utilizzo del dato SAR infatti è particolarmente indicato per il monitoraggio di disastri naturali, in quanto permette di identificare la situazione al suolo in qualsiasi condizione meteorologica e di illuminazione (giorno/notte) [1]. Le principali attività di ricerca del secondo anno di dottorato si sono focalizzate su: − Analisi di metodi di “despeckling” per la riduzione del rumore moltiplicativo in immagini SAR [2],[4]; − Pre-processing di immagini SAR per normalizzazione del modello dell’immagine per il miglioramento delle elaborazioni multitemporali [5]; − Studio delle statistiche di diverse classi di territorio nelle varie tipologie di immagini SAR acquisite tramite il nuovo programma spaziale Cosmo/Skymed; − Sviluppo di diversi metodi di segmentazione (multitemporali, adattivi anisotropi, a colori, fuzzy) [6][7][8][9]; − Studio ed implementazione di algoritmi di estrazione di “feature” lineari e semantiche da immagini ottiche ad alta risoluzione per il supporto della generazione di modelli virtuali 3D dell’ambiente urbano. L’attività di ricerca è stata effettuata nell’ambito del progetto OPERA, in collaborazione con la Protezione Civile e l’Agenzia Spaziale Italiana, come progetto pilota per la prevenzione e il monitoraggio delle alluvioni, con lo scopo di supportare le decisioni di protezione civile basate sull’uso del dato di osservazione della terra e valutare i vantaggi di tali tecniche in confronto con quelle tradizionalmente usate nella prassi operativa. Le attività di interesse nell’ambito del progetto si focalizzano principalmente sulla generazione di modelli 3D della aree urbane, sull’individuazione dell’estensione dei corpi idrici presenti all’interno di un determinato bacino e dei laghi alpini in formazione, sulla generazione di mappe delle aree inondate in caso di evento alluvionale. Tutti gli esperimenti sono stati effettuali sia sulle immagini della nuova missione satellitare Cosmo/Skymed, impiegando immagini acquisite, in diverse modalità e con conseguente diversa risoluzione spaziale e in differenti configurazioni geometriche, sia su immagini di ERS. 1.1.1 Analisi di metodi di “despeckling” per la riduzione del rumore moltiplicativo in immagini SAR Le immagini SAR sono affette da rumore moltiplicativo detto “speckle”, causato dall’interferenza casuale, di tipo sia distruttivo sia costruttivo, degli echi di ritorno sfasati dovuti agli scatteratori presenti all’interno di una cella di risoluzione [1]. L’analisi effettuata ha comparato tra loro diversi tipi di filtraggi adattivi di diffusione anisotropa largamente impiegati in letteratura per la riduzione di questo tipo di rumore. In particolare si sono scelti sia filtri classici come quelli di Lee e Frost e due miglioramenti dei suddetti filtri, i cosiddetti Enhanced Lee ed Enhanced Frost, sia il più recente filtraggio “Speckle Reducing Anisotropic Diffusion” (SRAD) di Yu e Acton [2], [3], che riduce il rumore iterativamente, preservando i contorni presenti nelle immagini. Quest’ultimo tipo di filtraggio nasce per le applicazioni in ambito biomedico per la riduzione del rumore presente in immagini ad ultrasuoni [10][11]. Si è scelto di applicare questo tipo di filtraggio anche alle immagini SAR, poiché il metodo può essere efficacemente impiegato anche in questo ambito [12]. Gli esperimenti per il confronto dei vari metodi di filtraggio sono stati applicati alle immagini provenienti dalla missione Cosmo/Skymed. Le immagini utilizzate sono state acquisite in diverse modalità di risoluzione, con una conseguente diversità di risoluzione e numero di look. Inoltre anche le caratteristiche di geometria di acquisizione come lookside (right/left) e tipo di orbita (ascending/descenging) potevano variare in funzione delle immagini. I diversi metodi di filtraggio sono stati testati su immagini Cosmo/Skymed, acquisite sia in configurazione Stripmap (3 metri di risoluzione) che in configurazione Spotlight (1 metro di risoluzione) su un’area del Piemonte, in prossimità della città di Alessandria, in configurazioni geometriche di right/ascending e left/descending. Le valutazioni qualitative dimostrano che il filtraggio SRAD permetta una migliore riduzione di rumore e una migliore preservazione dei contorni rispetto ai metodi tradizionali di Lee, Frost, Enhanced Lee ed Enhanced Frost. Le analisi per la valutazione delle prestazioni dei filtraggi sono state inizialmente di tipo qualitativo, effettuati tramite un’analisi visiva delle immagini. Si sono iniziati studi di valutazione quantitativa tramite l’utilizzo di parametri numerici quali il “Speckle Suppression Index (SSI)” [13], che permette di valutare la bontà del filtraggio utilizzando l’immagine affetta da rumore e la corrispettiva filtrata, senza necessitare dell’immagine assente da rumore. Le valutazioni vengono effettuate al variare dei parametri dei differenti filtri, al fine di individuare la migliore configurazione dei parametri stessi che permetta di ottenere la migliore riduzione del rumore, senza l’eccessivo bluring dei contorni e dei dettagli dell’immagine. I risultati delle valutazioni così come lo studio e lo sviluppo di diversi metodi di filtraggio basati su analisi wavelet e diffusione anisotropa fanno parte delle attività di ricerca del terzo anno di dottorato. 1.1.2 Pre-processing di immagini SAR l’elaborazione multitemporale L’elaborazione di immagini SAR multitemporali, acquisite sulla stessa area ma in istanti di tempo successivi, necessita di alcune pre-elaborazioni. Infatti non sempre è possibile ottenere una coppia di immagini multitemporale acquisite con la medesima geometria del sensore. Gli studi effettuati su differenti immagini di Cosmo/Skymed hanno dimostrato che la geometria può influenzare pesantemente sui risultati delle elaborazioni multitemporali. I migliori risultati si ottengono quando la geometria è identica; buone prestazioni si hanno con coppie di immagini acquisite con angolo di look e direzione dell’orbita dimetricamente opposta (ad esempio left-descending e right-ascending oppure left-ascending e right-descending), mentre non è possibile utilizzare i dati eterogenei provenienti da immagini acquisite al variare della sola direzione dell’orbita (ad esempio right-ascending e right-descending) Nei primi due casi descritti sopra è possibile utilizzare le immagini, ma solo dopo un’opportuna coregistrazione, che nel caso specifico è stata effettuata sotto ipotesi di non rotazione ne scalamento delle immagini, tramite il calcolo dello shift da applicare all’immagine slave per riportarla sull’immagini master. Inoltre, nel caso di acquisizione delle immagini con geometria opposta, si osservano cambiamenti nella dinamica dell’immagine, che possono generare differenze imputabili non a cambiamenti avvenuti al suolo ma a diversità nella modalità di acquisizione delle immagini. Questa problematica può essere risolta elaborando le singole immagini e normalizzando la distribuzione dell’istogramma in modo da ricondurlo ad un modello noto e poter così ottimizzazione la generazione dei prodotti multitemporali. Lo studio di diverse elaborazioni delle immagini di ampiezza SAR, che seguono una legge di distribuzione di Rayleigh [1], hanno portato a selezionare le seguenti elaborazioni come le migliori: Troncamento dell’istogramma originale dell’immagine al 95-esimo o 99-esimo percentile e riscaldamento nell’intervallo [0-255]; Successiva equalizzazione dell’immagine troncata. Un esempio di risultati delle elaborazioni sono mostrate in Figura 1. Le immagini utilizzate sono state acquisite tramite Cosmo/Skymed in modalità Spotlight, su un’area presso Alessandria in date 29/04/2009 (left-descending) e 01/05/2009 (right-ascending). L’operazione di troncamento limita il range di livelli di grigio di interesse ad un intervallo compreso entro il 95-esimo percentile della dinamica iniziale dell’immagine, mentre la successiva equalizzazione permette di normalizzare la distribuzione dei livelli di grigio. Tali elaborazioni hanno condotto a risultati di segmentazione e/o classificazione più accurati rispetto all’utilizzo delle immagini originali. (a) Troncamento al 95-esimo percentile (Immagine 29/04/2009) (b) Troncamento al 95-esimo percentile & equalizzazione (Immagine 29/04/2009) (d) Troncamento al 95-esimo percentile & equalizzazione (Immagine 01/05/2009) (c) Troncamento al 95-esimo percentile (Immagine 01/05/2009) Figura 1: Risultati della pre-elaborazione per uniformare la distribuzione dei livelli di grigio delle immagini multitemporali 1.1.3 Studio delle statistiche di diverse classi di territorio nelle varie tipologie di immagini SAR - Cosmo/Skymed Sono state effettuate analisi delle statistiche delle immagini SAR relative a differenti classi di territorio, al fine di individuare pre-elaborazioni utili al miglioramento della separabilità di classi di interesse. In particolare si è focalizzata l’attenzione sull’analisi del comportamento di due differenti classi, “Acqua” e “Non acqua”, nelle immagini Cosmo/Skymed, acquisite sia in modalità Spotlight. Sono state analizzate medie e varianze campionarie di campioni delle due classi individuati in diverse immagini acquisite con caratteristiche geometriche differenti (configurazioni left-descending e right-ascending) al fine di individuare criteri stabili per la validazione delle aree indicate come di possibile presenza di acqua. Si è inizialmente analizzato lo scatter-plot di media e varianza delle due classi osservate nelle immagini originali (Figura 2-a), osservando come fosse presente una correlazione tra valori di media e varianza, dovuti al rumore moltiplicativo che affligge le immagini SAR. Sono stati effettuati esperimenti di differenti elaborazioni al fine di rendere maggiormente separabili le due classi e si è concluso che l’elaborazione già precedentemente descritta di troncamento dell’istogramma seguito dall’equalizzazione (vedi paragrafo 1.1.2) portasse ai migliori risultati (Figura 2-b). Scatter Plot - Immagini Originali Scatter Plot - Immagini Troncate 8 bpp - Equalizzate 80 70 70 60 60 Acqua - P Acqua - PP Acqua - PPP 40 No Acqua - P No Acqua - PP No Acqua - PPP 30 Deviazione standard Deviazione standard 50 50 Acqua - P 40 Acqua - PP Acqua - PPP No Acqua - P 30 No Acqua - PP No Acqua - PPP 20 20 10 10 0 0 0 20 40 60 80 Media 100 120 140 160 0 50 100 150 200 250 Media (a) (b) Figura 2: Scatter-plot di medie e varianze campionarie di campioni classe “Acqua” (in toni di blu) e “Non Acqua” (in toni di arancione) di tre immagini Spotlight acquisite in un’area del Tanaro (vicinanze di Alessandria) in date 29/04/2009, 30/04/2009 e 01/05/2009 (a) Immagini originali; (b) Immagini elaborate tramite troncamento e successiva equalizzazione 1.1.4 Sviluppo di diversi metodi di segmentazione (multitemporali, adattivi anisotropi, a colori, fuzzy) Durante il secondo anno di dottorato sono stati studiati diversi approcci di segmentazione: o Segmentatore multiseme monocanale con sogliatura adattiva rispetto alla statistica locale: è un algoritmo di segmentazione che sfrutta la statistica locale nell’intorno di uno o più punti seme inseriti dall’utente per la stima dei parametri intrinseci all’algoritmo, in modo da tenere in considerazione le caratteristiche di ogni regione da individuare. Regioni anche disomogenee tra loro e necessitanti di parametri specifici possono essere individuate contemporaneamente. La crescita delle regioni è anisotropa e robusta a piccoli spostamenti del punto seme; o Segmentatore fuzzy monoseme monocanale: permette di identificare una sola regione di interesse all’interno dell’immagine, segmentando tutta l’immagine tramite logica e misure topologiche fuzzy. Viene generata una mappa di connettività inerente il punto seme inserito e successivamente si individua la regione di interesse applicando una sogliatura a tale mappa; o Segmentatore multiseme multitemporale: permette di individuare cambiamenti avvenuti in immagini multitemporali monocanale tramite l’indicazione di punti seme. Anche in questo caso le elaborazioni sono di tipo anisotropo ed adattivo; o Segmentatore a colori lineare: l’algoritmo elabora un’immagine proveniente da una composizione RGB di dati multitemporali e permette di generare una mappa di classificazione tramite la sogliatura delle varie componenti per l’identificazione di cambiamenti. o Segmentatore multiseme a colori con sogliatura adattiva rispetto alla statistica locale: è un segmentatore che effettuale la crescita anisotropa ed adattiva tramite l’analisi della statistica locale nell’intorno di uno o più punti seme in un’immagine a colori RGB, utilizzando la trasformazione nello spazio Lab per sfruttare le proprietà di distanza uniforme tra i colori. Esperimenti di segmentazione sono stati effettuati su immagini Cosmo/Skymed Stripmap per l’identificazione di laghi (Figura 3 - Segmentatore fuzzy “seed-growing” monoseme monocanale), per la generazione di mappe delle aree inondate speditive (Figura 4 Segmentatore a colori lineare) e dettagliate (Figura 5 - Segmentatore “seed-growing” multiseme multitemporale) (a) (b) (c) Figura 3: Segmentazione di immagini Stripmap acquisite in un’area del Piemonte per l’identificazione di corpi idrici tramite Segmentatore fuzzy “seed-growing” monoseme monocanale. (a) Immagine originale del 02/06/2008 (b) Mappa di connettività (c)ed identificazione del corpo idrico (a) Immagine del 30/04/2009 (b) Immagine del 01/05/2009 (c) Composizione RGB delle aree inondate (d) Mappa delle aree inondate speditive. Legenda: Blu speditive. Legenda: Rosso cupo = “Acqua = “Acqua permanente”; Cyano = “Inondato” permanente”; Magenta = “Inondato” Figura 5: Segmentazione di immagini Stripmap acquisite in un’area del Tanaro (vicinanze di Alessandria) per la generazione di mappe delle aree inondate dettagliate tramite Segmentatore “seed-growing” multiseme multitemporale (a) Immagine del 30/04/2009 (b) Immagine del 01/05/2009 (c) Mappa delle aree inondate dettagliate. Legenda: Blu = “Acqua permanente”; Cyano = “Inondato” Figura 5: Segmentazione di immagini Stripmap acquisite in un’area del Tanaro (vicinanze di Alessandria) per la generazione di mappe delle aree inondate dettagliate tramite Segmentatore “seed-growing” multiseme multitemporale 1.1.5 Studio ed implementazione di algoritmi di estrazione di “feature” lineari e semantiche da immagini ottiche ad alta risoluzione per il supporto della generazione di modelli virtuali 3D dell’ambiente urbano Sono stati implementati metodi di elaborazione di immagini ottiche ad alta risoluzione per l’estrazione di “feature” lineari e semantiche per il supporto della generazione di modelli virtuali 3D dell’ambiente urbano. In particolare si sono implementati algoritmi per l’estrazione di perimetri di strutture di interesse e le ombre correlate a questi ultimi, da cui è possibile estrarre l’informazione di altezza. Tali algoritmi uniscono il metodo di segmentazione “seed-growing” multiseme a colori con sogliatura adattiva rispetto alla statistica locale presentato nel paragrafo precedente con metodi di estrazione di contorni e segmenti. Gli esperimenti sono stati effettuati su diverse immagini acquisite sull’area di Chicago e mostrate in Figura 6, in cui sono riportati in rosso i perimetri delle strutture di interesse e in verde le ombre. Figura 6: Identificazione di perimetri di strutture e ombre per il supporto alla generazione di modelli 3D Riferimenti bibliografici 1.1 [1] Oliver, C., and Quegan, S.: 2004, “Understanding Synthetic Aperture Radar Images”, SciTec Publishing. [2] Yu, Y. Acton, S.T., 2002, “Speckle reducing anisotropic diffusion”, IEEE Transactions on Image Processing, 11(11) [3] Perona, P., Malik, J., 1990, “Scale Space and edge detection using anisotropic diffusion”, IEEE Trans. Pattern Anal. Machine Intelligence, 12: 629–639 [4] Z Shi, KB Fung, 1994, “A comparison of digital speckle filters”, Geoscience and Remote Sensing Symposium, 2129-2133 [5] A.K.JAIN, 1989 “Fundamentals of Digital Image Processing”, Prentice Hall Inf. and Sys. Sciences Series [6] Bo, G., Dellepiane, S.G., De Laurentiis, R., 2000: “Semiautomatic coastline detection in remotely sensed images”, IEEE 2000 International Geoscience and Remote Sensing Symposium, IGARSS 2000, 5: 1869-1871 [7] Dellepiane, S., Fontana, F., 1995: “Extraction of intensity connectedness for image processing”, Pattern Recognition Letters, 16:313-324. [8] Dellepiane, S., Fontana, F., 1996: “Supervised fuzzy contextual segmentation of polarimetric SAR images”, European Transactions on Telecommunications, 7:515-525 [9] G. J. Klir, T.A. Folger , “Fuzzy sets, uncertainty, and information”, Prentice Hall, Englewood Cliffs, New Jersey [10] Q. Suna, J. A. Hossackb, J. Tangc, S. T. Actonb, 2004, “Speckle reducing anisotropic diffusion for 3D ultrasound images”, Computerized Medical Imaging and Graphics, Volume 28, Issue 8, Pages 461-470 [11] B. C. Yoo, J. G. Ryu, H. K. Park, T. H. Nishimura, "Multi-scale Based Adaptive SRAD for Ultrasound Images Enhancement," wcecs, pp.258-266, Advances in Electrical and Electronics Engineering - IAENG Special Edition of the World Congress on Engineering and Computer Science 2008, 2008 [12] Yu, Y. and Acton, S. T. “Automated delineation of coastline from polarimetric SAR imagery”, International Journal of Remote Sensing, 25: 17, 3423-3438 [13] Y. Sheng, Z. Xia, 1996, “A comprehensive evaluation of filters for radar speckle suppression”, Geoscience and Remote Sensing Symposium,. IGARSS '96, 1559-1561 vol.3 2. ELENCO DELLE PUBBLICAZIONI Conference papers: [1] E. Angiati, G. Moser, S. B. Serpico, “Multiscale unsupervised change detection by Markov random fields and wavelet transforms”, Proceedings of SPIE, Conference on Image and Signal Processing for Remote Sensing XIII, Florence, Italy, 17-20 September 2007. A. Renga, A. Moccia, M. D’Errico, S. Dellepiane, E. Angiati, G. Vernazza, P. Lombardo, F. Colone, M. Sedehi, D. Cristallini, S. Pignataro, Q. Rioli, G. Milillo, C. Bruno, F. Di Giorgio, M. Labriola, “From the expected Scientific Applications to the Functional Specifications, Products and Performance of the SABRINA missions”, IEEE Radar Conference, May 26-30, 2008, Rome, Italy, pp. 11171122, IEEE Catalog No. 08CH37940C, ISBN 1-4244-1539-X, ISSN 1097-5659. [2] [3] G. Moser , E. Angiati, S. B. Serpico, “A contextual multiscale unsupervised method for change detection with multitemporal remote-sensing images”, Intelligent Signal and Image Processing for Remote Sensing, November 30 December 2, 2009, Pisa, Italy, (in press) Research reports: [1] G. Moser , E. Angiati, S. B. Serpico, “Multiscale unsupervised change detection on optical images based on Markov random fields andwavelets”, Gruppo Telecomunicazioni e Tecnologie dell'Informazione (GTTI), June 23-25 2009, Parma, Italy 3. PIANO DI STUDI 3.1. Primo anno − Corso di Tecniche di trasformazione di spazi vettoriali per analisi statistica multidimensionale – G. Moser (CFU 8) − Corso di Elaborazione di immagini 1 – S. Dellepiane (CFU 5) − Corso di Teoria e Tecniche del Riconoscimento 1 – S. Dellepiane (CFU 6) 3.2. Secondo anno − Sistemi e Servizi Cognitivi per l'Intelligenza di Ambiente e le Telecomunicazioni – C. Regazzoni (CFU 8)