Scuola Politecnica e delle Scienze di Base
Corso di Laurea in Ingegneria Informatica
Elaborato finale in Sistemi Multimediali
Tool per l’image annotation & retrieval
Anno Accademico 2013/2014
Candidato:
De Matteo Giuseppe
matr. N46/000754
A tutti coloro che hanno sempre
creduto in me.
Alla mia famiglia e a TE, che
anche se non ci sei piu, vegli su
di me ogni giorno.
Indice
Indice………………………………………………………………………………………………. III
Introduzione……………………………………………………………………………………….....4
Capitolo 1: Image retrieval and annotation..........................................................................................7
1.1 Requisiti per la gestione di archive di foto digitali personali………………………………7
1.2 Standard di metadati esistenti...............................................................................................8
1.3 Sistemi di ricerca e indicizzazione.......................................................................................9
1.4 Visual Information Retrieval.............................................................................................11
Capitolo 2: Caliph & Emir................................................................................................................13
2.1 Annotazione con Caliph..................................................................................................... 14
2.2 Recupero con Emir..............................................................................................................17
Conclusioni........................................................................................................................................23
Biblografia.........................................................................................................................................24
Introduzione
Al giorno d'oggi le attività di ricerca e sviluppo sono accompagnate da una crescente
attenzione alle esigenze degli utenti nel campo del recupero multimediale. La rapida
crescita di archivi di dati multimediali è innegabile. Oltre a grandi aziende, come editori
di giornali,emittenti radio o televisive ecc, che si occupano di contenuti digitali, anche un
numero crescente di utenti crea archivi multimediali per i propri video e per le proprie
foto. La tecnologia di internet e lo spazio del World Wide Web permettono di rendere
reperibili molteplici dati ad un numero sempre maggiore di individui, quindi li potremmo
considerare come dei veri e propri database distribuiti di documenti multimediali sempre
piu in estensione.
Questa evoluzione degli archivi di informazioni digitali ha prodotto in passato un numero
crescente di requisiti specializzati nel recupero intelligente delle informazioni. Sono state
globalmente convenute norme e metodi standardizzati.
Inizialmente si operava in termini di un generico Information Retrieval, dove ogni tipo di
ricerca documentale si effettuava tramite linguaggio testuale. Oggi si parla di MMIR,
MultiMedia Information Retrieval, in cui ogni genere di documento elettronico puo’
essere trattato e ricercato tramite elementi di linguaggio piu adatti alla sua natura di
documento multimediale. Nei database multimediali risultano poco efficaci e troppo
riduttivi i metodi di indicizzazione e di ricerca basati sulle annotazioni terminologiche che,
4
invece, sono molto utili nel reperimento di informazioni testuali, in particolare in archivi il
cui contenuto dei documenti è sostanzialmente un testo.
In sostanza,il metodo del MMIR sperimenta la possibilità di ricercare le immagini tramite
gli appropriati mezzi del linguaggio visivo stesso, i documenti sonori con i mezzi del
linguaggio dei suoni, e i video attraverso le forme di rappresentazione audiovisive.
L’innovazione apportata dal MMIR è fondata sui presupposti del contet-based information
retieval (CBIR), nel quale i documenti multimediali vengono trattati tramite tecniche di
archiviazione e recupero che operano direttamente sul contenuto visivo, sonoro, o
audiovisivo degli oggetti digitali di un database.
La transizione dal term-based retrieval al content-based retrieval solleva la necessita di
metainformazioni addizionali in merito al contenuto in modo da consetinre il semanticretrieval. Di conseguenza i metadati devono essere generati, archiviati e indicizzati così da
arricchire le informazioni visive. Come risultato sono stati sviluppati due tools chiamati
"Caliph & Emir”.
METADATI
Poichè in questo lavoro si parla a lungo di metadati, vale la pena spiegare brevemente la
loro storia e cosa sono.
I metadati sono dati che descrivono caratteristiche e proprietà di un documento e sono
distiniti dal documento stesso, anche se sono inseriti nello stesso file. Proprio quest’ultima
è una delle loro principali virtù: viaggiono insieme all’immagine, sono sempre disponibili.
Nel caso specifico delle immagini, i metadati permettono di inserire informazioni sia a
livello di macchina, sia a livello utente, con un programma di gestione delle immagini.
I primi ad avere l’idea di inserire dati nel file immagine furono i giornalisti o meglio fu
l’International Press and Telecommunications Council (IPTC), che sviluppo’ questa idea
per organizzare e per distribuire le immagini fotografiche presso i quotidiani.
Successivamente l’Adobe con Photoshop creò File Info che aggiungeva ulteriori dati a
quelli proposti dall’IPTC.
5
Con l’avvento della fotografia digitale i principarli produttori si unirono nella Japan
Electronic and Information Industries Association (JEITA), e svilupparono un sistema di
metadati detti Exchangeable Image File Format ovvero EXIF. Questi dati riguardano le
informazioni della foto scattatata come l’esposizione alla luce solare, la data, il codice
seriale dell’apparecchio ecc. Questi dati non sono sufficienti per l’utilizzo moderno delle
immagini digitali da parte di un professionista.
Per rimediare a questa carenza, sulla fine del 2001, la Adobe Systems Incorporated creò
una nuova tecnologia chiamata Extensible Metadata Platform (XMP), e per rendere questa
il piu possibile compatibile con tutte le piattaforme, Adobe chiese al consorzio World
Wide Consortium di definire degli standard con l’inclusione del XML (Extensible Markup
Language). Con questa nuova tecnologia si è ampliato il numero di metadati rendendolo
virtualmente infinito e lo si è reso compatibile con molte piattaforme e programmi di
gestione immagini e non solo.
6
Capitolo 1: Image annotation and retrieval
1.1. Requisiti per la gestione di archivi di foto digitali personali
Il recupero semantico di foto digitali non è possibile senza metadati esistenti, che, come
detto in precedenza, descrivono il contenuto dell’immagine e l'immagine stessa.
La maggior parte delle foto digitali contengono già alcuni metadati memorizzati nei propi
file, mentre il formato dei metadati dipende dalla fotocamera digitale con la quale sono
state scattate le foto; per esempio il modello e il produttore della fotocamera, valori di
esposizione alla luce solare, data e ora della creazione e del salvataggio vengono salvati,
nelle fotocamere digitali comuni, all'interno dei propi file utilizzando l’EXIF . Questi
valori devono essere importati in una descrizione e, oltre a definire chi e dove è stata
scattata l’immagine, dovrebbe anche essere possibile salvare chi ha creato i metadati.
Ovviamente, deve essere integrata la possibilità di descrivere l'immagine con un breve
testo. Tuttavia l'obiettivo principale è quello di creare, calcolare e salvare una descrizione
del contenuto visivo dell'immagine e, inoltre, dovrebbe essere consentito all'utente di
descrivere contenuti non visibili, come sentimenti o stati d’animo,"amicizia"o”amore”, che
potrebbero essere associati all'immagine. Oltre al tempo e il luogo in cui la foto è stata
scattata, persone, gruppi di persone e oggetti devono essere descritti per migliorare la
capacità di recupero.
Queste entità di descrizione sono interconnesse come si può facilmente vedere nel
seguente esempio:
7
"Puffy, il cane che appartiene a mio zio Adam" .
Si definisce un cane di nome "Puffy" e una persona chiamata "Adam", che è il proprietario
del cane, e ha un rapporto di parentela col narratore. Questo può essere visualizzato in un
grafo orientato, illustrato nella figura 1. E’ piuttosto evidente il vantaggio di memorizzare
una descrizione in tale modo strutturato: la descrizione diventa calcolabile, per esempio,
da agenti software che potrebbero lavorare con questi grafi semantici.
Fig.1
Un altro requisito intuitivo è il recupero di immagini simili, caratterizate da un basso
livello di contenuto come istogrammi di colore o texture di immagini.
Caratteristiche importanti per il recupero di immagini sono le valutazioni soggettive e
oggettive di qualità, per esempio utilizzate come vincolo di ricerca. Se il recupero avviene
in un ambiente internet o mobile, sono necessarie diverse istanze di un'immagine in varie
risoluzioni e spazi di colori.
1.2. Standard di metadati esistenti
Lo standard utilizzato per definire come gestire i metadati deve essere molto più potente di
EXIF o per esempio DC, Dublin Core.1 Quest’ultimo definisce solo 15 qualificatori di
base, che possono essere intesi come tag di metadati e possono essere riempiti dall'utente.
Una combinazione di Dublin Core e altre strutture adatte come Resource Description
Framework, RDF, potrebberto almeno consentire l'archiviazione strutturata di grafi simili
all'esempio precedente e un certo rating di qualità, anche se il recupero basato sul
1
Il Dublin Core (dal nome della città americana nell'Ohio) è un sistema di metadati costituito da un nucleo di elementi
essenziali ai fini della descrizione di qualsiasi materiale digitale accessibile via rete informatica.
8
contenuto di immagini potrebbe non essere supportato. L'importazione delle informazioni
EXIF di una struttura basata su RDF è possibile. RDF è lo strumento base proposto
da W3C per la codifica, lo scambio e il riutilizzo di metadati strutturati e consente
l'interoperabilità tra applicazioni che condividono le informazioni sul Web.
Un altro standard internazionale è MPEG-7, il "Multimedia Content Description
Interface", definito dal Moving Pictures Expert Group, che specifica un sistema di
metadati per la descrizione di contenuti multimediali. MPEG-7 definisce le strutture,
denominate descrittori, necessarie per l'annotazione dei dati di immagine audio, video ed è
un modo standardizzato per creare nuovi descrittori. Un descrittore è composto o da valori
o da altri descrittori; il formato per la definizione di tali descrittori è lo XML schema del
W3C. MPEG-7 soddisfa i requisiti sopra citati e poichè è uno standard per la descrizione
basata sui metadati della multimedialità, è anche intercambiabile tra i vari programmi di
diversi fornitori. Inoltre è possibile integrare le norme esistenti, ad esempio Dublin Core,
in MPEG-7. Caratteristica molto importante per il nostro scopo, è la possibilità di
descrivere la semantica dei dati multimediali. I nodi o vertici nel grafo precedente possono
essere definiti con strumenti di entità semantiche di MPEG-7 , che le descrivono come
oggetti, luoghi, agenti, tempi, concetti e stati. I confini sono le relazioni semantiche
comuni, definite dallo standard.
1.3. Sistemi di ricerca e di indicizzazione
Innanzitutto bisogna prima spiegare come avvengono le ricerche e le indicizzazioni sui
dati, divise essenzialmente tra un sitema piu tradizionale, chiamato Term-Based Retrieval
(ricerca basata sui termini) e un sistema di recupero più innovativo come il Content-Based
Retrieval (recupero basato sui contenuti).
-
Term-Based Retrieval
Si basa sulla logica delle parole chiave, cioè una logica di archiviazione e recupero basata
su termini.
9
La query viene espressa testualmente e il processo di ricerca individua i descrittori piu
pertinenti alla richiesta. I descrittori dei documenti multimediali assumono la forma di
termini di indicizzazione, di titoli o didascalie. A questi è collegato il documento
archiviato, che viene automaticamente collegato alla figura, al suono, o alla relativa
anteprima. Il documento, il suo contenuto, le chiavi d’accesso che lo identificano nella
registrazione e la struttura della query nella ricerca hanno tutti forma testuale. La
rappresentazione linguistica lascia però emergere molti problemi. Le queries espresse
terminologicamente sono inadeguate, in quanto la nuova società culturale richiede un
sistema flessibile alla multimedialità, per la ricerca di un’informazione multimediale. Ad
esempio, negli archivi di tutte le specie di animali, per la ricerca di un determinato animale
è essenziale la conoscenza di una terminologia testuale precisa. Il volcabolario degli
studiosi risulta, però, essere poco intuitivo e di nn facile uso per gli utenti medi. Se questi
archivi servono per offrire un servizio informativo il risultato non sarà efficiente, quindi a
poco servirà affrontare il complesso lavoro di assegnare termini ad ogni immagine
secondo i metodi tradizioni: il problema va affrontato cambiando la struttura di base del
sistema.
Serve dunque un metodo più flessibile di ricerca, non vincolato da chiavi e metodi di
classificazione decisi e imposti da qualcun altro.
-
Content-Based Retrieval
Si basa di fatto sulla ricerca del contenuto del documento visivo, sonoro,
audiovisivo,composto da strutture e forme, suoni e colori, e non di un contenuto testuale.
Il metodo del recupero basato sul contenuto mira alll’obiettivo del MMIR: restiturire
l’oggetto che esattamente si cerca, al di là di ogni classificazione. Ovviamente la ricerca
non può avvenire sulla fisicità della tela, o della pellicola, ma avverrà sul loro diretto
corrispondente in valori elettronici, direttamente nel dominio degli effettivi valori spaziali,
formali e sonori.
"Content-based" significa che la ricerca analizza il contenuto dell'immagine, piuttosto che
10
i metadati. Il termine "contenuto" in questo contesto potrebbe riferirsi ai colori, forme,
texture, o qualsiasi altra informazione che possa essere derivata dall'immagine stessa.
CBIR è appropriato poichè le ricerche che si basano esclusivamente su metadati
dipendono dalla qualità di annotazione e completezza.
1.4. Visual Information Retrieval
Lo scopo del visual information retrieval (o Content-Based Information Retrieval CBIR)
è di recuperare immagini o sequenze di immagini da un database multimediale, che
rispondano a determinate query. E’ un’estensione delle attività di recupero effettuate sui
database relazionali, la cui differenza principale è che il risultato della query non è
univoco ma si basa su similarità tra le features che descrivono gli oggetti multimediali.
Features di prima e seconda generazione
I dati multimediali sono caratterizzati da diversi tipi di informazioni:
-
Metadati indipendenti dal contenuto, come il formato, il nome dell’autore, la data, il luogo
ecc;
-
Metadati dipendenti dal contenuto, relativi ad esempio al colore, alla texture ecc;
-
Metadati descrittivi, relativi all’ambito semantico, come relazioni fra le immagini e il
mondo reale, al significato associato a segni e scene ecc.
Come spiegato in precedenza, per la ricerca di immagini, l’approccio tradizione
è
costituito dalle cosiddette features di prima generazione: queste consentono l’accesso a
immagini, video ecc attraverso delle stringhe di attributi. I metadati dipendenti dal
contenuto sono espressi con keywords, mentre quelli descrittivi sono espressi con scripts,
descrizioni estensive scritte tipicamente da esperti del settore. L’operazione di retrieval è
basata su un tradizionale motore di ricerca sintattica. Si è visto che i problemi con questro
approccio sono molteplici: è necessario descrivere manualmente e a parole ogni elemento
del database, la lingua utilizzata non è univoca, la descrizione delle immagini non è
11
oggettiva ma dipende dal punto di vista di chi la compone e infine potrebbero perdersi dei
dettagli nella descrizione.
Invece, nel CBIR, le features di seconda generazione sono feature estraibili in maniera
automatica dai media e permettono di descrivere in modo oggettivo le immagini
(eliminando la percezione della persona che deve descrivere a parole l’oggetto) in modo
automatizzato e molto più velocemente. Per ciascuna immagine vengono calcolate un
insieme di features descrittive.
Ci son diversi tipi di query : quelle usate per identificare un set di immagini con uno
specifico contenuto (Query by Content), ad esempio trovare tutte le immagini con un
albero a destra di una casa, dove vengono effettuati richiami topologici, metrici ecc; quelle
che si basano su esempi visivi (Query by Example), cioè il sistema valuta la similarità tra
l’immagine inserita dall’utente e quelle presenti nel database, restituendo come risultato le
immagini ordinate per valori di similarità percentuali decrescenti; quelle, tra l’altro meno
utilizzate, che consentono di recuperare informazioni attraverso concetti ad alto livello
(Query Iconiche), dove le icone possono rappresentare categorie di oggetti o di persone.
Per rendere le query più robuste, è importante garantire l’indipendenza rispetto a
variazioni nelle dimensioni, nelle proporzioni, nelle condizioni di luce delle immagini.
12
Capitolo 2: Caliph & Emir
Come esposto nel paragrafo 1.2, MPEG-7 è uno standard complesso basato su XML,
ovvero un linguaggio basato su un meccanismo sintattico che consente di definire e
controllare il significato degli elementi contenuti in un documento o in un testo. Poichè
non è una buona idea far confrontare all'utente un editor XML o un manuale di istruzioni,
come strumenti per esprimere la semantica di una foto, e poichè per trattare con molte
descrizioni grafiche o con una visualizzazione di un grafo, è necessario avere la possibilità
di modificare il grafo in modo interattivo, è stato progettato "Caliph", " the Common And
Lightweight Interactive Photo annotation” (l’annotazione interattiva comune e leggera di
foto), in modo da supportare l'utente nell'annotazione delle foto, un compito che
richiedeva un dispendio di tempo. Per il recupero delle foto annotate, invece, è stato
realizzato "Emir", "the Experimental Metadata based Image Retrieval “ (il recupero di
immagini attraverso metadati sperimentali). Poiché l'implementazione è stata pianificata
per
cercare
la
possibilità
di
creare
descrizioni
semantiche
nel
contesto
dell'amministrazione di archivi di foto digitali, questo tool per memorizzare le descrizioni
non usa un database, ma il file system. Ciò riduce molto la velocità di recupero e rimane
indipendente dalla piattaforma, per una facile dimostrazione basta utilizzare il software
senza una connessione internet. Entrambi i tools, principalmente autonomi, Caliph ed
Emir sono stati implementati utilizzando Suns Java SDK 1.4, mentre come ambiente
runtime sono supportate le versioni JRE 1.4 e superiori. Vengono utilizzati per gestire le
librerie JDOM e Jaxen XML, in quanto forniscono funzioni di alto livello per la gestione
13
dei contenuti basati su XML, che accelera significativamente lo sviluppo. Per leggere le
informazioni EXIF memorizzate nell' immagini sono state utilizzate le classi exifExtractor
di Drew Noakes .
2.1 Annotazione con Caliph
Con Caliph ,che è un'applicazione Java Swing, è iniziata la progettazione con la creazione
di un'interfaccia utente, che divide i metodi di annotazione dai meccanismi di anteprima
d’immagine ed esplorazione del file. I metodi di annotazione sono separati tra di loro ,nel
pannello “JPanel GUI”, per ciascun metodo o gruppo logico di metodi. Ci sono pannelli
per creare il descrittore di ColorLayout e ScalableColor, che vengono estratti
dall'immagine sul primo caricamento. Sono presenti il cosiddetto "pannello di creazione",
che mostra i tag ,i valori EXIF e che contiene l'autore dell'immagine ,il "pannello di
descrizione dei metadati" che definisce la versione e l'autore della descrizione dei
metadati, il "pannello valutazione di qualità", che viene utilizzato per assegnare un valore
di qualità e per definire la persona che ha valutato la qualità dell'immagine, e il "pannello
di annotazione testuale" ,che consente l'input di una semplice descrizione testuale dei
contenuti dell'immagine. Dal momento che una serie di foto deve essere annotata in breve
tempo, lo strumento di esplorazione del file è una tabella specializzata, che permette
all'utente di selezionare l'immagine in modo rapido e intuitivo. Ovviamente un pannello di
un'anteprima è necessario anche per consentire all'utente di esaminare l'immagine, come
pure la possibilità di definire un visualizzatore di immagini esterno, che può essere
chiamato utilizzando un comando tastiera, per dare all'utente la capacità di utilizzare i suoi
strumenti preferiti.
14
Fig.2 Simplified UML diagram of Caliph
La parte centrale del software Caliph è il cosiddetto "pannello di descrizione semantica".
Esso consente all'utente di definire gli oggetti semantici come le persone, i luoghi, gli
eventi e le volte che sono stati salvati in uscita ,per il loro riutilizzo nelle volte
successive,quando si riazionerà Caliph. Questi oggetti semantici possono anche essere
importati da un file MPEG-7 esistente, per consentire lo scambio di oggetti tra utenti, la
modifica e la creazione di tali oggetti in uno strumento preferito dall'utente. Gli oggetti
semantici possono essere utilizzati per creare la descrizione trascinandoli con il mouse sul
pannello blu, mostrato in figura 3. Una volta presenti gli oggetti, possono essere riutilizzati
se alcune immagini o serie hanno lo stesso contesto. Ciò è particolarmente vero per gli
oggetti che rappresentano persone, come i parenti, colleghi, amici, animali preferiti o
luoghi come "a casa" o "al lavoro".
15
Fig.3 Creating a semantic description using Caliph by drawing a graph as abstraction of
the Semantics
Dopo aver lasciato tutti gli oggetti necessari sul pannello blu, l'utente può interconnettere
questi oggetti disegnando i rapporti tra di loro utilizzando il pulsante centrale del mouse. Il
grafo, che viene generato attraverso queste interazioni dell'utente con “Caliph”, può essere
salvato come parte di una descrizione MPEG-7. Oltre alla possibilità di creare un nuovo
grafo, Caliph è anche uno strumento per l'importazione, la modifica e l'eliminazione di
grafi o sub grafi esistenti.
Inoltre tutta una serie di immagini può essere pre-annotata per semplificare e accelerare il
compito di annotare immagini multiple. Tutte quelle che si trovano all'interno di uno
stesso contesto sono poste in una cartella del file system e l'utente le apre al primo utilizzo
di Caliph.
16
Dopo aver definito una descrizione "base", che è la stessa per tutte le immagini della serie
come l'autore, una descrizione testuale di base come "la nostra visita a Vienna" e un grafo
di base ,compresa la posizione e il tempo in cui sono state scattate le foto, e la motivazione
per cui sono state scattate ,può essere usato il cosiddetto "pilota automatico" , che apre
tutte le immagini nella cartella con una sequenza definita, calcola i descrittori visivi, che è
un compito con tempi diversi a seconda della dimensione e della risoluzione dell'
immagine, estrae i dati EXIF e i parametri specifici dell' immagine, crea un esempio di
immagine in miniatura per il successivo recupero e infine salva la descrizione di base.
Un effetto positivo, ovviamente, è che quando si apre una delle foto pre-annotata,
l'esempio in miniatura e i descrittori visivi possono essere interpetrati dai metadati
esistenti e non devono essere creati, ciò consente di risparmiare tempo durante l'apertura di
una singola immagine da modificare. All'interno di un documento MPEG-7 il descrittore
MediaProfile viene utilizzato per fare riferimento agli esempi dei media, descritti dai
metadati. Oltre all’immagine originale, se non è già presente un esempio in miniatura,
creato da Caliph, si fa riferimento a un altro descrittore MediaProfile, per consentire allo
strumento di recupero di usare una miniatura preparata invece di scalare l'immagine
durante il processo di visualizzazione dei risultati di recupero.
2.2 Recupero con Emir
Emir offre all'utente la possibilità di recuperare le foto annotate, supporta la ricerca lineare
in directory dei file MPEG-7 sul file system e l'indicizzazione dei descrittori selezionati
sia da un database Java DB incorporato o un indice di Lucene(API per il reperimento di
informazioni).
Risultati del recupero sono presentati in forma di elenco e gli elementi di quest’ultimo
possono essere aperti e modificati in Caliph. Per una ricerca nelle descrizioni semantiche
sono implementati diversi metodi di recupero grafico.
17
Fig. 5. Simplified UML diagram of the Emir retrieval architecture
Emir consente quattro modi diversi per cercare una foto corrispondente:
1. La ricerca attraverso una dichiarazione XPath .
2. Definizione delle opzioni di ricerca attraverso caselle di testo con diverse
opzioni
3. Recupero dell’imagine basato sul contenuto, utilizzando i descrittori
ColorLayout visivo e ScalableColor definito nello standard MPEG-7.
4. Ricerca di un grafo con una simile descrizione semantica
-
Ricerca attraverso Xpath
La prima opzione è utilizzata principalmente per gli sviluppi e il debug delle dichiarazioni
XPath, poichè tutti gli altri meccanismi di recupero usano come linguaggio di query
proprio XPath. Per verificare la corrispondenza dei documenti utilizzando XPath, si
richiede la conoscenza dettagliata della struttura dei documenti da ricercare, e anche se
dichiarazioni di base come:
18
//*[contains(.,'textToSearchFor ')]
potrebbero essere utilizzate per richiedere documenti senza conoscerne la struttura, queste
offrirebbero solo funzioni di recupero minimo.
-
Ricerca basata su testo supportata da un'interfaccia grafica per l’utente
Strumenti ben noti per la definizione di query di ricerca, per l'input di testo e per elenchi
delle opzioni tra cui scegliere, sono componenti della GUI (Graphical User Interface,
ovvero Interfaccia Grafica per l'Utente). Un’interfaccia utente che offre questi componenti
permette all'utente di specificare, in fase di ricerca, ciò che cerca senza conoscere la
struttura dei documenti. Anche se il backend di ricerca utilizza XPath per interrogare i dati
MPEG-7, l' utente non rileva la dichiarazione stessa. Le funzioni di base sono alla ricerca
di agenti, come un agente semantico, metadati o creatore di immagini, alla ricerca di
parole chiavi in vari descrittori testuali e definiscono come vincolo di ricerca la minima o
la massima qualità.
-
Recupero di immagini basate sul contenuto in Emir
Dal MPEG-7 che definisce molti descrittori di basso livello, è stato implementato un
meccanismo di ricerca utilizzando due di questi descrittori per il recupero di immagini
basato sul contenuto.
1)Il colore scalabile (ScalableColor)
Questo descrittore untilizza un istogramma dei colori ,nello spazio dei colori HVS,
codificato attraverso la trasformata di Haar. La sua rappresentazione binaria può essere
ridimensionata in termini di numero di bit e la loro accuratezza di rappresentazione su un
ampio range di dati. Il descrittore è utile per l'abbinamento immagine per immagine e per
il recupero basato sulle caratteristiche del colore. Accuratezza del retrieval cresce con il
numero di bit usati nella rappresentazione.
19
2) Il ColorLayout
Il Descrittore di Layout dei Colori (C.L.D. Color Layout Descriptor) cattura la
disposizione spaziale dei colori dominanti su una griglia sovrapposta alla regione di
interesse; è progettato per catturare la distribuzione spaziale di colore sia
complessivamente in una immagine che in una regione di forma arbitraria. La
distribuzione spaziale di colore costituisce un descrittore efficace per il recupero di
immagini basato su uno schizzo, il filtraggio di contenuto usando l’indicizzazione di
immagini, e la visualizzazione; il descrittore risulta molto compatto e adatto alle
applicazioni di scorrimento e di ricerca. Può essere applicato sia a immagini statiche, che a
frammenti di video.
-
Ricerca semantica
La componente di maggior interesse è il pannello che offre una ricerca di meccanismi per
la ricerca di descrizioni semantiche.
Fig. 6 Avvio di una ricerca semantica utilizzando un grafico come input.Tre oggetti e due relazioni sono definita, per cui un rapporto è
definito da un carattere jolly invece di una parola.
20
Questo componente consente all'utente di definire un grafo con un minimo ad un massimo
di tre nodi e due possibili relazioni. Un asterisco viene utilizzato come carattere jolly. Un
grafo di ricerca che contiene solo un nodo, con una parola che definisce questo nodo,
restituirà ogni documento MPEG-7 in cui si trova un oggetto semantico contenente la
parola specificata. Se due o tre nodi e uno o due rapporti sono utilizzati per definire il
grafico di ricerca, l'archivio di documenti MPEG-7 viene filtrato dai termini definiti come
oggetti o relazioni. Se, per esempio, il grafo in figura 6 viene utilizzato per la ricerca, tutti
i documenti che contengono oggetti semantici,in cui sono presenti i termini "Tobias",
"Unterhaltung" e "Stefanie", e una relazione semantica contenente il termine "patientOf"
sono presi dall'archivio e controllati se vi è anche una corrispondenza strutturale con il
grafo dato.
Il meccanismo di recupero segue un’architettura di sistema modulare, un'istruzione Xpath
è data ad una classe che implementa l'interfaccia RetrievalEngine ed i risultati sono
ricevuti come elenco dei documenti HTML, che possono essere visualizzati utilizzando
componenti dello standard Java Swing. L'unico motore di recupero ancora attuato è il
"FileSystemRetrievalEngine", che raccoglie tutti i documenti MPEG-7 da un determinata
directory e dalle sue sottodirectory ed esegue la data dichiarazione XPath. Se un
documento viene trovato si trasforma in HTML, utilizzando XSLT. Questa
visualizzazione del risultato HTML viene aggiunta all’ elenco di risultati, che viene
ordinato per importanza, questa è calcolata utilizzando il numero di nodi corrispondenti
alla dichiarazione XPath utilizzata come input.
21
Un'altra implementazione del motore di recupero, ad esempio, è che si collega a un XML
database, cio’ si traduce in un aumento significativo di velocità dell'esecuzione delle
istruzioni XPath. In caso di una ricerca di immagini basata sul contenuto ciascun
documento MPEG-7 deve essere caricato e il descrittore desiderato si trova utilizzando
XPath. Questo descrittore deve essere confrontato al descrittore campione utilizzato come
parametro di ricerca per calcolare l’importanza. Questi risultati sono messi in una lista
ordinata per importanza crescente, anche se un’importanza pari a zero mostrerebbe una
corrispondenza esatta. Utilizzando un database, il confronto dei descrittori deve essere
implementato, in una parte del database, come una procedura memorizzata, un oggetto
server o di un simile meccanismo, a causa di problemi di velocità.
22
Conclusioni
In questa tesi ho affrontato il problema dell’image retrieval e dell’immage annotation,
costatando il continuo sviluppo di database multimidiali e la necessità, che ha l’uomo, di
ricercare, annotare e recuperare informazioni o dati multimediali in modo sempre più
efficace e veloce. Possiamo quindi parlare di WEB SEMANTICO, cioè l’evoluzione del
World Wide Web in un ambiente dove i documenti pubblicati sono associati ad
informazioni e a dati (metadati) aggiuntivi , che ne specifichino il contesto semantico, in
un formato adatto all’interrogazione, all’interpretazione e in generale all’elaborazione
automatica.
Ho esaminato le due tipologie di recupero dati, quella testuale e quella che si basa sul
contenuto, delineando le differenze, i vantaggi e gli svantaggi di quest’ultime.
In particolare ho analizzato alcuni tools per il recupero e per l’annotazione di immagini
che sono attualmente disponibili ,e nello specifico Caliph ed Emir.
23
Bibliografia
[1]Caliph&Emir: Semantic Annotation and Retrieval in Personal Digital Photo Libraries
Mathias Lux, Jutta Becker and Harald Krottmaier
Know-Center, Inffeldgasse 16c, A-8010 Graz, Austria.
[2]
Caliph & Emir: MPEG-7 Photo Annotation and Retrieval
Mathias Lux
Institute for Information Technology
Klagenfurt University
Klagenfurt, Austria.
[3]L’archivazione delle immagini – I metadati
Di Massimo Isotti
[4] Dublin Core ,Wikipedia
[5] XML and MPEG-7 for Interactive Annotation and Retrieval using Semantic Meta-Data
Mathias Lux, Werner Klieber, Jutta Becker, Klaus Tochtermann ,2002
24
