Lucene Framework

Laboratorio di Information Retrieval
Lucene Framework
Emanuele Panzeri
Università di Milano-Bicocca
[email protected]
Indice
1
Introduzione a Lucene
2
Indicizzare con Lucene
Documenti e Campi
Analizzatori
3
Ricerca e Query in Lucene
4
Analisi dell’indice Lucene con Luke
Emanuele Panzeri
Lucene Framework
2 / 56
Introduzione a Lucene
Lucene1 è un insieme di librerie Java per la creazione di sistemi di
Information Retrieval.
Permette di gestire documenti digitali e include le principali
caratteristiche di un IRS:
Strumenti di analisi dei testi
Classi per la gestione e creazione indici
Strumenti di ricerca e composizione di query-utente
Algoritmi di matching e valutazione dei risultati
Lucene è utilizzato in molti Content/Document Management
Systems (CMS/DMS) per ricerche Full-Text2
1
2
http://lucene.apache.org/core/
http://wiki.apache.org/lucene-java/PoweredBy
Emanuele Panzeri
Lucene Framework
3 / 56
Introduzione a Lucene
Progetto OpenSource
Rilasciato con licenza Apache 2.0
Codice sorgente accessibile e modificabile in ogni sua parte
Interoperabilità
Interamente implementato in linguaggio JAVA
Interoperabile con altri linguaggi di programmazione
C/C++
Python
Objective-C
Perl
...
Utilizzato all’interno di SOLR come servizio di ricerca
3
3
http://lucene.apache.org/solr/
Emanuele Panzeri
Lucene Framework
4 / 56
Funzionalità
Principali Funzionalità
Può indicizzare 95GB/ora con un hardware recente
Bassa occupazione di memoria durante i processi di ricerca e
indicizzazione
Indici compatti (circa 20%-30% della collezione)
Indicizzazione incrementale
Creazione e ricerca su indici multipli
(con aggregazione dei risultati)
Emanuele Panzeri
Lucene Framework
5 / 56
Funzionalità (cont.)
Principali Funzionalità (II)
Ricerche e Indicizzazione eseguiti simultaneamente
(gestione concorrenza)
Ricerche per campi dei documenti
(titolo, autore, contenuto)
Ricerche per Data
(gestione intervalli)
Ordinamento per ogni campo
E molto altro . . .
Emanuele Panzeri
Lucene Framework
6 / 56
Documenti e Campi
1
Introduzione a Lucene
2
Indicizzare con Lucene
Documenti e Campi
Analizzatori
3
Ricerca e Query in Lucene
4
Analisi dell’indice Lucene con Luke
Emanuele Panzeri
Lucene Framework
7 / 56
Processo di Indicizzazione
Emanuele Panzeri
Lucene Framework
8 / 56
Indicizzare con Lucene: Documenti
Processo di indicizzazione:
Acquisizione del Documento
Analisi flusso di testo
Creazione indici
Emanuele Panzeri
Lucene Framework
9 / 56
Lucene: Documenti e Campi
Lucene non si occupa della parte di individuazione e manipolazione
dei documenti:
Gathering Lucene non si occupa del reperimento o del
Gathering dei documenti: i documenti devono essere
direttamente accessibili al sistema durante la fase di
Indicizzazione
Text Contents Lucene gestisce unicamente valori di tipo testuale,
non permette cioè di analizzare (direttamente)
documenti in altri formati.
Parsing Per l’indicizzazione di documenti in formato HTML,
PDF, Word (etc..) occorre far precedere alla fase di
Indicizzazione, una fase di Parsing dei documenti
originali secondo il loro formato.
Emanuele Panzeri
Lucene Framework
10 / 56
Lucene: Documenti e Campi
I documenti in Lucene sono rappresentati tramite le classi Java
Document4 e Field5
La classe Document rappresenta l’unità di indicizzazione e di
reperimento di Lucene
All’interno di ogni documento possono essere inseriti uno o
più campi chiamati Field
Esistono Field appositamente creati per gestire testi, date,
valori numerici, ..
4
http://lucene.apache.org/core/4_0_0/core/org/apache/lucene/
document/Document.html
5
http://lucene.apache.org/core/4_0_0/core/org/apache/lucene/
document/Field.html
Emanuele Panzeri
Lucene Framework
11 / 56
Lucene: Classe Field
La classe Field permette di gestire i diversi tipi di dato associati
ad un documento come:
Stringhe di testo
Valori numerici (interi, virgola mobile, ..)
Date
Dati Geografici (coordinate, regioni, ..)
Ogni campo è identificato dal nome e dal tipo. Ad ogni campo
può essere associato uno o più valori.
Emanuele Panzeri
Lucene Framework
12 / 56
Lucene: Classe Field
I principali tipi di campo predefiniti in Lucene:
IntField (String name, int value, Store stored)
DoubleField (String name, double value, Store stored)
FloatField (..)
LongField (..)
StringField (..)
TextField (..)
Il parametro stored indica se il campo deve essere memorizzato
all’interno dell’indice o escluso per motivi di performance e
occupazione dell’indice.
Emanuele Panzeri
Lucene Framework
13 / 56
Lucene: Classe Field (cont.)
I campi numerici sono auto-esplicativi (Float-, Long-) per i
contenuti che possono analizzare e gestire.
Attenzione va fatta per i campi StringField6 e TextField7
TextField il campo viene indicizzato e analizzato.
Pensato per testi molto lunghi.
StringField il campo viene indicizzato, ma non analizzato.
L’intero contenuto del campo è identificato come un
singolo token.
Pensato per valori identificativi (Nazione, ID, ..)
6
http://lucene.apache.org/core/4_0_0/core/org/apache/lucene/
document/TextField.html
7
http://lucene.apache.org/core/4_0_0/core/org/apache/lucene/
document/StringField.html
Emanuele Panzeri
Lucene Framework
14 / 56
Lucene: Classe Field (scenario)
Esempio di documento da indicizzare:
Emanuele Panzeri
Lucene Framework
15 / 56
Lucene: Classe Field (esempi)
Field titolo = new TextField("titolo",
"Lord of the Rings", Field.Store.YES);
Field autore = new TextField("autore",
"J. R. Tolkien", Field.Store.YES);
Field prezzo = new DoubleField("prezzo",
20.00, Field.Store.YES);
Field isbn = new StringField("isbn",
"978-05634-96137", Field.Store.YES);
Field isbn = new StringField("isbn",
"978-06183-46264", Field.Store.YES);
Emanuele Panzeri
Lucene Framework
16 / 56
Lucene: Classe Document
La classe Document8 rappresenta l’unità fondamentale di
indicizzazione e di reperimento in un indice creato da Lucene:
All’interno di ogni documento possono essere presenti uno o
più campi (definiti dalla classe Field)
Document.add(IndexableField field)
Document.removeField(String name)
Document.removeFields(String name)
Durante il reperimento dei documenti i campi contrassegnati
come Field.Store.NO non saranno valorizzati (e quindi non
accessibili)
8
http://lucene.apache.org/core/4_0_0/core/org/apache/lucene/
document/Document.html
Emanuele Panzeri
Lucene Framework
17 / 56
Lucene: Classe Document (esempio)
Document doc = new Document();
Field titolo = new TextField("titolo",
"Lord of the Rings", Field.Store.YES);
doc.add(titolo);
Field autore = new TextField("autore",
"J. R. Tolkien", Field.Store.YES);
doc.add(autore);
Field prezzo = new DoubleField("prezzo",
20.00, Field.Store.YES);
doc.add(prezzo);
Emanuele Panzeri
Lucene Framework
18 / 56
Processo di Indicizzazione
Emanuele Panzeri
Lucene Framework
19 / 56
Indicizzare con Lucene: Analizzatori
Processo di indicizzazione:
Acquisizione del Documento
Analisi flusso di testo
Creazione indici
Emanuele Panzeri
Lucene Framework
20 / 56
Analizzatori
In Lucene esiste una classe che si occupa dell’intero processo di
analisi del contenuto dei campi: classe Analyzer9
La classe, tramite diverse componenti specializzate, si occupa di:
Identificazione delle singole componenti (tokens)
Eliminazione delle stopwords
Applicazione algoritmi di Stemming
.. altre funzioni di manipolazione dei token
Fornire l’elenco dei token da inserire nell’indice
9
http://lucene.apache.org/core/4_0_0/core/org/apache/lucene/
analysis/Analyzer.html
Emanuele Panzeri
Lucene Framework
21 / 56
La classe Analyzer
La classe Analizer permette di gestitre il processo di analisi in tre
principali fasi:
1
Analisi pre-tokenization:
modifica e/o rimozione parti di testo tramite patterns o
stringhe prefissate (tag HTML, ..)
2
Tokenizzazione: identificazione delle singole componenti del
testo (tokens)
3
Analisi post-tokenization:
Normalizzazione del testo
Rimozione Stop Words
Algoritmi di Stemming
Espansione dei Sinonimi
Emanuele Panzeri
Lucene Framework
22 / 56
La classe Analyzer
La classe Analizer permette di gestitre il processo di analisi in tre
principali fasi:
1
Analisi pre-tokenization:
modifica e/o rimozione parti di testo tramite patterns o
stringhe prefissate (tag HTML, ..)
2
Tokenizzazione: identificazione delle singole componenti del
testo (tokens)
3
Analisi post-tokenization:
Normalizzazione del testo
Rimozione Stop Words
Algoritmi di Stemming
Espansione dei Sinonimi
Emanuele Panzeri
Lucene Framework
22 / 56
La classe Analyzer
La classe Analizer permette di gestitre il processo di analisi in tre
principali fasi:
1
Analisi pre-tokenization:
modifica e/o rimozione parti di testo tramite patterns o
stringhe prefissate (tag HTML, ..)
2
Tokenizzazione: identificazione delle singole componenti del
testo (tokens)
3
Analisi post-tokenization:
Normalizzazione del testo
Rimozione Stop Words
Algoritmi di Stemming
Espansione dei Sinonimi
Emanuele Panzeri
Lucene Framework
22 / 56
La classe Analyzer
Le classi che gestiscono le diverse fasi dell’analisi sono:
Analyzer La classe principale che racchiude l’intera analisi
CharFilter Classe che si occupa della fase di pre-tokenization
Tokenizer Classe che si occupa di idetnificare e separare i singoli
token dal flusso di testo
TokenFilter Classe che si occupa della fase di post-tokenization
Emanuele Panzeri
Lucene Framework
23 / 56
La classe Analyzer
Le classi che gestiscono le diverse fasi dell’analisi sono:
Analyzer La classe principale che racchiude l’intera analisi
CharFilter Classe che si occupa della fase di pre-tokenization
Tokenizer Classe che si occupa di idetnificare e separare i singoli
token dal flusso di testo
TokenFilter Classe che si occupa della fase di post-tokenization
Emanuele Panzeri
Lucene Framework
23 / 56
La classe Analyzer
Le classi che gestiscono le diverse fasi dell’analisi sono:
Analyzer La classe principale che racchiude l’intera analisi
CharFilter Classe che si occupa della fase di pre-tokenization
Tokenizer Classe che si occupa di idetnificare e separare i singoli
token dal flusso di testo
TokenFilter Classe che si occupa della fase di post-tokenization
Emanuele Panzeri
Lucene Framework
23 / 56
La classe Analyzer
Le classi che gestiscono le diverse fasi dell’analisi sono:
Analyzer La classe principale che racchiude l’intera analisi
CharFilter Classe che si occupa della fase di pre-tokenization
Tokenizer Classe che si occupa di idetnificare e separare i singoli
token dal flusso di testo
TokenFilter Classe che si occupa della fase di post-tokenization
Emanuele Panzeri
Lucene Framework
23 / 56
La classe Analyzer: Note
Note:
La classe Analyzer può essere estesa per creare modalità di
analisi personalizzate, oltre a quelle predefinite.
La fase di Analisi viene eseguita sia quando si inserisce un
documento nell’indice, sia durante la fase di ricerca: occorre
che le due analisi siano compatibili.
L’analisi post-tokenization può essere definita come una
catena di sub-analisi eseguite in successione.
Un analizzatore viene applicato in maniera predefinita ad un
intero flusso di testo (es. documento)
Emanuele Panzeri
Lucene Framework
24 / 56
Analizzatori
Lucene mette a disposizione un insieme di analizzatori per gli usi
più comuni che integrano le principali funzionalità richieste nei
sistemi di Information Retrieval
StandardAnalyzer
SimpleAnalyzer
WhitespaceAnalyzer
LimitTokenCountAnalyzer
KeywordAnalyzer
Emanuele Panzeri
Lucene Framework
25 / 56
StandardAnalyzer
La classe StandardAnalyzer10 :
Analizzatore per collezioni in lingua inglese
I token vengono identificati come parole separate da spazi,
punteggiatura e identificazione di numeri
I token vengono riportati in caratteri minuscoli
Vengono eliminate le comuni stop-words della lingua inglese
Classe derivata dalla classe StopWordAnalyzerBase11
10
http://lucene.apache.org/core/4_0_0/analyzers-common/org/
apache/lucene/analysis/standard/StandardAnalyzer.html
11
http://lucene.apache.org/core/4_0_0/analyzers-common/org/
apache/lucene/analysis/util/StopwordAnalyzerBase.html
Emanuele Panzeri
Lucene Framework
26 / 56
StandardAnalyzer
Esistono varianti della classe StandardAnalyzer per le lingue:
ItalianAnalyzer12
SpanishAnalyzer13
RussianAnalyzer14
GermanAnalyzer
FrenchAnalyzer
...
12
http://lucene.apache.org/core/4_0_0/analyzers-common/org/
apache/lucene/analysis/it/ItalianAnalyzer.html
13
http://lucene.apache.org/core/4_0_0/analyzers-common/org/
apache/lucene/analysis/es/SpanishAnalyzer.html
14
http://lucene.apache.org/core/4_0_0/analyzers-common/org/
apache/lucene/analysis/ru/RussianAnalyzer.html
Emanuele Panzeri
Lucene Framework
27 / 56
SimpleAnalyzer e Whitespace Analyzer
La classe SimpleAnalyzer15 :
Parole identificate solo come sequenze di caratteri alfabetici
Riduzione in caratteri minuscoli dei token
Nessuna altra modifica dei token
La classe WhitespaceAnalyzer16 :
Parole identificate solo se separate da spazi
Riduzione in caratteri minuscoli dei token
Nessuna altra modifica dei token
15
http://lucene.apache.org/core/4_0_0/analyzers-common/org/
apache/lucene/analysis/core/SimpleAnalyzer.html
16
http://lucene.apache.org/core/4_0_0/analyzers-common/org/
apache/lucene/analysis/core/WhitespaceAnalyzer.html
Emanuele Panzeri
Lucene Framework
28 / 56
Analizzatori - Wrappers
Esistono analizzatori che modificano il processo di analisi
incapsulando (wrapping) analizzatori pre-esistenti:
PerFieldAnalyzerWrapper17
ShingleAnalyzerWrapper18
QueryAutoStopWordAnalyzer19
17
http://lucene.apache.org/core/4_0_0/analyzers-common/org/
apache/lucene/analysis/miscellaneous/PerFieldAnalyzerWrapper.html
18
http://lucene.apache.org/core/4_0_0/analyzers-common/org/
apache/lucene/analysis/shingle/ShingleAnalyzerWrapper.html
19
http://lucene.apache.org/core/4_0_0/analyzers-common/org/
apache/lucene/analysis/query/QueryAutoStopWordAnalyzer.html
Emanuele Panzeri
Lucene Framework
29 / 56
PerFieldAnalyzerWrapper
La classe PerFieldAnalyzerWrapper20 :
Permette di associare un analizzatore ad uno specifico campo
(Field) del documento.
Definisce un analizzatore predefinito per i campi a cui non è
assegnato un analizzatore specifico.
Costruttore:
Analyzer a =
new PerFieldAnalyzerWrapper(Analyzer A, HashMap map);
20
http://lucene.apache.org/core/4_0_0/analyzers-common/org/
apache/lucene/analysis/miscellaneous/PerFieldAnalyzerWrapper.html
Emanuele Panzeri
Lucene Framework
30 / 56
ShingleAnalyzerWrapper
La classe ShingleAnalyzerWrapper21 permette di analizzare il
flusso di testo da un secondo analizzatore creando n-grams, cioè
tokens composti da due o più token consecutivi.
La frase “un sistema di information retrieval permette di [..]“ verrà
tokenizzato nelle seguenti parti:
un sistema
sistema di
di information
information retrieval ...
Permette di individuare gruppi di parole che esprimono concetti
importanti, come la coppia di token information-retrieval che
verranno identificate come un singolo token.
21
http://lucene.apache.org/core/4_0_0/analyzers-common/org/
apache/lucene/analysis/shingle/ShingleAnalyzerWrapper.html
Emanuele Panzeri
Lucene Framework
31 / 56
Ricerca e Query in Lucene
1
Introduzione a Lucene
2
Indicizzare con Lucene
Documenti e Campi
Analizzatori
3
Ricerca e Query in Lucene
4
Analisi dell’indice Lucene con Luke
Emanuele Panzeri
Lucene Framework
32 / 56
Schema di un IRS
Emanuele Panzeri
Lucene Framework
33 / 56
Ricerche con Lucene
Processo di ricerca:
Formulazione della Query
Rappresentazione dell’interrogazione
Matching dei risultati
Presentazione dei risultati rilevanti
Emanuele Panzeri
Lucene Framework
34 / 56
Ricerche con Lucene
Il processo di ricerca in Lucene avviene tramite i seguenti passi:
1
Creazione di una Query
2
Apertura dell’indice (DirectoryReader, IndexSearcher)
Avvio del processo di collezione dei documenti (Collector)
3
Calcolo del RSV dei documenti (Weight, Scorer)
Filtraggio dei documenti (Filter)
4
Ordinamento dei risultati (Sort)
Il processo di ricerca è dettagliato nella documentazione alla
pagina http://lucene.apache.org/core/4_0_0/core/org/
apache/lucene/search/package-summary.html#algorithm
Emanuele Panzeri
Lucene Framework
35 / 56
Formulazione della Query
La fase di Formulazione della Query viene tipicamente effettuata
dall’utente con necessità informative: avviene, quando l’utente
inserisce i termini di ricerca nel sistema.
La formulazione della query avviene:
Inserimento di termini da parte dell’utente
Processo di post-analisi della query
“showing results for: ABC (instead of ACB)“
Suggerimenti “push“ (stile Amazon)
Suggerimenti “More like this..“
Emanuele Panzeri
Lucene Framework
36 / 56
Rappresentazione dell’interrogazione
Fase primaria per l’interrogazione, permette di uniformare la
richiesta utente con il processo di analisi precedentemente eseguito
nella creazione dell’indice:
Identificazione dei campi
Gestione StopWords
Gestione Stemming
Gestione Sinonimi
Emanuele Panzeri
Lucene Framework
37 / 56
Rappresentazione dell’interrogazione
Altre operazioni eseguite nella fase di Rappresentazione
dell’interrogazione:
Gestione tolleranza agli errori
identificazione parole errate (similarità,
Longest-Common-Subsequence, Levenshtein-Distance)
Proporre suggerimenti alle ricerche
Personalizzazione delle interrogazioni
Espansione della Query
Emanuele Panzeri
Lucene Framework
38 / 56
Rappresentazione dell’interrogazione - 2
Dalla stringa inserita dall’utente ne vengono individuate le
componenti e inviate al motore di ricerca per la fase di matching:
Identificazione dei token (a seconda della sintassi linguaggio
usato dal motore di ricerca)
Individuazione dei termini della ricerca
Acquisizione dei connettori logici (AND, OR, NOT, ..)
Acquisizione dei modificatori e altri componenti della query:
Campi di ricerca
Diversa pesatura dei termini
Ricerche di prossimità
...
Emanuele Panzeri
Lucene Framework
39 / 56
Rappresentazione dell’interrogazione - 3
La possibilità di valutare query più o meno complesse (tipi di dati,
ricerche di prossimità, etc) dipendono da:
Modello di IR implementato
booleano, vettoriale, probabilistico, ..
Modalità di indicizzazione dei dati
Tipologia (e dettaglio) dei dati memorizzati nelle strutture
indice
Emanuele Panzeri
Lucene Framework
40 / 56
Sintassi delle ricerche in Lucene
Lucene utilizza una propria sintassi per la definizione e
l’inserimento delle query utente.
E’ possibile:
specificare in quali campi eseguire la ricerca di un termine
specificare una frase (ricerca esatta)
specificare un range di valori
ricerche di termini “simili“
...
La sintassi è molto simile a quella già utilizzata nei comuni motori
di ricerca
Emanuele Panzeri
Lucene Framework
41 / 56
Sintassi delle ricerche in Lucene - Esempio
Query:
title:recipe AND title:cake chocolateˆ3 +eggs -milk
calories:[100 TO 300]
Come è composta la query?
Emanuele Panzeri
Lucene Framework
42 / 56
Sintassi delle ricerche in Lucene - Esempio
Query:
title:recipe AND title:cake chocolateˆ3 +eggs -milk
calories:[100 TO 300]
Le query per-campi sono espresse come “campo:termine”
Emanuele Panzeri
Lucene Framework
42 / 56
Sintassi delle ricerche in Lucene - Esempio
Query:
title:recipe AND title:cake chocolateˆ3 +eggs -milk
calories:[100 TO 300]
Le query per-campi sono espresse come “campo:termine”
Il campo title deve contenere le parole “recipe” e “cake”
Emanuele Panzeri
Lucene Framework
42 / 56
Sintassi delle ricerche in Lucene - Esempio
Query:
title:recipe AND title:cake chocolateˆ3 +eggs -milk
calories:[100 TO 300]
Le query per-campi sono espresse come “campo:termine”
Il campo title deve contenere le parole “recipe” e “cake”
Il campo di default contenga la parola “eggs”
Emanuele Panzeri
Lucene Framework
42 / 56
Sintassi delle ricerche in Lucene - Esempio
Query:
title:recipe AND title:cake chocolateˆ3 +eggs -milk
calories:[100 TO 300]
Le query per-campi sono espresse come “campo:termine”
Il campo title deve contenere le parole “recipe” e “cake”
Il campo di default contenga la parola “eggs”
Non sia presente la parola “milk” nel campo predefinito
Emanuele Panzeri
Lucene Framework
42 / 56
Sintassi delle ricerche in Lucene - Esempio
Query:
title:recipe AND title:cake chocolateˆ3 +eggs -milk
calories:[100 TO 300]
Le query per-campi sono espresse come “campo:termine”
Il campo title deve contenere le parole “recipe” e “cake”
Il campo di default contenga la parola “eggs”
Non sia presente la parola “milk” nel campo predefinito
Il campo “calories” abbia valori tra 100 e 300
Emanuele Panzeri
Lucene Framework
42 / 56
Sintassi delle ricerche in Lucene - Esempio
Query:
title:recipe AND title:cake chocolateˆ3 +eggs -milk
calories:[100 TO 300]
Le query per-campi sono espresse come “campo:termine”
Il campo title deve contenere le parole “recipe” e “cake”
Il campo di default contenga la parola “eggs”
Non sia presente la parola “milk” nel campo predefinito
Il campo “calories” abbia valori tra 100 e 300
Il campo di default contenga la parola “chocolate” con una
significatività (boost) tripla rispetto agli altri campi
Emanuele Panzeri
Lucene Framework
42 / 56
Sintassi delle ricerche in Lucene - Esempio
Query:
title:recipe AND title:cake chocolateˆ3 +eggs -milk
calories:[100 TO 300]
Le query per-campi sono espresse come “campo:termine”
Il campo title deve contenere le parole “recipe” e “cake”
Il campo di default contenga la parola “eggs”
Non sia presente la parola “milk” nel campo predefinito
Il campo “calories” abbia valori tra 100 e 300
Il campo di default contenga la parola “chocolate” con una
significatività (boost) tripla rispetto agli altri campi
Dove non specificato, viene valutato il connettivo OR tra le
parti di query
Emanuele Panzeri
Lucene Framework
42 / 56
Sintassi delle ricerche in Lucene
La sintassi utilizzata da Lucene per le query permette di specificare:
Operatori Connettori booleani come: AND, OR, NOT, +, Ricerche Fuzzy Ricerche di termini smimili (utilizzando
l’algoritmo di Levenshtein)
Prossimità Ricerche di parole poste ad una distanza variabile
Intervalli Possibilità di ricerche di intervalli di valori
Boosting Incremento della significatività di un termine/frase
RegExp Ricerche tramite espressioni regolari
Raggruppamenti Permette di raggruppare i termini e controllare
finemente la query Booleana prodotta
Emanuele Panzeri
Lucene Framework
43 / 56
Sintassi delle ricerche in Lucene
La sintassi utilizzata da Lucene per le query permette di specificare:
Operatori Connettori booleani come: AND, OR, NOT, +, Ricerche Fuzzy Ricerche di termini smimili (utilizzando
l’algoritmo di Levenshtein)
Prossimità Ricerche di parole poste ad una distanza variabile
Intervalli Possibilità di ricerche di intervalli di valori
Boosting Incremento della significatività di un termine/frase
RegExp Ricerche tramite espressioni regolari
Raggruppamenti Permette di raggruppare i termini e controllare
finemente la query Booleana prodotta
Emanuele Panzeri
Lucene Framework
43 / 56
Sintassi delle ricerche in Lucene
La sintassi utilizzata da Lucene per le query permette di specificare:
Operatori Connettori booleani come: AND, OR, NOT, +, Ricerche Fuzzy Ricerche di termini smimili (utilizzando
l’algoritmo di Levenshtein)
Prossimità Ricerche di parole poste ad una distanza variabile
Intervalli Possibilità di ricerche di intervalli di valori
Boosting Incremento della significatività di un termine/frase
RegExp Ricerche tramite espressioni regolari
Raggruppamenti Permette di raggruppare i termini e controllare
finemente la query Booleana prodotta
Emanuele Panzeri
Lucene Framework
43 / 56
Sintassi delle ricerche in Lucene
La sintassi utilizzata da Lucene per le query permette di specificare:
Operatori Connettori booleani come: AND, OR, NOT, +, Ricerche Fuzzy Ricerche di termini smimili (utilizzando
l’algoritmo di Levenshtein)
Prossimità Ricerche di parole poste ad una distanza variabile
Intervalli Possibilità di ricerche di intervalli di valori
Boosting Incremento della significatività di un termine/frase
RegExp Ricerche tramite espressioni regolari
Raggruppamenti Permette di raggruppare i termini e controllare
finemente la query Booleana prodotta
Emanuele Panzeri
Lucene Framework
43 / 56
Sintassi delle ricerche in Lucene
La sintassi utilizzata da Lucene per le query permette di specificare:
Operatori Connettori booleani come: AND, OR, NOT, +, Ricerche Fuzzy Ricerche di termini smimili (utilizzando
l’algoritmo di Levenshtein)
Prossimità Ricerche di parole poste ad una distanza variabile
Intervalli Possibilità di ricerche di intervalli di valori
Boosting Incremento della significatività di un termine/frase
RegExp Ricerche tramite espressioni regolari
Raggruppamenti Permette di raggruppare i termini e controllare
finemente la query Booleana prodotta
Emanuele Panzeri
Lucene Framework
43 / 56
Sintassi delle ricerche in Lucene
La sintassi utilizzata da Lucene per le query permette di specificare:
Operatori Connettori booleani come: AND, OR, NOT, +, Ricerche Fuzzy Ricerche di termini smimili (utilizzando
l’algoritmo di Levenshtein)
Prossimità Ricerche di parole poste ad una distanza variabile
Intervalli Possibilità di ricerche di intervalli di valori
Boosting Incremento della significatività di un termine/frase
RegExp Ricerche tramite espressioni regolari
Raggruppamenti Permette di raggruppare i termini e controllare
finemente la query Booleana prodotta
Emanuele Panzeri
Lucene Framework
43 / 56
Sintassi delle ricerche in Lucene
La sintassi utilizzata da Lucene per le query permette di specificare:
Operatori Connettori booleani come: AND, OR, NOT, +, Ricerche Fuzzy Ricerche di termini smimili (utilizzando
l’algoritmo di Levenshtein)
Prossimità Ricerche di parole poste ad una distanza variabile
Intervalli Possibilità di ricerche di intervalli di valori
Boosting Incremento della significatività di un termine/frase
RegExp Ricerche tramite espressioni regolari
Raggruppamenti Permette di raggruppare i termini e controllare
finemente la query Booleana prodotta
Emanuele Panzeri
Lucene Framework
43 / 56
Sintassi delle ricerche in Lucene
La sintassi completa delle query è disponibile nella documentazione
Lucene:
http://lucene.apache.org/core/4_0_0/queryparser/org/
apache/lucene/queryparser/classic/package-summary.
html#package_description
Emanuele Panzeri
Lucene Framework
44 / 56
Lucene: Query API
Lucene permette di costruire l’albero di valutazione di una
query-utente in maniera programmativa tramite l’uso delle
sotto-classi della classe astratta Query22 .
Ogni sotto classe piò essere combinata in differenti modi per
costruire l’albero di valutazione più adatto per le esigenze di
ricerche di un sistema di IR.
22
http://lucene.apache.org/core/4_0_0/core/org/apache/lucene/
search/Query.html
Emanuele Panzeri
Lucene Framework
45 / 56
Lucene: Query API
Le classi predefinite di Query presenti in Lucene sono:
TermQuery permette la ricerca di un termine in un campo
BooleanQuery permette la composizione di due o più query
TermRangeQuery ricerca intervalli di termini
NumericRangeQuery ricerca intervalli numerici
FuzzyQuery ricerca per termini “simili“
PhraseQuery ricerche di frasi
WildcardQuery ricerche di termini con prefissi e suffissi
Emanuele Panzeri
Lucene Framework
46 / 56
Classe TermQuery
La classe TermQuery23 è la classe più semplice per la creazione di
una query.
Permette unicamente di cercare i documenti che contengono un
termine in uno specifico campo.
Esempio:
Term termA = new Term(“titolo“, “pilastri“);
TermQuery termQueryA = new TermQuery(termA);
23
http://lucene.apache.org/core/4_0_0/core/org/apache/lucene/
search/TermQuery.html
Emanuele Panzeri
Lucene Framework
47 / 56
Classe BooleanQuery
La classe BooleanQuery24 permette di comporre una query a
partire da una o più BooleanClause25 .
Ogni BooleanClause contiene a sua volta una sotto-query (una
istanza di una classe Query: ad esempio una TermQuery) e un
operatore che indica come deve avvenire la valutazione della query
finale.
Esiste un numero massimo di clausole che possono essere definite
in una BooleanQuery oltre il quale Lucene genera una eccezione di
TooManyClauses. Il valore predefinito è 1024.
24
http://lucene.apache.org/core/4_0_0/core/org/apache/lucene/
search/BooleanQuery.html
25
http://lucene.apache.org/core/4_0_0/core/org/apache/lucene/
search/BooleanClause.html
Emanuele Panzeri
Lucene Framework
48 / 56
Classe BooleanClause: Operatori
Gli operatori26 disponibili per la classe BooleanClause sono:
SHOULD I risultati possono verificare questa clausola, ma non
è espressamente richiesta
MUST La clausola deve essere tassativamente verificata nei
documenti risultanti
MUST NOT La clausola NON deve essere verificata: nessun
documento reperito potrà verificare questa condizione
26
http://lucene.apache.org/core/4_0_0/core/org/apache/lucene/
search/BooleanClause.Occur.html#enum_constant_summary
Emanuele Panzeri
Lucene Framework
49 / 56
Classe BooleanClause: Operatori
Gli operatori26 disponibili per la classe BooleanClause sono:
SHOULD I risultati possono verificare questa clausola, ma non
è espressamente richiesta
MUST La clausola deve essere tassativamente verificata nei
documenti risultanti
MUST NOT La clausola NON deve essere verificata: nessun
documento reperito potrà verificare questa condizione
26
http://lucene.apache.org/core/4_0_0/core/org/apache/lucene/
search/BooleanClause.Occur.html#enum_constant_summary
Emanuele Panzeri
Lucene Framework
49 / 56
Classe BooleanClause: Operatori
Gli operatori26 disponibili per la classe BooleanClause sono:
SHOULD I risultati possono verificare questa clausola, ma non
è espressamente richiesta
MUST La clausola deve essere tassativamente verificata nei
documenti risultanti
MUST NOT La clausola NON deve essere verificata: nessun
documento reperito potrà verificare questa condizione
26
http://lucene.apache.org/core/4_0_0/core/org/apache/lucene/
search/BooleanClause.Occur.html#enum_constant_summary
Emanuele Panzeri
Lucene Framework
49 / 56
Analisi dell’indice Lucene con Luke
1
Introduzione a Lucene
2
Indicizzare con Lucene
Documenti e Campi
Analizzatori
3
Ricerca e Query in Lucene
4
Analisi dell’indice Lucene con Luke
Emanuele Panzeri
Lucene Framework
50 / 56
Luke
Luke (Lucene Index Toolbox) è uno strumento che permette di
analizzare il contenuto di un indice generato costruito dal
framework Lucene.
Permette, tra le principali funzionalità, di:
Aprire un indice presente su memoria di massa
Accedere ai documenti indicizzati e i loro campi (memorizzati
nell’indice)
Eseguire delle query di ricerca e visualizzarne i risultati
Analisi dell’indice e dei top-k terms
Analisi della costruzione delle Query
Emanuele Panzeri
Lucene Framework
51 / 56
Luke: Apertura dell’indice
Emanuele Panzeri
Lucene Framework
52 / 56
Luke: Dettagli dell’indice
Emanuele Panzeri
Lucene Framework
53 / 56
Luke: Documenti
Emanuele Panzeri
Lucene Framework
54 / 56
Luke: Ricerche
Emanuele Panzeri
Lucene Framework
55 / 56
Luke: Query
Emanuele Panzeri
Lucene Framework
56 / 56
Luke: Dettagli sullo score
Emanuele Panzeri
Lucene Framework
57 / 56