Trinacria Grid Virtual Laboratory
gLite Information System
Riccardo Bruno
INFN - Catania
gLite 3.0 Trigrid Tutorial
Catania, 23.10.2006
FESR
www.trigrid.it
Information System
• Cosa è
– Il sistema che si occupa di raccogliere informazioni riguardo allo
stato delle risorse di griglia
• Perché
– Per scoprire l’esistenza delle risorse di griglia e la loro natura
– Per ottenere importanti informazioni utili sulle quali basare le
proprie scelte
– Per verificare lo stato di salute delle risorse
• Come
– Monitorando lo stato delle risorse localmente e pubblicando le
opportune informazioni
– Adottando un modello dati riconosciuto da tutti i componenti
della griglia
Catania, Trigrid tutorial, 23.10.2006
2
Progetto di un sistema informativo
• Misurare
– Le misure devono essere compatibili con lo scopo che l’utente desidera
raggiungere.
– Le misure devono essere abbastanza accurate da essere considerate
valide.
– Le misure devono essere aggiornate in maniera adeguata all’uso.
• Ottenere l’informazione
– Come e quando le informazioni ottenute devono essere pubblicate?
– Dove devono essere pubblicate queste informazioni?
– Per quanto tempo l’informazione deve essere mantenuta?
• Interrogare l’Information System
– Dove devono essere mandate le interrogazioni per avere una risposta?
– Quale sintassi e protocollo bisogna utilizzare per fare interrogazioni?
– Quale modello di dati deve essere adottato per descrivere le
risorse?What is the adopted data model to describe resources?
• Sicurezza
– Chi ha l’autorizzazione per eseguire delle interrogazioni? E quel tipo di
interrogazioni l’utente puo’ fare?
– Gestione dei permessi e delle credenziali degli utenti
Catania, Trigrid tutorial, 23.10.2006
3
BDII e R-GMA
• BDII (Berkley Database Information Index)
– E’ stato adottato all’interno del middleware LCG e LCG-2
– E’ un evoluzione del Globus Meta Directory Service (MDS)
– Si basa su un sistema di server Light Direct Access Protocol
(LDAP)
• Relational Grid Monitoring Architecture (R-GMA)
– E’ un’implementazione di Grid Monitoring Architecture (GMA)
standardizzata dal Global Grid Forum (GGF) come modello di
riferimento
– E’ una implementazione a tabelle (relational)
– Orientato ai Web Services
– Verrà adottato dalle prossime versioni di gLite; Attualmente non
disponibile su Trigrid.
Catania, Trigrid tutorial, 23.10.2006
4
LCG Information System
• LCG adotta una combinazione di soluzioni
– Globus MDS
Al più basso livello del sistema informativo
Per scoprire e monitorare risorse e pubblicare le informazioni
Grid Information Security (GSI) per gestire le credenziali
Meccanismo di Caching dell’informazione
– BDII
Al più alto livello del sistema informativo
Perché MDS ha dimostrato alcuni problemi in termini di scalabilità
E’ utilizzato dal Resource Broker per il processo di ‘matchmaking’
Può essere configurrato a livello di singola VO
Ottiene periodicamente informazione (2 minuti) dei sistemi sottostanti.
• Sistema Gerarchico system
– L’informazione e’ mantenuta nelle foglie di un’albero e viaggia fino alla
sua radice
– I ‘clients’ possono interrogare l’albero ad ogni livello
– Piu’ altro e’ il livello cui si fa l’interrogazione e meno recente sarà
l’informazione ottenuta.
Catania, Trigrid tutorial, 23.10.2006
5
Gestione dell’informatione
• Si ottiene l’informazione a diversi livelli
– Basso livello: Grid Resource Information Server (GRIS)
Gestisce l’informazione sullo stato di una data risorsa
Un GRIS per ogni risorsa
Un insieme di script e sensori che provano a estrarre dati utili sulla
risorsa
– Livello medio: Grid Index Information Server (GIIS)
Gestisce l’informazione a livello di ‘sito’
Un GIIS per ogni sito
– Alto livello: BDII
Ottiene informazioni sulle risorse di una data VO.
Un BDII per ogni VO (soluzioni suggerite)
• Modalità per ottenere informazioni
– ‘Pull model’ (server di alto livello interrogano periodicamente
server di piu’ basso livello)
– Modello dati LDAP
Catania, Trigrid tutorial, 23.10.2006
6
BDII - L’architettura
•
The Berkeley Database Information
Index (BDII)
– Sistema di raccolta gerarchica basato
su LDAP
– Le foglie dell’albero sono GRIS
– I nodi intermedi sono GIIS
– L’utente può interrogare l’albero a
qualunque livello
– Più l’informazione è vicina alla radice
e più è vecchia
– Uno per ogni VO
– E’ centralizzato
•
•
Grid Resource Information
Service (GRIS)
– Uno per ogni risorsa (CE, SE)
– Colleziona informazioni
statiche e dinamiche su quella
risorsa
BDII (gilda)
Other GIIS
(gilda)
GIIS
INFN sez. CT
GIIS
Merida (gilda)
Globus
MDS
Grid Index Information Service (GIIS)
– Uno per ogni sito
– Colleziona e mette in cache
informazioni dai GRIS sottostanti
– Interroga i sistemi GIIS e GRIS
sottostanti periodicamente
GRISes
GRISes
GRISes
Catania, Trigrid tutorial, 23.10.2006
7
Interrogare l’Information System
• Esistono due tool di alto livello per interrogare gli
elementi dell’IS:
lcg-infosites
lcg-info
• Questi tool possono essere utilizzati per nascondere la
complessità delle query LDAP e sono abbastanza
flessibili da soddisfare la maggior parte delle esigenze
degli utenti.
Catania, Trigrid tutorial, 23.10.2006
8
GLUE Schema
• Grid Laboratory Uniform Environment (GLUE) Schema
– E’ un modello di dati che descrive nel modo migliore le risorse grid
(sia statiche che dinamiche)
– E’ il risultato di una collaborazione tra EU-DataTAG e iVDGL
– EGEE, NorduGrid, LCG and Grid3/OSG hanno anch’essi
contribuito alla definizione dello schema
• XML Schema
– Attualmente il GLUE Schema e’ stato mappato su una
rappresentazione XML
– Per maggiori informazioni:
http://infnforge.cnaf.infn.it/glueinfomodel/Spec/V12/R1
Catania, Trigrid tutorial, 23.10.2006
9
Il protocollo LDAP
► LDAP struttura dati ad albero
o = grid (root of
the DIT)
► I valori di ciascun elemento sono
nominati univocamente
c= US
c=Switzerland
c=Spain
► Seguento il cammino dal nodo fino
alla radice del DIT
st = Geneva
is built (the DN):
or = CERN
“id=pml,ou=IT,or=CERN,st=Geneva, \
c=Switzerland,o=grid”
ou = IT
objectClass:person
cn: Patricia M. L.
phone: 5555666
office: 28-r019
id = pml
ou = EP
id=gv
Catania, Trigrid tutorial, 23.10.2006
id=fd
10
Trinacria Grid Virtual Laboratory
Cenni su RGMA (Relational Grid Monitoring Architecture)
FESR
www.trigrid.it
Database Virtuale
• Il Relational Grid Monitoring
Architecture (R-GMA)
– E’ una implementazione del Grid
Monitoring Architecture (GMA) definito
dal Global Grid Forum (GGF)
– Adotta un modello a database con
tabelle e relazioni
– Le tabelle sono distribuite (virtual)
– L’accesso avviene tramite stringhe
Standard Query Language (SQL)
– Implementa diversi tipi di query
• L’informazione
– Pubblicata e acceduta localmente al
sito di produzione
– Sempre aggiornata
– Alcuni servizi possono fare da centri di
raccolta per le informazioni
Virtual
Database
R-GMA
front end
R-GMA
front end
R-GMA
front end
R-GMA
client
R-GMA
client
R-GMA
client
Catania, Trigrid tutorial, 23.10.2006
12
Servizi R-GMA
• Tre tipi di servizi Produttori
Producer
data
– Primary Producer: Produce e salva i record
di tabella localmente
– Secondary Producer: Colleziona record di
tabella prodotti da diversi Produttori e li
concentra in un unico punto
– On Demand Producer: Produce record di
tabella su richiesta in tempo reale
interfacciandosi con un sistema esterno
store location
Virtual
Database
Consumer
lookup location
Registry
• Un tipo di servizio Consumatore
Table name, URL, predicate
– Consumer: Interroga il database virtuale per
ottenere record di tabella
Table name, URL, predicate
• Il Database Virtuale
– Registry: Contiene informazioni per
associare le interrogazioni dei Consumer
con i Producer capaci di rispondere
– Schema: Contiene gli schema che
descrivono le tabelle virtuali
– Mediator: Associa le richieste fatte dai
Consumer con i giusti Producer
Mediator
Virtual
Database
Schema
Table name, columns defs
Table name, columns defs
Catania, Trigrid tutorial, 23.10.2006
13
Referenze
• gLite 3.0 User Guide
– https://edms.cern.ch/file/722398/1.1/gLite-3-UserGuide.pdf
• R-GMA home page
– http://www.r-gma.org/
• GLUE Schema
– http://infnforge.cnaf.infn.it/glueinfomodel/
Catania, Trigrid tutorial, 23.10.2006
14
