Riunione PRIN STOA-LHC

Riunione PRIN STOA-LHC
Bologna, 18 Giugno 2014
Attività per ALICE:
sommario e prospettive
Domenico Elia
Domenico Elia
Riunione PRIN STOA-LHC / Bologna 18.6.2014
1
Sommario attività ALICE
 Attività in corso:
 deployment prototipi VAF:




adesso anche a TS, BA e LNL (e prossima a CA)
interesse anche da CT (già nel loop)
ottimi progressi dopo hands-on di Marzo al CERN (ancora 3 e 4 Luglio)
supporto da parte di TO e “CERN” (D. Berzano)
 sviluppi Virtual Storage Element
 accounting/monitoring
 esperienza con tenant non-PROOF
 Piani:
 test di performance di VAF e accesso locale ai dati
 test e misure di accesso remoto
 federazione di VAF e/o storage
Domenico Elia
Riunione PRIN STOA-LHC / Bologna 18.6.2014
2
Obiettivi comuni ALICE
Ottimizzazione dell'ambiente di analisi in interattivo:
•
Studio di infrastrutture di analisi interattive espandibili con tecniche di virtualizzazione integrate in soluzioni di tipo
cloud computing
– Installazione e messa in opera di infrastrutture di analisi espandibili
•
•
•
•
OpenNebula (TO)
OpenStack (BA, LNL, TS)
Wnodes (CA)
Sviluppo di sensori e politiche per abilitare la condivisione e la cessione automatica delle risorse virtuali,
minimizzando l'intervento dell'amministratore di sistema
Studio e ottimizzazione dell'accesso ai dati nell'analisi interattiva:
•
•
Studio di una cache dinamica locale integrata nei file system parallelli esistenti o negli SE
Sviluppo di un modello per l’accesso ai dati delle infrastrutture di analisi interattive espandibili (VSE) evitando
duplicazioni di dati e risorse dedicate per analisi interattive (uso dello SE)
Studio di una federazione nazionale:
•
•
Sviluppo di un modello dati federativo nazionale e verifica della velocità e dell'affidabilità di un sistema xrootd a
namespace unico nazionale
Sviluppo in cooperazione con altri centri di calcolo delle specifiche di un cluster interattivo federato a livello
nazionale:
– “multi-master”
– “PROOF on Demand”
– “interoperabilità’ tra cloud”
Domenico Elia
Riunione PRIN STOA-LHC / Bologna 18.6.2014
3
Backup
Domenico Elia
Riunione PRIN STOA-LHC / Bologna 18.6.2014
4
Torino
Milestones:
1. Nel primo si metterà in opera un'infrastruttura espandibile da subito utilizzabile dalla
comunità scientifica
2. Nel secondo anno si svilupperanno soluzioni che rendano il più possibile automatico il
bilanciamento delle risorse virtuali
3. Nel terzo anno il centro di calcolo verrà inserito in una realtà federativa nazionale per
l'analisi interattiva nei grandi esperimenti
Nel dettaglio, la scansione temporale che si intende seguire, con i relativi obiettivi proposti, è:
1. Installazione dello storage di primo livello condiviso GlusterFS con interfaccia xrootd. Test di velocità per l'accesso ai
dati sia attraverso GlusterFS che attraverso xrootd, sia locale che da siti remoti
2. Conversione graduale delle risorse fisiche esistenti in hypervisor. Gli hypervisor saranno gestiti da OpenNebula e i loro
dischi saranno già pensati come parte del cache storage di secondo livello
3. Preparazione delle macchine virtuali Grid e PROOF: al termine di questa fase l'infrastruttura sarà già operativa e
fruibile dagli utenti, mentre gli amministratori di sistema potranno già decidere facilmente la “dimensione” dei cluster
virtuali Grid e PROOF
4. Sviluppo di sensori e politiche per abilitare la condivisione e la cessione automatica delle risorse virtuali, minimizzando
l'intervento dell'amministratore di sistema
5. Sviluppo in cooperazione con altri centri di calcolo delle specifiche di un cluster interattivo federato a livello nazionale
tramite un approccio “multi-master” e /o un approccio “PROOF on Demand”
6. Sviluppo di un modello dati federativo nazionale: verifica della velocità e dell'affidabilità di un sistema xrootd a
namespace unico nazionale, con un catalogo dei file completamente distribuito, eventualmente attraverso la tecnologia
del “Global Redirector”
Domenico Elia
Riunione PRIN STOA-LHC / Bologna 18.6.2014
5
Trieste
Milestones:
Primo anno
1) Installazione di una infrastruttura di analisi interattiva di tipo statico
2) Test delle richieste di risorse da parte dei vari use case per l'analisi interattiva
3) Test della possibilita' di utilizzo dell'accesso remoto ai dati
Secondo anno
1) Ottimizzazione delle risorse di calcolo con tecniche di virtualizzazione integrate in soluzioni di tipo cloud
computing (replica nell'unita' di ricerca di Trieste il prototipo sviluppato a Torino, integrandolo nel cluster di
calcolo gia' presente a Trieste).
2) Studio della scalabilita' degli strumenti che permettono un accesso contemporaneo da piu' nodi ai dati
contenuti nei dischi del cluster locale ad elevata performance collegati ad interfacce standard, come
XROOTD
Terzo anno
1) Studio della possibilita' di federare i centri di analisi coinvolti nel progetto (Bari, Bologna, Cagliari INFN,
Pisa, Roma, Torino) in modo da poter accedere i dati presenti in uno qualsiasi dei siti che ne facciano
parte, evitando la duplicazione dei dati
2) Studio dell'accesso ai dati federati nell'analisi interattiva come la ripetitivita' e la breve durata di ciascun
processo di analisi, il tempo necessario per accedere ai dati e la loro effettiva disponibilita'
3) Studio di una cache dinamica locale integrata nel file system parallelo esistente nel centro di calcolo
dell'unita' di ricerca
4) Verifica della velocita' e dell'affidabilita' di un sistema a namespace unico nazionale
5) Sviluppo in cooperazione con altri centri di calcolo delle specifiche di un cluster interattivo federato a
livello nazionale tramite un approccio "multi-master" e/o di un approccio "PROOF on Demand"
Domenico Elia
Riunione PRIN STOA-LHC / Bologna 18.6.2014
6
Cagliari
Obiettivi principali:
1)
realizzare un cluster wnodes compatibile per la fruibilità delle risorse per l'analisi interattiva in
modo on demand per la anilisi dati in campo HEP.
2)
realizzare un server di storage luste/zfs da utilizzare sia per ospitare i dati necessari alle
analisi, sia come repository delle immagini della macchine virtuali. Ed infine federare le risorse
destinate ad ospitare i cluster virtuali per l'analisi dati con altre unità operativo di questo progetto
Milestones:
Primo anno
1)
Realizzare un cluster wnodes compatibile
2)
Calibrare le politiche di accesso sul batch system locale per una efficace analisi dati
3)
Realizzare un server storage zfs/lustre
4)
Test di velocità di accesso sia in modalità locale sia con xrootd
Secondo anno
1) Preparazione delle macchine virtuali da destinare all'analisi interattiva
2) Test di utilizzo dei cluster su wnodes per da parte di uno/due utenti ALICE dell'unita' di ricerca
Terzo anno
1)
Federare le risorse destinate ad ospitare i cluster virtuali per l'analisi dati con altre unità
operativo di questo progetto
Domenico Elia
Riunione PRIN STOA-LHC / Bologna 18.6.2014
7
INFN-LNL
Obiettivi principali:
1) Accesso da remoto ai dati dell'esperimento
2) Ottimizzazione dell'ambiente di analisi in interattivo:
– Per l'esperimento ALICE, la sub unita' di Legnaro adottera' una facility
di analisi basata su PROOF con una condivisione delle risorse
dinamica dei nodi di calcolo in GRID e con l'accesso remoto ai dati
memorizzati negli altri Tier2 di ALICE italiani.
3) Ottimizzazione della distribuzione del software di esperimento nei siti
4) Gestione dei dati a livello nazionale
Domenico Elia
Riunione PRIN STOA-LHC / Bologna 18.6.2014
8