La razionalizzazione delle infrastrutture IT Una

PROGETTO SCoPE
Incontro dei Progetti PON Avviso 1575
con il ROC di INFN Grid
Catania 04/07/2008
Silvio Pardi
1
Progetto SCoPE
Progetto SCoPE
(Sistema Cooperativo distribuito ad alte
Prestazioni per Elaborazioni Scientifiche
Multidisciplinari)
Progetto di Ateneo interamente dell’Università
degli Studi di Napoli Federico II nell’ambito
dei progetti PON avviso 1575/2004
2
Progetto SCoPE
Comunità di riferimento
Scienze del Microcosmo e del Macrocosmo
Scienze della Vita
Scienze dei materiali e dell’ambiente
Analisi Numerica
Scienze Sociali
SCoPE serve nuove comunità prima non utilizzatrici del
grid computing.
Un unica VO di progetto scope, attualmente 60 iscritti,
utilizzatori effettivi, continuo aumento.
3
Progetto SCoPE
MEDICINA
SCIENZE
LETTERE
GIURISPRUDENZA
INGEGNERIA
Optical Fiber
4
Progetto SCoPE
 Il progetto S.Co.P.E. prevede la creazione di una
e-infrastruttura distribuita utilizzando il
paradigma del Grid computing.
 Esso fornisce una risposta unitaria al problema
del calcolo avanzato nell’ambito della Federico II,
integrando tutte le principali risorse di calcolo e
di storage già disponibli nei 4 siti di Medicina,
Ingegneria, CSI e CAMPUSGRID, con un nuovo
datacenter composto da hardware di utlima
generazione.
 Tutte le sedi sono interconnesse tra loro ad alta
banda mediante un anello in fibra ottica
metropolitano.
5
Procurement
 Sito Primari, Nuovo CED
 Sito Secondario per le esigenze di
bioinformatica
 Sito di Chimica, per scienzie dei materiali.
6
Il nuovo CED, il progetto
INAUGURAZIONE
AD OTTOBRE
7
Il nuovo CED, il progetto
 Ripartire da zero, non basarsi sul passato
 Nuova cabina elettrica 1 Mwatt
 Nuovo Gruppo Elettrogeno 1 Mwatt
 Raffreddamento ad acqua dei rack, con unità LCP e




chiller esterno
Rack a tenuta stagna
Impianto antincendio interno ai rack
Monitoraggio e telecontrollo
Sensori su tutto (apertura porte rack, tensione di ogni
presa, utilizzo ampere, etc)
8
Cabina elettrica da 1 MWatt
9
Il nuovo CED, il progetto
Rack con
raffreddamento
Interno ad acqua
Capacità
20 KW Per Rack
10
Il nuovo CED, il progetto
RISORSE DEL NUOVO DATA CENTER:
Circa 300 WN biprocessore quadcore a 64bit 8GB RAM,
in soluzione blade,16 lame per shelf connessioni infiniband
per un totale di oltre 2400 core
Storage 150 TB raw via FC ed ISCSI
20 pizza box per servizi collective
e nodi test connessioni FC
10 Storag Element connessioni FC
33 Rack Raffreddamento interno
11
Siti Secondari, il progetto
RISORSE DEI SITI SECONDARI
Dipartimento di Chimica
Cluster 8 Nodi Quadriprocessore Dual-Core 32 GB per
nodo
Sito di Medicina
Storage 50 TB raw via FC ed ISCSI
12
La rete LAN e WAN
LAN
 Dorsale di rete a 10 Gbit/sec
 Rete ridondata (2x Gbit/sec, 4x Gbit/sec)
 Rete a bassa latenza (1x infiniband)
 Rete separata per monitoraggio e management (1x
100 Mbit/sec)
WAN
 Collegamenti Intranet a 2.4 Gbit/sec, ridondati
 Collegamenti Internet a 1 Gbit/sec, ridondati
13
La rete LAN e WAN
POP
GARR
CRESCO-ENEA
PORTICI
CWDM
Fibra Napoli-Portici
ed Apparati GARR
CWDM
TIER2
ATLAS
ISOLA
SCoPE
14
Il prototipo
Sistema operativo SLC 3.0.8 i386 e SL 4.5 x86_64
Middleware di riferimento INFN-GRID nelle seguenti
versioni:
3.0 Per i servizi Collective, CE ed SE Update 39
3.1 con SL 4.5 x86_64 per i Worker Node Update 12
Previsto passaggio a 3.1 di tutti i servizi a completamento
del datacenter.
15
Il prototipo
• Torque+MAUI
• DPM su EXT3
Per il nuovo CED previsto, Torque+MAUI con più di un CE
In studio la possibilità di utilizzare SToRM su Lustre o DPM
su Lustre.
16
Stato del Prototipo SCoPE:
Collective Services
 YAIM-REPOSITORY
 VOMS SERVER
 RESOURCE BROKER – BDII
 WMS GLITE
 MY-PROXY SERVER
 LFC – FILE CATALOG SERVER
 GRIDICE MONITORING
 HLR RESOURCE
17
Stato del Prototipo SCoPE:
Core Services sito GSC
 COMPUTING ELEMENT
 13 WORKER NODE
56 CORE
 STORAGE ELEMENT
4 TB SPAZIO DISCO
 USER INTERFACE
 GENIUS PORTAL
18
Stato del Prototipo SCoPE:
Core Services
VO ATTIVE
CODE ATTIVE
scope
cresco
cybersar
pi2s2
poncert
Scope (long, short, infinite)
Cresco (long, short, infinite)
Cybersar (long, short, infinite)
Pi2s2 (long, short, infinite)
Poncert - prioritaria
Scopecert - prioritaria
19
Stato del Prototipo SCoPE:
Core Services
20
Sistema di ticket
SCOPE TICKET
21
Requirements degli Utenti
Bioinformatica: Accessibilità allo storage, Certificati Robot
Applicazioni di scienze dei materiali: Codice C, Fortran, Compilatori Intel, MPI su multi
CPU o reti a bassa latenza.
Applicazioni di Meccanica Statistica: Codice Fortran MPI anche su reti Ethernet.
Astrofisica: Certificati Robot, Spazio UI.
Applicazioni Materiali, Molecole nei Fluidi: Job Paralleli, Molta Memoria letture di Grosse
Matrici, MPI. PET’S, MUMPS, METIS, PARDISO.
Chimici: codice paralleo, SMP, MPI e non, libreie scientifiche
Ingegneria Elettomagneti: IDL e paralleo.
Ingeneria Elettrica: MPI Su Fortran
Analis Numerica con applicazioni di Medical immaging.
22
SCoPE Tool Kit
Toolkit di librerie scientifiche opensource installati
mediante i comani lcg-asis.
Disponibili per un certo numero di librerie job di
 Installazione
 Validazione
 Rimozione
23
SCoPE Tool Kit
24
SCoPE Tool Kit



















METIS
MUMPS
GROMACS
FFTW3
FFTW2
GSL (GNU Scientific Library)
BLAS (Basic Linear Algebra Subprograms)
LAPACK (Linear Algebra PACKage)
BLACS (Basic Linear Algebra Communication Subprograms)
SCALAPACK (Scalable Linear Algebra PACKage)
PETSc (Portable, Extensible Toolkit for Scientific Computation)
PORT (Portable, Outstanding, Reliable, and Tested)
CFITSIO
PGPLOT
SExtractor
libX11 (Sottoinsieme di XFree86-libs)
G95
Compilatori java, C, C++
IDL
25
SCoPE Network Monitoring
IMPLEMENTAZIONE DI GLUEDOMAIN
26
Personale Coinvolto nella attività di
SCoPE
SCOPE
Silvio Pardi [email protected]
Marco Scognamiglio [email protected]
Davide Bottalico [email protected]
Vania Boccia [email protected]
Fulvio Polito [email protected]
Anita Alicante [email protected]
Luca D’onofrio [email protected]
Gianluca Busiello [email protected]
Pasquale Caruso [email protected]
8 persone 7 contrattisti sul progetto SCoPE.
27
Carico del Prototipo
DICEMBRE
APRILE
GENNAIO
GIUGNO
28
Job Processati dal prototipo
29
0
24/05/2008
10/05/2008
26/04/2008
12/04/2008
29/03/2008
15/03/2008
01/03/2008
16/02/2008
Dissemination
Interna
UPGRADE
SCoPE
PROTOTIPO
+
56 Core
Attivazione
Giugn-Sett
Interop
2007
Sett-Dic
2007
02/02/2008
19/01/2008
05/01/2008
22/12/2007
08/12/2007
24/11/2007
10/11/2007
27/10/2007
13/10/2007
29/09/2007
15/09/2007
01/09/2007
18/08/2007
04/08/2007
21/07/2007
10
07/07/2007
SETUP
DEL
PROTOTIPO
16 Core
Gen-Mag
2007
23/06/2007
60
09/06/2007
26/05/2007
12/05/2007
28/04/2007
14/04/2007
31/03/2007
20
17/03/2007
30
03/03/2007
40
17/02/2007
50
03/02/2007
20/01/2007
06/01/2007
Crescita degli utenti di SCoPE
70
Supporto
Applicazioni
Serie1
Gen-Giugno
2008
30
0
24/05/2008
10/05/2008
26/04/2008
12/04/2008
29/03/2008
15/03/2008
01/03/2008
16/02/2008
Dissemination
Interna
UPGRADE
SCoPE
PROTOTIPO
+
56 Core
Attivazione
Giugn-Sett
Interop
2007
Sett-Dic
2007
02/02/2008
19/01/2008
05/01/2008
22/12/2007
08/12/2007
24/11/2007
10/11/2007
27/10/2007
13/10/2007
29/09/2007
15/09/2007
01/09/2007
18/08/2007
04/08/2007
21/07/2007
10
07/07/2007
SETUP
DEL
PROTOTIPO
16 Core
Gen-Mag
2007
23/06/2007
60
09/06/2007
26/05/2007
12/05/2007
28/04/2007
14/04/2007
31/03/2007
20
17/03/2007
30
03/03/2007
40
17/02/2007
50
03/02/2007
20/01/2007
06/01/2007
Crescita degli utenti di SCoPE
70
Supporto
Applicazioni
Serie1
Gen-Giugno
2008
31