L’ESPERIENZA DI CASPUR NELLA GESTIONE
DEL DATACENTER
Maurizio Goretti
[email protected]
Workshop CCR e INFN-GRID
Palau 11 Maggio 2009
CASPUR
E’ un consorzio tra Università - senza fini di
lucro fondato nel 1992 80 Dipendenti – 15 Mln Fatturato 2008
Le sue principali finalità
sono legate al Calcolo
Scientifico (HPC)
460 posizione Top
500 (13,6 [17]Tflops)
Servizi per le
Università, Enti di
Ricerca, Industria
[email protected]
- Workshop CCR INFN-GRID -
11 Maggio 2009
2
Neutralità
È una delle caratteristiche peculiari del
Consorzio
Origine Universitaria
Senza fini di lucro
Competenze
Super-Partes
[email protected]
- Workshop CCR INFN-GRID -
11 Maggio 2009
3
CASPUR
La sua nascita coincide con lo sviluppo di
Internet
Attività di consulenza e realizzazione delle
nuove reti
Università, Pubbliche Amministrazioni Centrali e Locali
[email protected]
- Workshop CCR INFN-GRID -
11 Maggio 2009
4
Crocevia Internet
NaMeX punto di interscambio tra ISP
Principale snodo internet del Centro-Sud Italia
Presenti i principali operatori internet nazionali ed
internazionali (oltre 30)
TelecomItalia
Wind
Fastweb
Interoute
Cogent
TataCommunications
Seeweb
GARR
Sede Sistema Pubblico di Connettività (SPCQXN)
Crocevia dei collegamenti tra Pubbliche
amministrazioni centrali
[email protected]
- Workshop CCR INFN-GRID -
11 Maggio 2009
5
Gestione DataCenter
CASPUR gestisce un Data Center “importante”
Consumi elevati
HPC
Criticita apparecchiature installate
NaMeX
SPC
Presidenza Consiglio, Camera, etc…
Affidabilità e continuità di servizio
Ottimizzazione dei consumi
[email protected]
- Workshop CCR INFN-GRID -
11 Maggio 2009
6
Il nostro CED
Ubicazione : piano -2
Dispositivi anti allagamento
Media Tensione 8600 V ACEA
Interruttore MT
DK5600
Doppio trasformatore in parallelo (640KVA)
Doppio avvolgimento (8600/20.000)
Gruppo elettrogeno (400 KVA, 12 ore autonomia)
Scambio rete gruppo
Doppio UPS (200 KVA, due linee separate, 15 min)
Doppia linea rack
Differenziali
Raffredamento ridondato
[email protected]
- Workshop CCR INFN-GRID -
11 Maggio 2009
7
Esigenza e Natura
La grande importanza della efficienza del Datacenter ha
imposto a CASPUR un investimento economico ed
umano
Obbligo di competenze interne per raggiungimento
elevati standar di affidabilità
La stesse esigenza nel mondo della ricerca ed ICT
Difficoltà nel reperimento di informazioni “neutrali”
CASPUR interessato a creare una comunità Italia di
esperti ed addetti ai lavori
[email protected]
- Workshop CCR INFN-GRID -
11 Maggio 2009
8
Esigenza e Natura
Necessità di individuare dei riferimenti neutrali ed
affidabili per gli utenti finali
Comunità di studio e ricerca delle best practice e delle
nuove tecnologie
Sfruttando la posizione di neutralità
Collaborazioni:
Dipartimento Ingegneria Elettrica Sapienza
Ruggero Ricci: Criteri progettazione impianti elettrici CED Tier2
Aziende del settore
Internet Service Provider
[email protected]
- Workshop CCR INFN-GRID -
11 Maggio 2009
9
Affidabilità e Costi
Capire per migliorare
Condividere per capire
Youtube DataCenter Channel
Errori come risorsa
Non è facile “confessarli”
… oltre il Commerciale verso il Progettista …
Ritorno per le aziende e per gli utenti
Confessione dei nostri peccati …
[email protected]
- Workshop CCR INFN-GRID -
11 Maggio 2009
10
Incidenti
Incidenti di media gravità (interruzione 1
linea)
Apertura differenziali scambio rete/gruppo
Servono i differenziali di sala?
Trasformatore di disaccoppiamento
UPS+calo tensione ACEA
Errati valori di riferimento
Bypass con micro interruzione
[email protected]
- Workshop CCR INFN-GRID -
11 Maggio 2009
11
Incidenti
Incidenti di elevata gravità (interruzione
entrambe le linee)
23/05/2007 : 1H 02M
Apertura interrutore MT
Esplosione batteria avviamento GE
07/03/2008 : 0H 04 M
Rottura capicorda neutro GE
Durante manutenzione
[email protected]
- Workshop CCR INFN-GRID -
11 Maggio 2009
12
Contromisure
23/05/2007 : 1H 02M
Apertura interrutore MT
Censimento interruttori e loro valore di apertura
Esplosione batteria avviamento GE
Cattiva manutenzione
Nuova ditta manutenzione
07/03/2008 : 0H 04M
Rottura capicorda neutro GE
?
Errata logica di commutazione.
Manutenzione
Cattiva procedura di manutenzione
Formazione del personale
Nuove procedure
Convocazione manutentori GE, UPS, Impianto elettrico.
5 persone interne coinvolte
[email protected]
- Workshop CCR INFN-GRID -
11 Maggio 2009
13
Datacenter a sezioni
Caratteristiche del Sito
Impianto elettrico
Media tensione
Trasformatori
Bassa tensione
UPS
Gruppo elettrogeno
Distribuzione di Sala
Raffreddamento
Monitoring
Standard
Controllo accessi
Procedure
Manutenzione
[email protected]
- Workshop CCR INFN-GRID -
11 Maggio 2009
14
Scambio rete Gruppo
Quali dispositivi per la commutazione?
Scheda Gruppo
Interruttori
Dispositivo dedicato (ABB ATS010)
Quale logica di commutazione?
Consenso gruppo per scambio
[email protected]
- Workshop CCR INFN-GRID -
11 Maggio 2009
15
DK5600 ed il problema delle
alimentazioni ausiliarie
Gatto che si morde la coda?
Il relè della DK5600, cosi come altri dispositivi
“vitali” per l’alimentazione elettrica, ha
bisogno di una alimentazione ausiliaria
protetta (UPS)
Scambio rete gruppo.
UPS dedicato o uso degli UPS di sala?
Static Switch
[email protected]
- Workshop CCR INFN-GRID -
11 Maggio 2009
16
Monitoring
Fondamentale per la prevenzione
guasti/ottimizzazione consumi
Noi del networking abbiamo uno “standard”:
SNMP
A volte in contrasto con gli usi e costumi degli
“Elettrici”
Bus e protocolli proprietari
Ridondanza
Costosi
Sistema di monitoring personalizzati e centralizzati
[email protected]
- Workshop CCR INFN-GRID -
11 Maggio 2009
17
Manutenzione e procedure
Quale programma di manutenzione?
Prova black-out?
Quale procedura?
La storia del Test batterie UPS e del Gruppo
Elettrogeno
Formazione del personale
Riduzione tempi intervento guasti
[email protected]
- Workshop CCR INFN-GRID -
11 Maggio 2009
18
Un esempio concreto
Raffreddamento, CASPUR
Problema di inefficienza
Consumi elevati
Esaurimento risorse
Spazi
Potenza elettrica
Commerciale non troppo sensibile e
superimpegnato
Concorrenti che bussano alle porte con
soluzioni radicali stile “cambia tutto”...
… e se mi facessi un giro in fabbrica?
[email protected]
- Workshop CCR INFN-GRID -
11 Maggio 2009
19
(In)Efficienza Sale CED 1 e 2
Sala 1, 200 mq
Sala 2, 72 mq
Disposizione non
ottimale rack
Raffreddamento a
sottopavimento (30
cm)
[email protected]
- Workshop CCR INFN-GRID -
11 Maggio 2009
20
(In)Efficienza Sale CED 1 e 2
6 Refrigeratori ad acqua
7 Refrigeratori ad
espansione diretta
Consumo medio singolo
Refr. 10(15)KW
Consumo sistema raffr.
130(195) KW
Consumo elettrico sala
210 KW (170 sala1 + 40 sala 2)
Efficienza
raffreddamento
210/130(195)=1.62(1.08)
[email protected]
- Workshop CCR INFN-GRID -
11 Maggio 2009
21
Efficienza Sala CED 3
54 mq
3 Refrigeratori ad
acqua
Consumo sistema
raffreddamento 30(45)
Kw
Consumo elettrico di
sala 100 Kw
Efficienza
raffreddamento
100/30(45)=3.3(2.22)
[email protected]
- Workshop CCR INFN-GRID -
11 Maggio 2009
22
Efficienza Sala CED 3
[email protected]
- Workshop CCR INFN-GRID -
11 Maggio 2009
23
Efficienza Sala CED 3
[email protected]
- Workshop CCR INFN-GRID -
11 Maggio 2009
24
Efficienza e risparmi
Se in sala 1 e 2 avessimo la stessa efficienza
della sala 3 avremo bisogno di soli
210/3.3(2.22)=64(95)
130(195) Kw
Kw per raffreddare invece di
Si avrebbe un risparmio di 66(100) Kw
In un anno si risparmierebbero
66(100)x24x365=578160(876000) Kwh
Il costo del Kwh è circa 0,15 Euro
Risparmio di
578160(876000)x0,15=86700(131400)
[email protected]
- Workshop CCR INFN-GRID -
Euro/anno
11 Maggio 2009
25
Efficienza Sala CED 3
Raffreddando le sale 1 e 2 con
la stessa efficienza della sala 3
avremmo un risparmio
economico almeno il 40%
Si potrebbe ampliare l’impianto
elettrico e di raffreddamento
1 Refr.=35Kw
Almeno 4 Refr.=140 Kw
Raffreddando 15 Kw a rack
potremo installare 10 rack
[email protected]
- Workshop CCR INFN-GRID -
11 Maggio 2009
26
Differenze e risultati
Sottopavimento 60cm invece di 30cm
Corridoi “caldi” e “freddi”
Chiusura corridoio freddo
Uso active floor
Disposizione ordinata macchine in rack
Risultato:
risparmio economico;
risparmio energetico (maggiori risorse);
maggiori spazi
Top 500 e Top Green 500
Abbiamo condivisto il nostro risultato
all’interno della nostra comunità
[email protected]
- Workshop CCR INFN-GRID -
11 Maggio 2009
27
CASPUR
Il nostro Consorzio promuove o patrocina
iniziative e studi finalizzati alla conoscenza
dei problemi legati a DataCenter ad alta
criticità.
Siamo alla ricerca di nuovi aziende od utenti
interessati a partecipare o condividere tali
iniziativa.
L’adesione all’iniziativa non ha costi ma
richiede impegno.
Opportunità legate alla presenza di un vasto
numero di potenziali utenti (e aziende).
[email protected]
- Workshop CCR INFN-GRID -
11 Maggio 2009
28
Grazie della attenzione.
Maurizio Goretti
E-mail: [email protected]
Skype:Maurizio.Goretti
Sip:[email protected]
Workshop CCR e INFN-GRID
Palau 11 Maggio 2009
