Progetto PI2S2 - Documents - Istituto Nazionale di Fisica Nucleare
annuncio pubblicitario
PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 Progetto PI2S2 PROGETTAZIONE E IMPLEMENTAZIONE DELLA E-INFRASTRUTTURA DI PRODUZIONE DELIVERABLE: D1.2 Nome file: PI2S2-D1.2-v1.0 Data: 31/01/2007 Attività: WP1 Responsabile: Consorzio COMETA Stato: FINAL Abstract: Questo documento descrive l’architettura dell’e-Infrastruttura di produzione del Progetto PI2S2 alla fine del primo anno. PUBLIC - 1 - / 191 -1- PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Versi one 1.0 Data 31.01.2007 Commento Versione finale Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 Autore/i Roberto Barbera PUBLIC - 2 - / 191 -2- PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 INDICE 1. INTRODUZIONE............................................................................................................................................... - 5 - 2. ARCHITETTURA DELL’INFRASTRUTTURA DI PRODUZIONE E SERVIZI COLLEGATI ............ - 6 2.1. 2.2. 2.3. GARA D’APPALTO PER LA FORNITURA DELL’INFRASTRUTTURA GRID .............................................................- 6 AUTORITÀ DI REGISTRAZIONE DELL’AUTORITÀ DI CERTIFICAZIONE DEL-L’INFN ..........................................- 7 CREAZIONE DELL’ORGANIZZAZIONE VIRTUALE “COMETA” E DELLE REGOLE DI ACCESSO ALL’INFRASTRUTTURA -83. CONCLUSIONI ................................................................................................................................................ - 10 - 4. APPENDICE 1 .................................................................................................................................................. - 11 - PREMESSA ............................................................................................................................................................... - 12 CONSIDERAZIONI GENERALI ........................................................................................................................... - 13 - LOTTO 1 - ............................................................................................................................................................... - 14 ART 1.1 SISTEMA DI RACK, UPS E CONDIZIONAMENTO ............................................................................................- 14 - LOTTO 2 - ............................................................................................................................................................... - 28 ART 2.1 SISTEMA DI RACK, UPS E CONDIZIONAMENTO .............................................................................................- 28 - LOTTO 3 - ............................................................................................................................................................... - 29 ART 3.1 SISTEMA DI RACK, UPS E CONDIZIONAMENTO ............................................................................................- 29 - LOTTO 4.1 - ............................................................................................................................................................ - 51 ART 4.1.1 SISTEMA DI RACK, UPS E CONDIZIONAMENTO .........................................................................................- 51 - LOTTO 4.2 - ............................................................................................................................................................ - 54 ART 4.2.1 SISTEMA DI RACK, UPS E CONDIZIONAMENTO .........................................................................................- 54 - LOTTO 5 - ............................................................................................................................................................... - 57 ART. 5.1 SISTEMA DI RACK, UPS E CONDIZIONAMENTO ............................................................................................- 57 ART. 5.2 PAVIMENTO TECNICO FLOTTANTE ..............................................................................................................- 78 5. APPENDICE 2 .................................................................................................................................................. - 79 - PREMESSA .................................................................................................................................................................... 81 CONSIDERAZIONI GENERALI ................................................................................................................................ 83 - LOTTO 1 - .................................................................................................................................................................... 84 ART 1.1 SISTEMA DI CALCOLO ..................................................................................................................................... 84 ART 1.2 APPARECCHIATURE DI RETE ............................................................................................................................ 85 ART 1.3 SOLUZIONI PER IL CONTROLLO REMOTO DEI SERVER E UNITÀ DI CALCOLO ...................................................... 85 ART 1.4 SISTEMA DI STORAGE....................................................................................................................................... 86 - LOTTO 2 - .................................................................................................................................................................... 88 ART 2.1 SISTEMA DI CALCOLO ...................................................................................................................................... 88 PUBLIC - 3 - / 191 -3- PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 ART 2.2 APPARECCHIATURE DI RETE ............................................................................................................................ 89 ART 2.3 SOLUZIONI PER IL CONTROLLO REMOTO DEI SERVER E UNITÀ DI CALCOLO ...................................................... 89 ART 2.4 SISTEMA DI STORAGE....................................................................................................................................... 90 - LOTTO 3 - .................................................................................................................................................................... 92 ART 3.1 SISTEMA DI CALCOLO ..................................................................................................................................... 92 ART 3.2 APPARECCHIATURE DI RETE ............................................................................................................................ 93 ART 3.3 SOLUZIONI PER IL CONTROLLO REMOTO DEI SERVER E UNITÀ DI CALCOLO ...................................................... 93 ART 3.4 SISTEMA DI STORAGE....................................................................................................................................... 94 - LOTTO 4.1 - ................................................................................................................................................................. 96 ART 4.1.1 SISTEMA DI CALCOLO .................................................................................................................................. 96 ART 4.1.2 APPARECCHIATURE DI RETE ......................................................................................................................... 97 ART 4.1.3 SOLUZIONI PER IL CONTROLLO REMOTO DEI SERVER E UNITÀ DI CALCOLO ................................................... 97 - LOTTO 4.2 - ................................................................................................................................................................. 98 ART 4.2.1 SISTEMA DI CALCOLO .................................................................................................................................. 98 ART 4.2.2 APPARECCHIATURE DI RETE ......................................................................................................................... 99 ART 4.2.3 SOLUZIONI PER IL CONTROLLO REMOTO DEI SERVER E UNITÀ DI CALCOLO ................................................... 99 - LOTTO 5 - .................................................................................................................................................................. 100 ART. 5.1 SISTEMA DI CALCOLO ................................................................................................................................... 100 ART. 5.2 APPARECCHIATURE DI RETE ......................................................................................................................... 101 ART. 5.3 SOLUZIONI PER IL CONTROLLO REMOTO DEL SISTEMA .................................................................................. 102 ART. 5.4 SISTEMA DI STORAGE .................................................................................................................................... 102 6. APPENDICE 3 ..................................................................................................................................................... 104 7. APPENDICE 4 ..................................................................................................................................................... 105 IBM BLADECENTER LS21 ............................................................................................................................................ 115 PUBLIC - 4 - / 191 -4- PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 1. INTRODUZIONE Questo documento descrive l’architettura ed i servizi accesso dell’infrastruttura di produzione del Progetto PI2S2 realizzata nel corso del primo anno. PUBLIC - 5 - / 191 -5- PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE 2. ARCHITETTURA COLLEGATI 2.1. DELL’INFRASTRUTTURA DI Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 PRODUZIONE E SERVIZI GARA D’APPALTO PER LA FORNITURA DELL’INFRASTRUTTURA GRID Nel primo anno del progetto PI2S2 l’attività del WP1 ha riguardato principalmente la preparazione delle gare d’appalto per la fornitura “chiavi in mano” della prima “tranche” dell’infrastruttura di servizio (armadi rack, gruppi di continuità e di condizionamento) e di quella calcolo, storage e rete. Il Consiglio di Amministrazione del Consorzio COMETA, sentito il parere del Comitato Tecnico Scientifico, ha designato una Commissione di esperti che ha provveduto alla preparazione dei capitolati tecnici. Per completezza di informazione, i capitolati tecnici per la gara “infrastruttura” e per la gara “calcolo” sono riportati in calce al presente deliverable come Appendici 1 e 2. Le offerte tecniche delle ditte vincitrici delle due gare sono invece riportate nelle Appendici 3 e 4. Le due gare sono state espletate tra Luglio 2006 e Gennaio 2007. Le figure 1 e 2 riportano delle schede riassuntive degli apparati di calcolo e di storage che sono stati acquistati: Figura 1 – Scheda riassuntiva del sistema di calcolo acquistato. PUBLIC - 6 - / 191 -6- PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 Figura 2 – Scheda riassuntiva del sistema di storage acquistato. Le offerte tecniche che sono risultate vincenti, e che forniscono un’idea completa dell’infrastruttura del Progetto che è stata acquistata fino a questo momento, sono riportate per completezza come Appendici 3 e 4. Alla data odierna, in tre dei 6 siti di COMETA è stata già completata l’installazione dell’infrastruttura di rack, raffreddamento e continuità. Gli altri siti verranno completati entro la prima metà di Marzo 2007. La fornitura delle macchine da calcolo e dei sistemi di storage, invece, è prevista avvenire in tutti i siti entro Aprile 2007. Altre attività preparatorie di WP1 condotte nel primo anno del Progetto PI2S2 sono riportare nei seguenti paragrafi. 2.2. AUTORITÀ DI REGISTRAZIONE DELL’AUTORITÀ DI CERTIFICAZIONE DEL-L’INFN I Partner del Consorzio COMETA hanno convenuto che l’Autorità di Certificazione dell’INFN (INFN CA, http://security.fi.infn.it/CA) rilascerà tutti i certificati digitali (X.509) per gli utenti ed i servizi grid del Progetto PI2S2. Ciò perché la INFN CA è una delle Autorità di Certificazione dell’Organizzazione EuGridPMA (http://www.eugridpma.org) che raggruppa tutte le CA accreditate sull’Infrastruttura Grid Europea del Progetto EGEE (http://www.eu-egee.org) e su quella mondiale del progetto WLCG (http://www.cern.ch/lcg). A tal fine, il Consorzio COMETA ha già attivato delle Autorità di Registrazione (RA) della INFN CA nella sedi di Catania, Messina, Palermo e Roma (per gli utenti del Consorzio SCIRE). La lista delle RA di COMETA che sono state attivate è reperibile http://security.fi.infn.it/CA/RA e riportata nella figura 3 seguente per completezza: PUBLIC alla pagina - 7 - / 191 web -7- PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 Figura 3 – Lista delle Registration Authority del Consorzio COMETA. 2.3. CREAZIONE DELL’ORGANIZZAZIONE VIRTUALE “cometa” E DELLE REGOLE DI ACCESSO ALL’INFRASTRUTTURA Al fine di favorire e velocizzare l’uso dell’Infrastruttura Grid del Progetto PI2S2 da parte di utenti che non appartengono già a Organizzazioni Virtuali pre-esistenti, è stata creata l’Organizzazione Virtuale “cometa”. Il server di amministrazione della Organizzazione Virtuale “cometa” è raggiungibile all’indirizzo web: https://voms.ct.infn.it:8443/voms/cometa/ ed il form di registrazione per gli utenti in possesso di certificato digitale personale è già attivo all’indirizzo web: https://voms.ct.infn.it:8443/voms/cometa/webui/request/user/create. A tutt’oggi risultano registrati 61 utenti. Gli utenti che si registrano nella VO “cometa” devono prima esplicitamente accettare le Regole di Accesso all’infrastruttura del Progetto PI2S2 che sono state definite in accordo con quelle vigenti in altri progetti grid internazionali in modo da assicurare, in futuro, una possibile interoperabilità. Il form di accettazione delle regole di accesso è riportato nella Figura 4. PUBLIC - 8 - / 191 -8- PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 Figura 4 – Regole di Accesso all’infrastruttura del Progetto PI2S2. PUBLIC - 9 - / 191 -9- PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 3. CONCLUSIONI L’infrastruttura di produzione del Progetto PI2S2 è stata progettata ed implementata incluso i servizi Grid accessori necessari per il suo utilizzo. Ciò fa sì che la milestone M1.2 del progetto possa essere considerata conseguita. PUBLIC - 10 - / 191 - 10 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 4. APPENDICE 1 Consorzio COMETA - Progetto PI2S2 FORNITURA DI INFRASTRUTTURA (RACK, UPS E CONDIZIONAMENTO) PER LA CREAZIONE DI UNA GRIGLIA COMPUTAZIONALE CAPITOLATO TECNICO PUBLIC - 11 - / 191 - 11 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 PREMESSA Tutti i sistemi devono essere forniti chiavi in mano e quindi devono essere inclusi cablaggi e posa in opera. Garanzia e manutenzione devono essere “on-site” per almeno 3 anni e di tipo almeno NBD (Next Business Day). L'offerta tecnica presentata e la successiva fornitura dovranno rispettare anche le seguenti condizioni: • Dichiarazione esplicita del range di temperatura ambientale all’interno del quale l’infrastruttura globale proposta opera in sicurezza in condizioni di pieno carico specificando se trattasi di dati rilevati in laboratorio o dichiarati dal costruttore. • Dichiarazione esplicita del consumo energetico totale (in W o in kW) specificando se trattasi di dati rilevati in laboratorio o dichiarati dal costruttore. - 12 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 CONSIDERAZIONI GENERALI L'obiettivo finale da conseguire è quello di creare un’infrastruttura di supporto ai sistemi di calcolo, di storage e di rete che sia in grado di soddisfare le esigenze attuali e quelle future del Progetto PI2S2. Il contraente dovrà fornire in opera tutti i materiali necessari alla realizzazione, secondo quanto indicato nel presente documento e nelle specifiche tecniche di progetto, garantendo il pieno rispetto delle normative tecniche e di sicurezza vigenti. Dovrà installare e terminare tutti i componenti hardware necessari a realizzare un sistema funzionale nonché fornire tutta la documentazione richiesta dal presente documento. Tutti i lavori dovranno essere eseguiti in maniera completa e scrupolosa in base ai più alti standard in campo industriale e dovranno essere sottoposti al controllo e all’accettazione da parte del Consorzio COMETA. Si stabilisce e si concorda espressamente che tali osservazioni e controlli da parte del Consorzio COMETA o di suoi consulenti non esonerano il contraente dalla responsabilità di un’adeguata supervisione ed esecuzione dei lavori descritti in questo documento o concordati successivamente. Le ditte partecipanti dovranno fornire un elenco del personale preposto al project management e al supporto tecnico assegnato al Progetto. Dovrà essere espressamente indicato un nominativo come Responsabile di Progetto. Il Responsabile di Progetto del contraente dovrà garantire il pieno rispetto delle tempistiche di esecuzione lavori eventualmente stabilite nel piano esecutivo redatto dal contraente secondo quanto stabilito in seguito. Tale Responsabile di Progetto dovrà essere inoltre il referente unico e diretto per il Consorzio COMETA relativamente a tutte le problematiche che dovessero emergere nel corso dell’esecuzione dei lavori. I dati numerici riportati nel presente capitolato sono basati su esperienza pregressa e sono da ritenersi indicativi. - 13 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 - LOTTO 1 Fornitura per l’Istituto Nazionale di Fisica Nucleare, Sezione di Catania. L’offerta economica per questo Lotto non può essere superiore a: € 75.000,00 IVA esclusa. ART 1.1 SISTEMA DI RACK, UPS E CONDIZIONAMENTO L’infrastruttura richiesta (UPS, distribuzione alimentazione elettrica – PDU, armadi TLC, condizionamento dell’aria integrato) dovrà essere un'architettura modulare, configurabile e scalabile progettata per fornire soluzioni di protezione dell'alimentazione elettrica end-toend per qualsiasi tipo di data center. Con il fine di ottenere il massimo livello di comunicazione tra i componenti dell’infrastruttura (UPS, distribuzione alimentazione elettrica – PDU, armadi TLC), si richiede che tutti i componenti appartenenti all’infrastruttura Data Center siano stati progettati e realizzati da un unico produttore. I componenti che verranno descritti dovranno integrarsi con l’attuale infrastruttura CED esistente e con il management dell’infrastruttura CED. Dovrà essere disponibile nella configurazione 400Vca trifase 50Hz, in sistemi TT, TN-C e TN-S. Il presente Articolo descrive i requisiti di tale architettura e i diversi componenti richiesti per mettere a punto una soluzione mirata modulare, configurabile e scalabile. Compatibilità e certificazioni EN50091-1-1 / IEC62040-1-1 EN/IEC62040-2 EN/IEC62040-3 IEC61000-4-2 livello 3, criterio di performance B IEC61000-4-4 livello 2, criterio di performance A IEC 1000-4-5 (livello 4) IEC 61000-4-3 livello 2, criterio di performance A EIA-310-D (rack dove sono alloggiati gli apparati) - 14 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 UPGRADE DEL GRUPPO DI CONTINUITA' (UPS) Considerazioni generali Il sistema attuale è composto da un’architettura array scalabile e ridondanta N+1 installata a rack. L’architettura UPS dovrà essere espansa per garantire 80 KW (N+1) aggiungendo n°4 moduli di potenza da 10kW/10kVA e 4 moduli batteria. I moduli di potenza ed i moduli batteria dovranno essere installati a caldo durante il funzionamento normale dell’UPS. Ciascun modulo dovrà avere la topologia Double Conversion On-Line a ingresso con correzione del fattore di potenza e bassa distorsione armonica (THDi%<5%). Modi operativi La topologia deve essere Double Conversion on-line. Indipendentemente dal loro numero, i moduli di alimentazione 10kW/10kVA di ogni singolo rack devono funzionare alla stregua di un unico sistema in ciascuno dei modi operativi descritti di seguito: • Normale: in ciascun modulo di alimentazione il raddrizzatore funziona in parallelo per trasformare la ca in ingresso in cc filtrata per alimentare ininterrottamente le batterie. L'inverter trasforma la tensione del bus cc in tensione di carico ca pulita e continua. • Interruzione dell'alimentazione: dopo aver rilevato un'interruzione dell'alimentazione, il raddrizzatore si deve isolare dall'alimentazione di rete in ingresso e le batterie si collegheranno all'inverter per garantire alimentazione al carico. Il tempo di autonomia da batteria sarà pari a quello definito nella presente specifica. Quando viene ripristinata l'alimentazione elettrica, senza alcun intervento da parte dell'utente i moduli UPS ritorneranno automaticamente al modo operativo normale descritto in precedenza. • Emergenza: nel caso si verifichi un guasto nel bus di uscita o una condizione di sovraccarico estremo, il carico viene commutato senza soluzioni di continuità a uno switch statico con correzione del fattore di potenza. Il guasto di un modulo all'interno di una configurazione ridondata non provoca la commutazione del carico alla linea di bypass statico. • Bypass di manutenzione: il sistema UPS comprenderà uno switch di bypass di manutenzione (MBS) wrap around per escludere in modo sicuro l'UPS nel corso di interventi di manutenzione di routine o di interventi di assistenza. L'MBS sarà ad apertura-chiusura perché non venga mai meno l'alimentazione al carico nella fase di transizione. Componenti - Raddrizzatore Ciascun modulo di alimentazione dell'UPS comprenderà un raddrizzatore attivo di tipo IGBT (Insulated Gated Bipolar Transistor) con correzione del fattore di potenza. La tensione nominale del bus cc deve essere pari a +/- 192V c.c. - 15 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 La tensione del bus cc deve essere compensata in base alle variazioni della temperatura (compensazione in temperatura della batteria) per mantenere costantemente una tensione ottimale di carica delle batterie in presenza di escursioni termiche al di sopra o al di sotto di 25° C. Il tasso di compensazione deve essere pari a 320mV/°C per valori di temperatura ambiente ≥ 20° C e a 0mV/°C per valori di temperatura ambiente < 20°C. La tensione di ondulazione c.c. deve essere inferiore a +/- 1% del valore nominale a batterie disconnesse. Il fattore di potenza in ingresso deve essere pari a 0,99 con ritardo se il carico è al 100% e a 0,98 se il carico è al 50% senza l'uso di filtri passivi. Il raddrizzatore utilizzerà la tecnologia di controllo elettronico della forma d'onda per mantenere la forma d'onda sinusoidale. Sarà usato il controllo della corrente Pulse Width Modulation (PWM) (modulazione a durata di impulso). Per tutte le funzioni di controllo e monitoraggio devono essere usati Digital Signal Processor (DPS). Non sono ammessi controlli analogici. La distorsione armonica totale (THD) riflessa della corrente di ingresso non deve essere superiore al 5% con carico al 100%. Intervallo della frequenza di ingresso: tra - 20% e + 15% del valore nominale. Il tempo standard di ricarica batterie è conforme a IEEE 485. - Batterie La tecnologia standard delle batterie dovrà essere VRLA (Valve Regulated Lead Acid). Le batterie non devono essere alloggiate nello stesso rack dove si trovano i moduli di alimentazione. Le batterie devono essere modulari e collocate su scaffali estraibili per rendere più rapida l'assistenza e la sostituzione. La tensione delle batterie deve essere compensata in temperatura come descritto nel precedente paragrafo. Potenza di ricarica: 5kW max. Fine della scarica: +/- 160V c.c. - Inverter L'inverter sarà composto da moduli di alimentazione IGBT a commutazione rapida. L'inverter dovrà essere controllato in modalità PWM con l'uso di logica DSP. Il controllo di tipo analogico non è ammesso. I moduli dell'inverter presentano la correzione del fattore di potenza, ovvero kW=kVA. L'uso di un fattore di potenza in uscita diverso dall'unità non è ammesso. La tensione nominale in uscita sarà pari a 400V/400V, trifase, 50Hz, a quattro fili più la terra. Rendimento di ciascun modulo a pieno carico: non inferiore al 93,5%. Distorsione armonica totale della tensione di uscita a pieno carico: inferiore al 2%. Regolazione della tensione di uscita: Statica: inferiore all'1% a pieno carico lineare e non lineare Dinamica: +/-5% con carico a gradini 100%. - 16 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 Frequenza in uscita: 50/60 Hz libera. Fattore di cresta: illimitato. Predisposizione per lo spegnimento di emergenza a distanza (EPO). - Fattori ambientali Temperatura di funzionamento con correzione del fattore di potenza: 0-40°C Temperatura dell'ambiente di posizionamento: tra - 15 e 45°C Altezza di funzionamento con correzione del fattore di potenza: 0 - 1000m s.l.m. Altezza di posizionamento: 0 - 15.000 m Umidità relativa: 0-95% non condensing Rumore udibile a 1 metro di distanza dall'unità: • 70 dbA al 100% del carico • 62 dbA al 70% del carico • Management I moduli di potenza ed i moduli di batteria dovranno comunicare con l’attuale sistema di management dell’infrastruttura fisica in modo tale che il responsabile del Data Center potrà conoscere quanti moduli sono stati installati ed i loro stato durante l’esercizio. MODULO RACK ED ACCESSORI Dovranno essere forniti ed installati n°4 Armadi Rack secondo le seguenti specifiche: Specifiche Fisiche Dimensione Rack, compatibilità del montaggio a rack, carico massimo supportato Altezza Interna EIA310 Altezza Esterna Larghezza Esterna Profondità Esterna Carico Statico Carico Dinamico 42U 19” 2070mm 600mm 1070mm 909 Kg 909 Kg (81.5”) (23.6”) (42.1”) (2000lbs) (2000lbs) L’altezza esterna del 42U è di 2070mm (81.5”) per facilitarne il passaggio attraverso una porta standard 7 Ft. (84”). - 17 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 Il carico statico supportato dovrà essere di almeno 909 Kg (peso supportato dalle ruote orientabile e dai piedini di livellamento). Il carico dinamico supportato dovrà essere di almeno 909 Kg (peso supportato dalle ruote orientabile in movimento). Accesso al carico e montaggio L’armadio deve offrire 42U di spazio per il montaggio delle apparecchiature I montanti verticali devono essere regolabili in profondità Sia la porta frontale che posteriore devono possedere cardini a rilascio veloce per un rapido e veloce smontaggio Sia la porta frontale che posteriore devono poter essere aperte fino a 180° per un facile accesso interno La porta frontale deve essere reversibile in modo da essere aperta da entrambi i lati La porta posteriore deve essere a due battenti verticali per rendere più agevole l’attività di service L’armadio deve possedere pannelli laterali removibili senza attrezzi migliorando l’accesso per un veloce cablaggio dell’apparecchiature Specifiche ambientali L’armadio deve avere una protezione IP 20 contro il contatto, l’ingresso di corpi estranei e l’introduzione d’acqua. Specifiche di sicurezza L’armadio deve rispondere alle specifiche meccaniche (stabilità, resistenza meccanica, apertura porte, etc.) definite nel IEC 60950 Terza Edizione. Ventilazione L’armadio deve fornire una ventilazione che supera le specifiche della maggior parte dei server vendor - 18 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 L’armadio deve fornire una ventilazione per la porta frontale, la porta posteriore ed il tetto come mostrata di seguito: Altezza Interna Larghezza Esterna Porta Frontale Perforata Porta Posteriore Perforata Tetto Perforato 600mm 1070mm 5355 cm² 5413 cm² 1007 cm² (23.6”) (42.1.”) (830 in²) (839 in²) (156 in²) Canalizzazioni Ogni Armadio Rack dovrà avere fino a 3 canalizzazioni sul tetto per garantire il passaggio dei cavi di alimentazione e dati. Strisce di Alimentazione In ogni Armadio Rack dovranno essere installate n°2 strisce di alimentazioni intelligenti da 32Amp installate nella parte posteriore dell’armadio senza occupare unità. L’installazione deve poter essere effettuata senza attrezzi. Deve essere composta da 24 prese di cui 20 IEC 320 C13 e 4 IEC 320 C19. Corrente 32Amp, Potenza almeno 7KW. È richiesto un amperometro digitale integrato con display. È richiesto il monitoraggio via IP dell’assorbimento. È richiesta l’allarmistica con soglie. È richiesta la possibilità di comandare da remoto l’alimentazione delle singole prese attraverso l’accensione e lo spegnimento della singola presa. L’accesso al management delle strisce di alimentazioni intelligenti dovrà avvenire tramite browser ed il management delle strisce di alimentazioni dovrà comunicare con il management dell’infrastruttura esistente. MODULO GESTIONE AMBIENTALE E SENSORI Dovranno essere fornite, installate e configurate n°2 centraline di gestione ambientale via IP con altezza 1U e montaggio 19”. - 19 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 Ogni centralina di gestione ambientale dovrà essere fornita con i seguenti sensori: n.°2 sensori di temperatura ed umidità, n.°1 sensori di controllo fumi all’interno dell’armadio Rack Server, n.°1 sensori anti-allagamento lunghezza almeno 6 m, n.°1 lampeggiante posizionato sul tetto dei Rack, n.°1 sensore apertura porta Rack Server, n°1 sensore vibrazioni La centralina dovrà ospitare i seguenti contatti per future integrazioni: fino a n.°4 sensori temperatura ed umidità, sensore movimento tra le file degli armadi Rack. n.° 4 contatti puliti disponibili Il management della centralina di gestione ambientale dovrà essere accessibile tramite browser. Il management della centralina di gestione ambientale dorà essere integrato con il management dell’Infrastruttura esistente. MODULO SISTEMA DI CONDIZIONAMENTO AMBIENTALE Premessa Il sistema di condizionamento ambientale dovrà essere progettato specificatamente per applicazioni di controllo di precisione di temperatura ed umidità. Controllerà automaticamente le funzioni di riscaldamento, raffreddamento e filtraggio dell’ambiente interessato. Il sistema dovrà essere costruito secondo i più alti standard qualitativi di ingegneria e costruzione, e dovrà essere montato a pavimento, configurato per un flusso d’aria condizionata up al fine di fornire la distribuzione uniforme dell’aria nell’ambiente interessato. Dovranno essere fornite ed installate n°2 unità di condizionamento capaci di neutralizzare fino a 20kW per Armadio Rack aventi le seguenti caratteristiche: Cabinet Il cabinet del sistema di condizionamento dovrà essere provvisto di pannelli laterali e pannelli frontali e laterali conformi allo standard relativo all’isolamento UL94-5VA ASTM e84. I pannelli frontali e posteriori dovranno essere perforati con asole che dovranno garantire almeno il 50% di area libera e dovranno essere equipaggiati con una chiave ed una serratura per garantire un accesso sicuro ai componenti interni all’unità di condizionamento. Le attività di service sull’unità di condizionamento verranno eseguite sul fronte e/o sul retro al fine di posizionare l’unità di condizionamento in fila ai Rack IT. - 20 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 L’unità di condizionamento dovrà essere provvista di ruote e piedini di livellamento al fine di posizionare correttamente l’unità in fila agli adiacenti Rack IT. Ventole Ogni unità di condizionamento include 8 ventole. Ogni ventola dovrà essere progettata per fornire 362.5 CFM per un totale di flusso d’aria di 2900 CFM. L’unità di condizionamento dovrà essere in grado di funzionare anche nel caso di un guasto ad una delle 8 ventole. Le 8 ventole dovranno essere riparabili mentre l’unità di condizionamento è in funzione. Doppio Alimentatore A-B Doppio alimentatore A-B di ingresso all’unità di condizionamento. L’unità di condizionamento dovrà includere due alimentatore capaci di fornire il 60% della potenza totale. L’assorbimento della singola unità di condizionamento non dovrà superare i 1100W durante il funzionamento normale. Controllore Dal display dell’unità di condizionamento si dovrà accedere alla configurazione ed al monitoraggio della stessa attraverso dei controlli a menu. Le funzioni dovranno includere i report riguardanti lo stato, il set-up e la temperatura. Lo stato di funzionamento dell’unità di condizionamento dovrà essere indicato da LED o da altri appropriati indicatori. Il controllore dell’unità di condizionamento dovrà essere fornito con controlli attraverso chiavi per una navigazione attraverso i menu, gli oggetti selezionabili e le informazioni di input alpha numeriche. Il controllore dovrà poter attivare allarmi visibili ed udibili in presenza dei seguenti eventi: a. Filtro dell’aria intasato b. Comunicazione fallita c. Attuatore della valvola guasto d. Pompa guasta e. Unità di condizionamento guasta f. Alta temperatura del fluido in ingresso g. Sensore di temperatura guasto h. Ventola guasta - 21 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE i. j. k. l. m. n. o. p. q. Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 Alimentatore guasto Misuratore della velocità di flusso guasto Perdita del gruppo di comunicazione Comunicazione interna fallita Alimentazione A-B fallita Alta temperatura nel Rack Bassa temperatura nel Rack Temperatura in uscita elevata Presenza acqua Il controllore dovrà memorizzare e visualizzare sul display tutti gli eventi del sistema di condizionamento. Ogni allarme dovrà contenere la data, l’ora e la modalità di funzionamento del sistema di condizionamento nel momento dell’evento. Scheda di Management L’unità di condizionamento dovrà includere una scheda di management permettendo una gestione via rete TCP/IP. Il management via rete dovrà prevedere la possibilità di fissare dei set-point, entrare nei vari parametri del menu e cancellare allarmi. Valvola 2 WAY/ 3 WAY Il sistema di refrigerazione ad acqua dovrà utilizzare la valvola 2 WAY/3 WAY al fine di regolare la quantità d’acqua verso l’unità di condizionamento per mantenere le condizioni desiderate. La valvola dovrà essere collegata internamente all’unità di condizionamento e dovrà essere di facile sostituzione in caso di guasto. Il valore standard della pressione è di 600 psig. Connessioni dall’alto o dal basso I tubi dell’acqua refrigerata dovranno poter essere connessi sia dall’alto che dal basso dell’unità. Le connessione dei tubi dell’acqua refrigerata dovranno essere presenti all’interno dell’unità. Sensore della temperatura remoto Il sensore della temperatura remoto dovrà essere collegato all’unità di condizionamento al fine di fornire il controllo della temperatura di ingresso sul fronte del Rack. - 22 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 Misuratore di flusso Il misuratore di flusso dovrà essere installato all’interno dell’unità di condizionamento e collegato al controllore dell’unità al fine di fornire il valore della velocità di flusso attraverso l’unità di condizionamento. Presenza acqua Un cavo sensibile alla presenza d’acqua dovrà essere collegato all’unità di condizionamento. Nel caso in cui l’acqua o altri liquidi dovessero entrare in contatto con una superficie del cavo per tutta la sua lunghezza, il controllore visualizzerà e annuncerà in modo udibile l’allarme. Il cavo presenza acqua non dovrà essere inferiore ai 6 mt. Canalizzazione sul tetto dell’unità Al fine di realizzare la canalizzazione orizzontale sul tetto dei Rack sia per i cavi di potenza che dati, l’unità di condizionamento dovrà montare sul tetto delle canalizzazioni identiche a quelli degli armadi Rack. Impianto ad acqua refrigerata Le due unità di condizionamento dovranno essere collegate all’esistente impianto ad acqua refrigerata, pertanto dovrà essere previsto tutto il necessario per effettuare tali collegamenti a regola d’arte. PLENUM L’intera infrastruttura dovrà essere chiusa su ogni lato da un plenum al fine di convogliare tutto il calore prodotto dai rack in ingresso al condizionatore, ottenendo una maggiore densità di potenza per rack. Il plenum dovrà essere modulare e scalabile con la possibilità di inserire più rack in futuro. Attività DI Post-Installazione - 23 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 Ultimata l’installazione la Ditta fornitrice dovrà garantire una serie di attività PostInstallazione necessarie per la corretta gestione e manutenzione della infrastruttura installata. In dettaglio dovranno essere garantite le seguenti attività: Training di 1 giorno sulla gestione e manutenzione dell’infrastruttura installata. Dovrà essere erogato da parte della ditta installatrice e/o produttrice del sistema un training della durata di almeno una giornata al personale coinvolto nella gestione e nella manutenzione del sistema installato. Durante il training dovranno essere illustrate la logica del funzionamento del sistema installato e le sue caratteristiche tecniche e funzionali. 1 Anno di Monitoraggio 7x24 da remoto dell’intera infrastruttura installata. Dovrà essere garantito il monitoraggio in outsourcing dell’infrastruttura installata per un periodo continuativo di 12 mesi, 24 ore su 24, a partire dalla data della sua messa in esercizio, volto ad individuare eventuali problemi sull’infrastruttura. Tale monitoraggio dovrà essere preferibilmente fornito tutto o in parte con il diretto coinvolgimento del produttore dell’infrastruttura, in grado di interpretare in anticipo potenziali malfunzionamenti che potrebbero compromettere l’ottimale utilizzo dell’infrastruttura installata e di suggerire i necessari interventi correttivi. Dovrà anche essere inclusa una completa reportistica da fornire con cadenza mensile in grado di rappresentare il funzionamento nel tempo dell’infrastruttura installata. Integrazione del Software di gestione con la rete locale. Dovrà essere garantita la perfetta integrazione del Software e del Server di gestione con la rete locale presente, e tutti i componenti dell’infrastruttura dovranno essere identificati con un loro indirizzo IP. LAYOUT - 24 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 Lista dei componenti L’elenco dei componenti HW che la Ditta dovrà fornire in opera configurati secondo le esigenze dell’Università e il dettaglio delle attività che dovranno essere garantite a seguito dell’installazione è il seguente: Fornitura in opera Hardware COMPONENTI: COMPONENTI Q.tà DESCRIZIONE Moduli di Poteza 4 Moduli di Potenza 10kW/10kVA Moduli Batteria 4 Moduli Batteria - 25 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Armadi Rack 19” Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 2 Armadi Rack 19” 42U 4 Strisce di alimentazioni intelligenti da 32A 42U Strisce di Alimentazioni con 24 prese ed accensione e spegnimento Intelligenti della singola presa. Centralina di 2 Centralina di gestione ambientale ciascuna Gestione con sensori: temperatura, umidità, apertura Ambientale porte, lampeggiante, ant-allagamento, fumi all’interno del Rack Condizionamento 2 Unità di condizionamento ad acqua refrigerata fino a 20kW Attività Post-Installazione ATTIVITA’ Q DESCRIZIONE . t à Assemblaggio 1 Assemblaggio dell’intera infrastruttura. Training 1 Training di 1 giorno sulla gestione e manutenzione dell’infrastruttura installata. - 26 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Monitoraggio 1 Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 1 Anno di Monitoraggio 7x24 da remoto dell’intera infrastruttura installata. Network Integration 1 Integrazione del Software di gestione con la rete dati del Data Center - 27 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 - LOTTO 2 Fornitura per l’Istituto Nazionale di Astrofisica, Osservatorio Astrofisico di Catania. L’offerta economica per questo lotto non può essere superiore a: € 5.000,00 IVA esclusa. ART 2.1 SISTEMA DI RACK, UPS E CONDIZIONAMENTO Sistema Rack 19” di 42U (colore nero) fornito con ventilazione forzata adeguata. UPS da 10000 VA con ingresso trifase. Autonomia 10 minuti calcolati su 10000VA, con montaggio sul rack. Il sistema deve poter essere monitorato via Web Browser con la possibilità di ricevere messaggi di allarmi. Sistema di monitoraggio ambientale all’interno dell’Armadio Rack della temperatura ed umidità. Strisce di alimentazione intelligenti fino a 24 prese dotate di sistema di Accensione e spegnimento via IP della singola presa. Qualora il sistema proposto per il Lotto 2 necessiti di più di un rack, l’offerta dovrà comprendere tale opzione. - 28 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 - LOTTO 3 Fornitura per l’Università degli Studi di Messina e l’Istituto Nazionale di Geofisica e Vulcanologia. L’offerta economica per questo lotto non può essere superiore a: € 174.000,00 IVA esclusa. ART 3.1 SISTEMA DI RACK, UPS E CONDIZIONAMENTO L’infrastruttura richiesta (UPS, distribuzione alimentazione elettrica – PDU, armadi TLC, condizionamento dell’aria integrato) dovrà essere un'architettura modulare, configurabile e scalabile progettata per fornire soluzioni di protezione dell'alimentazione elettrica end-toend per qualsiasi tipo di data center. Con il fine di ottenere il massimo livello di comunicazione tra i componenti dell’infrastruttura (UPS, distribuzione alimentazione elettrica – PDU, armadi TLC), si richiede che tutti i componenti appartenenti all’infrastruttura Data Center siano stati progettati e realizzati da un unico produttore. La soluzione UPS/PDU dovrà essere costituita da unità di alimentazione e di distribuzione modulari e facili da installare. Ciascun modulo dovrà essere composto da rack 23" indipendenti, simili ai rack dove saranno alloggiati gli apparati di calcolo e di storage del data center. La soluzione dovrà includere i componenti seguenti: UPS, switch statico (STS) con correzione del fattore di potenza, switch di bypass di manutenzione (MBS), unità batterie, unità di distribuzione dell'alimentazione (PDU), prese multipla (striscie di alimentazione) con gestione delle singole porte di alimentazione, canaline per il posizionamento dei cavi e cablaggio in testa, cavi alimentazione e dati Dovrà essere disponibile nella configurazione 400Vca trifase 50Hz, in sistemi TT, TN-C e TN-S. Il presente Articolo descrive i requisiti di tale architettura e i diversi componenti richiesti per mettere a punto una soluzione mirata modulare, configurabile e scalabile. - 29 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 IMPIANTO ELETTRICO PER LA CONFIGURAZIONE (N+1) Il grado di ridondanza (N+1) implica un sistema di distribuzione a singolo radiale. Nella figura sottostante è riportato un sistema in configurazione (N+1) con ridondanza intrinseca di UPS e ridondanza di distribuzione (cavi e interruttori generali). Sorgente di alimentazione in configurazione (N+1) Requisiti di impianto elettrico Di seguito si riportano le caratteristiche elettriche richieste per i componenti di impianto installati a monte del quadro elettrico di distribuzione denominato PDU, in riferimento alla figura sopra riportata. Caratteristiche elettriche Valori Massima Corrente di ingresso (continua, a minima tensione di alimentazione) 147A - 30 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Protezione in corrente di ingresso Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 160A *Nota 1 Massima corrente di uscita (nella sola di condizione di bypass al 125% di 145A sovraccarico) Corrente di uscita sul conduttore di neutro (con 100% di carico distorcente) *Nota 2 Sezione cavi ingresso 70mm2 Sezione cavi uscita 50mm2 Cavo PE esterno 35mm2 1) Protezione di corrente in Ingresso; I fusibili dovranno essere DIN LV HRC tipo gl 500V 2) Cavi di uscita conduttore di neutro; dimensionati per il 173% della corrente di fase, per carichi distorcenti. Tutti i cavi dovranno essere in rame isolati in PVC a 30°C come massima temperatura ambientale. Si prega di osservare che carichi distorcenti (switch mode power supply) monofase causano l’aumento della corrente di neutro: al 100% di carico distorcente (carico SMPS) il cavo di neutro dovrebbe essere dimensionato in accordo con quanto previsto da norma CEI64-8. Si osservi che carichi distorcenti (switch mode power supply) monofase causano l’aumento della corrente di neutro: al 100% di carico distorcente (carico SMPS) il cavo di neutro dovrebbe essere dimensionato in accordo con quanto previsto da norma CEI 64-8. Compatibilità e certificazioni EN50091-1-1 / IEC62040-1-1 EN/IEC62040-2 EN/IEC62040-3 IEC61000-4-2 livello 3, criterio di performance B IEC61000-4-4 livello 2, criterio di performance A IEC 1000-4-5 (livello 4) IEC 61000-4-3 livello 2, criterio di performance A EIA-310-D (rack dove sono alloggiati gli apparati) SEZIONE 1 - MODULO GRUPPO DI CONTINUITA' (UPS) - 31 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 Considerazioni generali 1. Il sistema dovrà essere composto da un’architettura array scalabile e ridondata N+1 installate a rack. L’architettura UPS dovrà essere dimensionata per garantire 40 KW (N+1) ma dovrà essere espandibile sino a 80 KW (N+1), e dovrà poter comprendere fino a un massimo di nove (9) moduli di alimentazione 10kW/10kVA in una configurazione ridondante N+1, uno switch statico di bypass, un sistema batterie in armadi separati in grado di garantire autonomia fino a 10 minuti (con carico nominale di 40 KW ca.) e un display LCD, il tutto alloggiato in rack 19" suddivisi in moduli di potenza e moduli batteria. La soluzione UPS dovrà consentire agli utenti di installare e rimuovere i moduli di alimentazione 10kW/10kVA e i moduli batteria anche durante il funzionamento del sistema (Hot-Swapable). Ciascun modulo dovrà avere la topologia Double Conversion On-Line a ingresso con correzione del fattore di potenza e bassa distorsione armonica (THDi%<5%). Modi operativi La topologia deve essere Double Conversion on-line. Indipendentemente dal loro numero, i moduli di alimentazione 10kW/10kVA di ogni singolo rack devono funzionare alla stregua di un unico sistema in ciascuno dei modi operativi descritti di seguito: • • • • Normale: in ciascun modulo di alimentazione il raddrizzatore funziona in parallelo per trasformare la ca in ingresso in cc filtrata per alimentare ininterrottamente le batterie. L'inverter trasforma la tensione del bus cc in tensione di carico ca pulita e continua. Interruzione dell'alimentazione: dopo aver rilevato un'interruzione dell'alimentazione, il raddrizzatore si deve isolare dall'alimentazione di rete in ingresso e le batterie si collegheranno all'inverter per garantire alimentazione al carico. Il tempo di autonomia da batteria sarà pari a quello definito nella presente specifica. Quando viene ripristinata l'alimentazione elettrica, senza alcun intervento da parte dell'utente i moduli UPS ritorneranno automaticamente al modo operativo normale descritto in precedenza. Emergenza: nel caso si verifichi un guasto nel bus di uscita o una condizione di sovraccarico estremo, il carico viene commutato senza soluzioni di continuità a uno switch statico con correzione del fattore di potenza. Il guasto di un modulo all'interno di una configurazione ridondata non provoca la commutazione del carico alla linea di bypass statico. Bypass di manutenzione: il sistema UPS comprenderà uno switch di bypass di manutenzione (MBS) wrap around per escludere in modo sicuro l'UPS nel corso di interventi di manutenzione di routine o di interventi di assistenza. L'MBS sarà ad apertura-chiusura perché non venga mai meno l'alimentazione al carico nella fase di transizione. Componenti - Raddrizzatore Ciascun modulo di alimentazione dell'UPS comprenderà un raddrizzatore attivo di tipo IGBT (Insulated Gated Bipolar Transistor) con correzione del fattore di potenza. La tensione nominale del bus cc deve essere pari a +/- 192Vcc - 32 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 La tensione del bus cc deve essere compensata in base alle variazioni della temperatura (compensazione in temperatura della batteria) per mantenere costantemente una tensione ottimale di carica delle batterie in presenza di escursioni termiche al di sopra o al di sotto di 25° C. Il tasso di compensazione deve essere pari a 320mV/°C per valori di temperatura ambiente ≥ 20° C e a 0mV/°C per valori di temperatura ambiente < 20°C. La tensione di ondulazione cc deve essere inferiore a +/- 1% del valore nominale a batterie disconnesse. Il fattore di potenza in ingresso deve essere pari a 0,99 con ritardo se il carico è al 100% e a 0,98 se il carico è al 50% senza l'uso di filtri passivi. Il raddrizzatore utilizzerà la tecnologia di controllo elettronico della forma d'onda per mantenere la forma d'onda sinusoidale. Sarà usato il controllo della corrente Pulse Width Modulation (PWM) (modulazione a durata di impulso). Per tutte le funzioni di controllo e monitoraggio devono essere usati Digital Signal Processor (DPS). Non sono ammessi controlli analogici. La distorsione armonica totale (THD) riflessa della corrente di ingresso non deve essere superiore al 5% con carico al 100%. Intervallo della frequenza di ingresso: tra - 20% e + 15% del valore nominale Il tempo standard di ricarica batterie è conforme a IEEE 485. - Batterie La tecnologia standard delle batterie dovrà essere VRLA (Valve Regulated Lead Acid). Le batterie non devono essere alloggiate nello stesso rack dove si trovano i moduli di alimentazione. Le batterie devono essere modulari e collocate su scaffali estraibili per rendere più rapida l'assistenza e la sostituzione. La tensione delle batterie deve essere compensata in temperatura come descritto nel precedente paragrafo 3.1.c. Potenza di ricarica: 5kW max. Fine della scarica: +/- 160Vcc - Inverter L'inverter sarà composto da moduli di alimentazione IGBT a commutazione rapida. L'inverter dovrà essere controllato in modalità PWM con l'uso di logica DSP. Il controllo di tipo analogico non è ammesso. I moduli dell'inverter presentano la correzione del fattore di potenza, ovvero kW=kVA. L'uso di un fattore di potenza in uscita diverso dall'unità non è ammesso. La tensione nominale in uscita sarà pari a 400V/400V, trifase, 50Hz, a quattro fili più la terra. Rendimento di ciascun modulo a pieno carico: non inferiore al 93,5%. Distorsione armonica totale della tensione di uscita a pieno carico: inferiore al 2%. Regolazione della tensione di uscita: Statica: inferiore all'1% a pieno carico lineare e non lineare Dinamica: +/-5% con carico a gradini 100% Frequenza in uscita: 50/60 Hz libera - 33 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 Fattore di cresta: illimitato Predisposizione per lo spegnimento di emergenza a distanza (EPO) - Switch statico Lo switch statico sarà composto da raddrizzatori controllati al silicio (SCR) con correzione del fattore di potenza. Non sono ammessi SCR senza correzione del fattore di potenza muniti di contattore wrap around. Lo switch statico deve essere di tipo estraibile per facilitare la manutenzione. Sarà alloggiato nello stesso rack dove si trovano i moduli di alimentazione principali e le batterie. Se si verificano più di 10 commutazioni da e verso l'inverter nel corso di 10 minuti, il carico verrà bloccato in condizione di bypass statico. Un allarme provvederà a segnalare la situazione. - Fattori ambientali Temperatura di funzionamento con correzione del fattore di potenza: 0-40°C Temperatura dell'ambiente di posizionamento: tra - 15 e 45°C Altezza di funzionamento con correzione del fattore di potenza: 0 - 1000m s.l.m. Altezza di posizionamento: 0 - 15.000 m Umidità relativa: 0-95% non condensing Rumore udibile a 1 metro di distanza dall'unità: • 70 dbA al 100% del carico • 62 dbA al 70% del carico - Connettività e gestione Monitoraggio da remoto e chiusura automatica sicura del sistema operativo Arresto del server: L'UPS, unitamente a una scheda di interfaccia di rete, chiude automaticamente in modo sicuro uno o più sistemi operativi in caso di alimentazione di emergenza da batteria (reti TCP/IP Ethernet) L'UPS sarà anche in grado di utilizzare una porta RS232 per comunicare lungo un cavo seriale DB9 e chiudere automaticamente in modo sicuro uno o più sistemi operativi in caso di alimentazione di emergenza da batteria. - Monitoraggio da remoto dell'UPS Monitoraggio via Web: dovrà essere possibile monitorare da remoto l'UPS tramite un Web browser come Internet Explorer o Netscape Navigator. Monitoraggio via RS232: dovrà essere possibile monitorare da remoto l'UPS attraverso una connessione RS232 oppure un contatto libero del gruppo di continuità. - 34 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 Il produttore dell'UPS deve fornire software in grado di supportare la chiusura automatica sicura e il monitoraggio da remoto dei seguenti sistemi operativi: Scientific Linux CERN 3.0.5 e superiori, Linux Red Hat Enterprise 3.0 e superiori, Fedora Core 3 e superiori Microsoft 3.1, 3.11 Microsoft Windows 95 Microsoft Windows NT OS/2 Netware 3.12, 4.1, 4.11 Apple DEC VMS DG-UX Silicon Graphics DEC OSF/1 SCO UNIX SCO XENIX SVR4 Interactive Unix Ware SUN Solaris SUN OS IBM AIX HP-UX - Parti meccaniche I moduli di alimentazione dell'UPS, lo switch statico e le batterie VRLA dovranno essere alloggiati in un rack 19" standard che presenta le specifiche seguenti: 208cmH x 60cmL x 86cmP Finito con polvere, colore nero Acciaio laminato a freddo spessore 16 Armadio NEMA 1 Struttura con parte anteriore cieca Munito di rotelle per favorire la mobilità. I piedini di livello sono forniti di dotazione Ingresso cavi: dall'alto o dal basso. - 35 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 SEZIONE 2 - UNITA' DI DISTRIBUZIONE DELL'ALIMENTAZIONE Considerazioni generali La PDU è un'unità indipendente dove sono alloggiati lo switch di bypass di manutenzione (MBS), gli interruttori della distribuzione dell'alimentazione e il controller di gestione remota. La PDU deve essere montata a fianco dell'UPS trifase in una disposizione di perfetto allineamento. Fattori elettrici La PDU è un'unità indipendente dove sono alloggiati lo switch di bypass di manutenzione (MBS), gli interruttori della distribuzione dell'alimentazione e il controller di gestione remota. La PDU dovrà essere alloggiata in un rack 23" standard che presenta la stessa altezza e profondità dell'UPS trifase, e posizionata a fianco dell'UPS trifase in una disposizione di perfetto allineamento. Per facilitare la manutenzione e l'assistenza dell'UPS modulare trifase senza interruzione del carico critico dovrà essere fornito di dotazione uno switch di bypass di manutenzione (MBS) di tipo apertura-chiusura con tre (3) interruttori. L’Unità di distribuzione dell’alimentazione con System Bypass a 80 kW dovrà provvedere alla distribuzione e alla gestione della corrente elettrica. Con una capacità di 80 kW, l’unità accoglierà un ingresso trifase da 400 V, e distribuirà alimentazione monofase da 230 V (L-N) ai rack dell’apparecchiatura e ai pannelli di distribuzione remota. Tali pannelli occuperanno le 10 U superiori degli armadietti tipo rack progettati appositamente e distribuiranno alimentazione ai rack dell’apparecchiatura. L’Unità di distribuzione dell’alimentazione con System Bypass sarà alloggiata in un armadietto tipo rack progettato appositamente. Ogni Unità di distribuzione dell’alimentazione con System Bypass da 80 kW disporrà di trenta posizioni polari per l’alimentazione dei rack dell’apparecchiatura e di quattro posizioni tripolari per l’alimentazione di pannelli di distribuzione remota (remote distribution panel). Ogni pannello di distribuzione remota disporrà di trentanove posizioni polari per l’alimentazione dei rack dell’apparecchiatura e una posizione tripolare che alimenterà, a sua volta, il pannello di distribuzione remota. Ciascun quadro dovrà essere dimensionato in base ai seguenti valori nominali: 230V, trifase, in regime di neutro dipendente dalla sorgente, 50Hz. Per quanto riguarda l'installazione in testa dei cavi di alimentazione, il vendor dell'UPS fornirà adeguati cavi monofase per collegare gli interruttori della distribuzione al rack fornito. Ciascun cavo dovrà essere munito di una spina IEC 320-19 per l'inserimento in una PDU con gestione delle singole porte di alimentazione (presa multipla) alloggiata nei rack forniti. La lunghezza dei cavi dipenderà dalla lunghezza di ciascuna fila di rack. La corrente di terra dovrà essere monitorata. Monitoraggio tensione/corrente - 36 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 Ciascun interruttore della distribuzione deve comprendere in dotazione un trasformatore di corrente integrato per monitorare la corrente che attraversa ciascun interruttore. Lo stato e le condizioni della soluzione dovranno essere indicati da un'unità di monitoraggio del controller di sistema fornita in dotazione. Tra le condizioni monitorate figurano: - Tensioni del sistema - La corrente che attraversa gli interruttori della distribuzione. Dovrà essere fornito uno switch a 32 porte per consentire il monitoraggio della rete e la comunicazione tra la rete e i server di gestione del carico. Per quanto riguarda l'installazione in testa, i cavi dati che si collegano allo switch a 32 porte dovranno essere forniti dal vendor dell'UPS. La lunghezza dei cavi dati dipende dalla lunghezza di ciascuna fila di rack. Tool HW/SW per la gestione del sistema Un tool HW/SW dovrà essere in grado di permettere il monitoraggio del carico a livello di singolo dispositivo, di riconoscere automaticamente tutti i componenti collegati e di fornire una visione grafica dell’intera infrastruttura. In caso di allarme deve essere in grado di effettuarne la notificazione via e-mail, via teledrin, e via SMS (qualora presente un Gateway SMS). Gli allarmi debbono essere archiviati in file “log” con data e ora dell’evento. Il sistema dovrà monitorare i seguenti componenti via Ethernet: Rack UPS, RACK PDU, Strisce di Alimentazione contenute nei singoli Armadi Rack, Schede Ambientali, Componenti Opzionali (come ATS e stazioni di energia in DC). Parti meccaniche La PDU, composta da MBS, due (2) quadri a 42 posizioni e dall'hub di rete e monitoraggio, dovrà essere alloggiata in un rack 23" standard che presenta le specifiche seguenti: 208cmH x 750cmL x 86cmP Finito con polvere, colore nero Acciaio laminato a freddo spessore 16 Armadio NEMA 1 - 37 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 Struttura con parte anteriore cieca Munito di rotelle per favorire la mobilità. I piedini di livello sono forniti di dotazione Ingresso cavi: dall'alto o dal basso. Collegamenti L’installazione dovrà comprendere: la realizzazione dei collegamenti elettrici tra le Unità di distribuzione dell'alimentazione (PDU) e ciascun armadio rack di carico. Tale collegamento dovrà essere realizzato utilizzando cavo elettrico di caratteristiche e dimensioni adeguate al carico massimo che ciascun rack potrà sopportare. Il collegamento elettrico tra i Moduli gruppo di continuità (UPS) Trifase e il quadro elettrico di zona. Tale collegamento dovrà essere realizzato utilizzando cavo elettrico di caratteristiche e dimensioni adeguate al carico massimo che ciascuna soluzione UPS potrà sopportare. MODULO RACK ED ACCESSORI Dovranno essere forniti ed installati n°6 Armadi Rack ed accessori aventi le seguenti specifiche tecniche: Specifiche Fisiche Dimensione Rack, compatibilità del montaggio a rack, carico massimo supportato Altezza Interna EIA310 Altezza Esterna Larghezza Esterna Profondità Esterna Carico Statico Carico Dinamico 42U 19” 2070mm 600mm 1070mm 909 Kg 909 Kg (81.5”) (23.6”) (42.1”) (2000lbs) (2000lbs) - 38 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 L’altezza esterna del 42U è di 2070mm (81.5”) per facilitarne il passaggio attraverso una porta standard 7 Ft. (84”). Il carico statico supportato dovrà essere di almeno 909 Kg (peso supportato dalle ruote orientabile e dai piedini di livellamento). Il carico dinamico supportato dovrà essere di almeno 909 Kg (peso supportato dalle ruote orientabile in movimento). Accesso al carico e montaggio L’armadio deve offrire 42U di spazio per il montaggio delle apparecchiature I montanti verticali devono essere regolabili in profondità Sia la porta frontale che posteriore devono possedere cardini a rilascio veloce per un rapido e veloce smontaggio Sia la porta frontale che posteriore devono poter essere aperte fino a 180° per un facile accesso interno La porta frontale deve essere reversibile in modo da essere aperta da entrambi i lati La porta posteriore deve essere a due battenti verticali per rendere più agevole l’attività di service L’armadio deve possedere pannelli laterali removibili senza attrezzi migliorando l’accesso per un veloce cablaggio dell’apparecchiature Specifiche ambientali L’armadio deve avere una protezione IP 20 contro il contatto, l’ingresso di corpi estranei e l’introduzione d’acqua. Specifiche di sicurezza L’armadio deve rispondere alle specifiche meccaniche (stabilità, resistenza meccanica, apertura porte, etc.) definite nel IEC 60950 Terza Edizione. Ventilazione - 39 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 L’armadio deve fornire una ventilazione che supera le specifiche della maggior parte dei server vendor L’armadio deve fornire una ventilazione per la porta frontale, la porta posteriore ed il tetto come mostrata di seguito: Altezza Interna Larghezza Esterna Porta Frontale Perforata Porta Posteriore Perforata Tetto Perforato 600mm 1070mm 5355 cm² 5413 cm² 1007 cm² (23.6”) (42.1.”) (830 in²) (839 in²) (156 in²) Canalizzazioni Ogni Armadio Rack dovrà prevedere n°3 canalizzazioni sul tetto per la distribuzione orizzontale dei cavi di alimentazione e dati. Strisce di Alimentazione In ogni Armadio Rack dovranno essere installate n°2 strisce di alimentazioni intelligenti da 32Amp installate nella parte posteriore dell’armadio senza occupare unità. L’installazione deve poter essere effettuata senza attrezzi. Deve essere composta da 24 prese di cui 20 IEC 320 C13 e 4 IEC 320 C19. Corrente 32Amp, Potenza almeno 7KW. È richiesto un amperometro digitale integrato con display. È richiesto il monitoraggio via IP dell’assorbimento. È richiesta l’allarmistica con soglie. È richiesta la possibilità di comandare da remoto l’alimentazione delle singole prese attraverso l’accensione e lo spegnimento della singola presa. L’accesso al management delle strisce di alimentazioni intelligenti dovrà avvenire tramite browser ed il management delle strisce di alimentazioni dovrà comunicare con il management dell’infrastruttura. - 40 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 MANAGEMENT dell’INFRASTRUTTURA CED Tutti i componenti dell’Infrastruttura CED dovranno essere monitorati e gestiti via IP da un unico punto di accesso chiamato Management dell’Infrastruttura CED. Dovrà essere fornito un’unità di Management dell’Infrastruttura CED con almeno 25 licenze scalabili a 1000. 1.0 Specifiche Fisiche 1.1 Altezza 1U, larghezza 19” 2.0 Caratteristiche tecniche 2.1 Management centralizzato: configurazione e monitoraggio del Management dell’Infrastruttura tramite un Web- browser da qualsiasi punto della rete. 2.2 Segnalazione guasti: dovrà effettuare il monitoraggio della corrente assorbita da ciascun circuito derivato e dovrà segnalare potenziali situazioni di sovraccarico, garantendo la disponibilità degli apparati collegati. 2.3 Diagramma di flusso dell’alimentazione: dovrà fornire dati storici relativi a ciascun componente per individuare trend che potrebbero compromettere la disponibilità di apparati critici. 2.3 Gestione a livello Rack: dovrà segnalare i Rack con minore assorbimento per consigliare dove installare nuove apparecchiature senza sovraccaricare le linee di alimentazione. Dovrà segnalare le variazioni di assorbimento elettrico a livello di singolo Rack 2.4 Gruppi di segnalazione: si potranno creare dei gruppi di segnalazione (lista di email) per allertare e notificare via email più persone in merito allo stesso problema 2.5 Supporto di dispositivi multipli: al fine di gestire una vasta gamma di dispositivi tra cui UPS monofase e trifase, unità di distribuzione dell'alimentazione, apparati di raffreddamento e gestione ambientale. - 41 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 2.6 Architettura scalabile: scalabile fino a 1000 dispositivi. Integrazione agevole di nuovi dispositivi con licenze supplementari 2.7 Autodiscovery: dovrà identificare automaticamente tutti dispositivi dell’infrastruutura CED senza interventi manuali con riduzione dei tempi di installazione. 2.10 Realizzazioni ed aggiornamenti concorrenti: al fine di diminuire la complessità e il tempo di setup tramite la configurazione di impostazioni o l'aggiornamento del firmware in contemporanea per dispositivi multipli 2.11 Logging dei dati: al fine di individuare situazioni potenzialmente pericolose prima che nascano problemi o per esportare il data log a fini di analisi. 2.12 Logging degli eventi: l'event log dovrà ricostruire la tempistica e la sequenza degli eventi che hanno provocato un incidente. 2.13 Report sullo stato delle batterie: dovrà fornire informazioni dettagliate sull'età delle batterie, sul carico, sullo stato di funzionamento. 2.14 Private IP Network: per accedere a dispositivi multipli da un unico indirizzo IP . 2.15 Accessibile via browser: dovrà visualizzare l'interfaccia utente attraverso un browser. Per consentire un rapido accesso da qualsiasi punto della rete. 2.16 Allarmi innescati dal superamento delle soglie predefinite: per impostare simultaneamente standard relativi ad alcuni parametri selezionati per UPS, distribuzione elettrica e dispositivi di monitoraggio ambientale al fine di tenere sotto controllo la performance del sistema 2.17 Azioni consigliate: dovrà fornire una descrizione dettagliata dei problemi nel momento in cui si verificano sia una serie di interventi consigliati per risolvere il problema in questione. 2.18 Wizard di setup: Wizard di facile utilizzo rendono più rapida la realizzazione riducendo il tempo di set up. 2.19 Integrazione di Building Management Systsem: dovrà inviare allarmi ed informazioni per - 42 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 gestire infrastrutture critiche di Building Management da un singolo sistema. 2.20 Enterprise Management: dovrà gestire tutti dispositivi dell’infrastruttura via SNMP (trap events) comunicando verso il sistema di Enterprise Management. 2.21 Password di sicurezza: la password di protezione dovrà essere selezionabile dall’utente. 2.22 Accesso di sola lettura: dovrà essere presente un'opzione di sola lettura per consentire di condividere l'accesso senza rischiare modifiche non autorizzate alla configurazione dei sistemi. 2.23 Encryption: al dine di ottenere un’accesso controllato ed integrazione con SSL browser e sessioni SSH. 2.24 Supporto Radius: dovrà essere possibile utilizzare un esistente server radius al fine di autenticare ed autorizzare un account per accedere ad uno dei dispositivi dell’infrastruttura CED. MODULO GESTIONE AMBIENTALE E SENSORI Dovranno essere fornite, installate e configurate n°3 centraline di gestione ambientale via IP con altezza 1U e montaggio 19”. Ogni centralina di gestione ambientale dovrà essere fornita con i seguenti sensori: n.°2 sensori di temperatura ed umidità, n.°1 sensori di controllo fumi all’interno dell’armadio Rack Server, n.°1 sensori anti-allagamento lunghezza almeno 6 m, n.°1 lampeggiante posizionato sul tetto dei Rack, n.°1 sensore apertura porta Rack Server, n°1 sensore vibrazioni La centralina dovrà ospitare i seguenti contatti per future integrazioni: fino a n.°4 sensori temperatura ed umidità, sensore movimento tra le file degli armadi Rack. n.° 4 contatti puliti disponibili Il management della centralina di gestione ambientale dovrà essere accessibile tramite browser. Il management della centralina di gestione ambientale dorà essere integrato con il management dell’Infrastruttura esistente. MODULO SISTEMA DI CONDIZIONAMENTO AMBIENTALE Premessa - 43 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 Dovranno essere forniti sistemi di condizionamento ambientali progettati specificatamente per applicazioni di controllo di precisione di temperatura ed umidità. Controllerà automaticamente le funzioni di riscaldamento, raffreddamento e filtraggio dell’ambiente interessato. Il sistema dovrà essere costruito secondo i più alti standard qualitativi di ingegneria e costruzione, e dovrà essere montato a pavimento, configurato per un flusso d’aria condizionata up al fine di fornire la distribuzione uniforme dell’aria nell’ambiente interessato. Dovranno essere fornite ed installate n°2 unità di condizionamento capaci di neutralizzare fino a 20kW per Armadio Rack aventi le seguenti caratteristiche: Ogni singolo Cabinet Il cabinet del sistema di condizionamento dovrà essere provvisto di pannelli laterali e pannelli frontali e laterali conformi allo standard relativo all’isolamento UL94-5VA ASTM e84. I pannelli frontali e posteriori dovranno essere perforati con asole che dovranno garantire almeno il 50% di area libera e dovranno essere equipaggiati con una chiave ed una serratura per garantire un accesso sicuro ai componenti interni all’unità di condizionamento. Le attività di service sull’unità di condizionamento verranno eseguite sul fronte e/o sul retro al fine di posizionare l’unità di condizionamento in fila ai Rack IT. L’unità di condizionamento dovrà essere provvista di ruote e piedini di livellamento al fine di posizionare correttamente l’unità in fila agli adiacenti Rack IT. Ventole Ogni unità di condizionamento include 8 ventole. Ogni ventola dovrà essere progettata per fornire 362.5 CFM per un totale di flusso d’aria di 2900 CFM. L’unità di condizionamento dovrà essere in grado di funzionare anche nel caso di un guasto ad una delle 8 ventole. Le 8 ventole dovranno essere riparabili mentre l’unità di condizionamento è in funzione. - 44 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 Doppio Alimentatore A-B Doppio alimentatore A-B di ingresso all’unità di condizionamento. L’unità di condizionamento dovrà includere due alimentatore capaci di fornire il 60% della potenza totale. L’assorbimento della singola unità di condizionamento non dovrà superare i 1100W durante il funzionamento normale. Controllore Dal display dell’unità di condizionamento si dovrà accedere alla configurazione ed al monitoraggio della stessa attraverso dei controlli a menu. Le funzioni dovranno includere i report riguardanti lo stato, il set-up e la temperatura. Lo stato di funzionamento dell’unità di condizionamento dovrà essere indicato da LED o da altri appropriati indicatori. Il controllore dell’unità di condizionamento dovrà essere fornito con controlli attraverso chiavi per una navigazione attraverso i menu, gli oggetti selezionabili e le informazioni di input alpha numeriche. Il controllore dovrà poter attivare allarmi visibili ed udibili in presenza dei seguenti eventi: 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. Filtro dell’aria intasato Comunicazione fallita Attuatore della valvola guasto Pompa guasta Unità di condizionamento guasta Alta temperatura del fluido in ingresso Sensore di temperatura guasto Ventola guasta Alimentatore guasto Misuratore della velocità di flusso guasto Perdita del gruppo di comunicazione Comunicazione interna fallita Alimentazione A-B fallita Alta temperatura nel Rack Bassa temperatura nel Rack Temperatura in uscita elevata Presenza acqua Il controllore dovrà memorizzare e visualizzare sul display tutti gli eventi del sistema di condizionamento. Ogni allarme dovrà contenere la data, l’ora e la modalità di funzionamento del sistema di condizionamento nel momento dell’evento. - 45 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 Scheda di Management L’unità di condizionamento dovrà includere una scheda di management permettendo una gestione via rete TCP/IP. Il management via rete dovrà prevedere la possibilità di fissare dei set-point, entrare nei vari parametri del menu e cancellare allarmi. Valvola 2 WAY/ 3 WAY Il sistema di refrigerazione ad acqua dovrà utilizzare la valvola 2 WAY/3 WAY al fine di regolare la quantità d’acqua verso l’unità di condizionamento per mantenere le condizioni desiderate. La valvola dovrà essere collegata internamente all’unità di condizionamento e dovrà essere di facile sostituzione in caso di guasto. Il valore standard della pressione è di 600 psig. Connessioni dall’alto o dal basso I tubi dell’acqua refrigerata dovranno poter essere connessi sia dall’alto che dal basso dell’unità. Le connessione dei tubi dell’acqua refrigerata dovranno essere presenti all’interno dell’unità. Sensore della temperatura remoto Il sensore della temperatura remoto dovrà essere collegato all’unità di condizionamento al fine di fornire il controllo della temperatura di ingresso sul fronte del Rack. Misuratore di flusso Il misuratore di flusso dovrà essere installato all’interno dell’unità di condizionamento e collegato al controllore dell’unità al fine di fornire il valore della velocità di flusso attraverso l’unità di condizionamento. Presenza acqua Un cavo sensibile alla presenza d’acqua dovrà essere collegato all’unità di condizionamento. Nel caso in cui l’acqua o altri liquidi dovessero entrare in contatto con una superficie del cavo per tutta la sua lunghezza, il controllore visualizzerà e annuncerà in modo udibile l’allarme. Il cavo presenza acqua non dovrà essere inferiore ai 6 mt. Canalizzazione sul tetto dell’unità Al fine di realizzare la canalizzazione orizzontale sul tetto dei Rack sia per i cavi di potenza che dati, l’unità di condizionamento dovrà montare sul tetto delle canalizzazioni identiche a quelli degli armadi Rack. Impianto ad acqua refrigerata - 46 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 Dovrà essere realizzato un impianto ad acqua refrigerata comprensivo di tutto il necessario al suo funzionamento : tubi, pompe, chiller, etc.. L’impianto dovrà essere dimensionamento per almeno 40kW di potenza frigorifera con la possibilità di aggiungere un secondo Chiller da almeno da 40kW successivamente. Dovrà essere inoltre fornito ed installato un armadio di distribuzione dell’acqua refrigerata (o collettore) tra il chiller e le unità di condizionamento che preveda il collegamento fino a 12 unità di condizionamento. PLENUM L’intera infrastruttura dovrà essere chiusa su ogni lato da un plenum al fine di convogliare tutto il calore prodotto dai rack in ingresso al condizionatore, ottenendo una maggiore densità di potenza per rack. Dovranno essere previste due porte di sicurezza d’accesso. Il plenum dovrà essere modulare e scalabile con la possibilità di inserire più rack in futuro. Attività DI Post-Installazione Ultimata l’installazione la Ditta fornitrice dovrà garantire una serie di attività PostInstallazione necessarie per la corretta gestione e manutenzione della infrastruttura installata. In dettaglio dovranno essere garantite le seguenti attività: Training di 1 giorno sulla gestione e manutenzione dell’infrastruttura installata. Dovrà essere erogato da parte della ditta installatrice e/o produttrice del sistema un training della durata di almeno una giornata al personale coinvolto nella gestione e nella manutenzione del sistema installato. Durante il training dovranno essere illustrate la logica del funzionamento del sistema installato e le sue caratteristiche tecniche e funzionali. 1 Anno di Monitoraggio 7x24 da remoto dell’intera infrastruttura installata. Dovrà essere garantito il monitoraggio in outsourcing dell’infrastruttura installata per un periodo continuativo di 12 mesi, 24 ore su 24, a partire dalla data della sua messa in esercizio, volto ad individuare eventuali problemi sull’infrastruttura. - 47 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 Tale monitoraggio dovrà essere preferibilmente fornito tutto o in parte con il diretto coinvolgimento del produttore dell’infrastruttura, in grado di interpretare in anticipo potenziali malfunzionamenti che potrebbero compromettere l’ottimale utilizzo dell’infrastruttura installata e di suggerire i necessari interventi correttivi. Dovrà anche essere inclusa una completa reportistica da fornire con cadenza mensile in grado di rappresentare il funzionamento nel tempo dell’infrastruttura installata. Integrazione del Software di gestione con la rete locale. Dovrà essere garantita la perfetta integrazione del Software e del Server di gestione con la rete locale presente, e tutti i componenti dell’infrastruttura dovranno essere identificati con un loro indirizzo IP. LAYOUT Lista dei componenti - 48 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 L’elenco dei componenti HW che la Ditta dovrà fornire in opera configurati secondo le esigenze dell’Università e il dettaglio delle attività che dovranno essere garantite a seguito dell’installazione è il seguente: Fornitura in opera Hardware COMPONENTI: COMPONENTI Q.tà DESCRIZIONE Rack UPS 1 RACK UPS ciascuno alloggiato con 5 moduli da 10KW ciascuno e 10 minuti di autonomia. Rack PDU 1 RACK PDU Condizionament o 2 Unità di condizionamento con la capacità di neutralizzare fino a 20kW per Armadio Rack Impianto Meccanico 1 Dovrà essere realizzato un impianto meccanico da almeno 40kW con tubi, pompe, chiller. Dovrà essere fornito un armadio di distribuzione dell’acqua refrigerata con la possibilità di collegare fino a 12 unità di condizionamento Armadio Rack Data Center 6 Armadi Rack per la Equipment Room. Striscie di Alimentazione 12 Due striscie intelligenti da 24 prese ciascuna in ogni Armadio Rack con accensione e spegnimento comandabile remotamente. Monitoraggio Ambientale 3 Centralina di monitoraggio ambientale di temperatura/umidità, sensore allagamento, sensore presenza fumi, lampeggiante, apertura porta, vibrazioni Attività Post-Installazione ATTIVITA’ Q.tà DESCRIZIONE Assemblaggio 1 Assemblaggio dell’intera infrastruttura. Training 1 Training di 1 giorno sulla gestione e manutenzione dell’infrastruttura installata. Monitoraggio 1 1 Anno di Monitoraggio 7x24 da remoto dell’intera infrastruttura installata. - 49 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Network Integration 1 Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 Integrazione del Software di gestione con la rete dati del Data Center - 50 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 - LOTTO 4.1 Fornitura per l’Università degli Studi di Catania, Dipartimento di Ingegneria Informatica e delle Telecomunicazioni. L’offerta economica per questo lotto non può essere superiore a: € 5.000,00 IVA esclusa. ART 4.1.1 SISTEMA DI RACK, UPS E CONDIZIONAMENTO MODULO RACK ED ACCESSORI Alimentazione Il rack dovrà essere dotato di N. 2 strisce di alimentazione da 24 prese monofase con attacco a clip per prevenire distacchi accidentali. Le strisce di alimentazione dovranno essere alimentate dal sistema UPS. Ogni singola striscia di alimentazione dovrà essere in grado di alimentare fino a un carico di 3.7KW, e dovrà essere dotata di ingresso 16 A con presa interbloccata (a norma IEC309), 230V monofase, amperometro digitale con controllo sia locale (display) sia remoto attraverso porta Ethernet, allarme per sovraccarico, gestione remota tramite rete. Ciascuna presa delle strisce di alimentazione deve essere comandabile a distanza dall’interfaccia web di controllo. MODULO GRUPPO DI CONTINUITÀ (UPS) Il modulo di alimentazione UPS dovrà possedere i seguenti requisiti minimi: Ingressi • potenza di uscita pari a 8000 Watt; • massima potenza configurabile 8000 Watt; • tensione di uscita nominale 230V, 400V 3PH; • nota tensione di uscita configurabile per 380: 400 o 415 V 3 tensione di fase nominale di uscita; • efficienza a pieno carico del 95% • distorsione tensione di uscita inferiore al 5% a pieno carico; • frequenza di uscita (sync alla rete): 47 - 53 Hz for 50 Hz nominale • forma d’onda sinusoidale; • fattore di cresta illimitato; - 51 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE • Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 connessioni di uscita di tipo: Hard Wire 4-wire (3PH + G), Hard Wire 5-wire (3PH + N + G, Screw Terminals; Uscite • • • • • • Bypass di manutenzione incorporato,Bypass statico incorporato Tipo di connessione di ingresso 400V 3PH Frequenza di ingresso 47-70 Hz (auto sensing) Spina di tipo Hard Wire 5-wire (3PH + N + G) Campo tensione di ingresso per funzionamento 304-477 V Altre tensioni di ingresso 380, 415 Batterie Il modulo dovrà contenere almeno 4 (quattro) batterie di tipo VRLA con tempo di ricarica tipico di 14 ore, con quantità RBC™ pari a 4. Tempi Il tempo di backup (autonomia delle batterie) a pieno carico dovrà essere maggiore o uguale a 4 minuti. Comunicazione e gestione La sezione di comunicazione dovrà prevedere i seguenti requisiti minimi: • Interfaccia DB-9 RS-232. Smart-Slot • Pannello di controllo a LED multifunzione e console di controllo • Allarmi sonori e visivi con gestione delle priorità in base alla gravità • Sistema Emergency Power Off • Gestione intelligente batterie • Gestibile via rete Il produttore dell'UPS deve fornire software in grado di supportare la chiusura automatica sicura e il monitoraggio da remoto dei seguenti sistemi operativi: Scientific Linux CERN 3.0.5 e superiori, Linux Red Hat Enterprise 3.0 e superiori, Fedora Core 3 e superiori Microsoft 3.1, 3.11 Microsoft Windows 95 Microsoft Windows NT Apple - 52 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 SUN Solaris SUN OS Fattori ambientali • • • • • • • Temperatura di funzionamento: 0-40°C Temperatura dell'ambiente di posizionamento: tra - 50 e 40 °C Altezza di funzionamento con correzione del fattore di potenza: 0 - 1000m s.l.m. Altezza di posizionamento: 0 - 15.000 m Umidità relativa: 0-95% Rumore udibile a 1 metro di distanza dall'unità 54 dBA Classe di protezione IP 20 Certificazioni C-tick, CE, EN 50091-2, EN/IEC 62040-3, IEC 61000-3-2, IEC 61000-3-3, ISO 14001, ISO 9001, VFI-SS112. - 53 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 - LOTTO 4.2 Fornitura per l’Università degli Studi di Catania, Dipartimento di Matematica e Informatica. L’offerta economica per questo lotto non può essere superiore a: € 5.000,00 IVA esclusa. ART 4.2.1 SISTEMA DI RACK, UPS E CONDIZIONAMENTO MODULO RACK ED ACCESSORI Alimentazione Il rack dovrà essere dotato di N. 2 strisce di alimentazione da 24 prese monofase con attacco a clip per prevenire distacchi accidentali. Le strisce di alimentazione dovranno essere alimentate dal sistema UPS. Ogni singola striscia di alimentazione dovrà essere in grado di alimentare fino a un carico di 3.7KW, e dovrà essere dotata di ingresso 16 A con presa interbloccata (a norma IEC309), 230V monofase, amperometro digitale con controllo sia locale (display) sia remoto attraverso porta Ethernet, allarme per sovraccarico, gestione remota tramite rete. Ciascuna presa delle strisce di alimentazione deve essere comandabile a distanza dall’interfaccia web di controllo. MODULO GRUPPO DI CONTINUITÀ (UPS) Il modulo di alimentazione UPS dovrà possedere i seguenti requisiti minimi: Ingressi • potenza di uscita pari a 8000 Watt; • massima potenza configurabile 8000 Watt; • tensione di uscita nominale 230V, 400V 3PH; • nota tensione di uscita configurabile per 380: 400 o 415 V 3 tensione di fase nominale di uscita; • efficienza a pieno carico del 95% • distorsione tensione di uscita inferiore al 5% a pieno carico; • frequenza di uscita (sync alla rete): 47 - 53 Hz for 50 Hz nominale • forma d’onda sinusoidale; • fattore di cresta illimitato; • connessioni di uscita di tipo: Hard Wire 4-wire (3PH + G), Hard Wire 5-wire (3PH + N + G, Screw - 54 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 Terminals; Uscite • • • • • • Bypass di manutenzione incorporato,Bypass statico incorporato Tipo di connessione di ingresso 400V 3PH Frequenza di ingresso 47-70 Hz (auto sensing) Spina di tipo Hard Wire 5-wire (3PH + N + G) Campo tensione di ingresso per funzionamento 304-477 V Altre tensioni di ingresso 380, 415 Batterie Il modulo dovrà contenere almeno 4 (quattro) batterie di tipo VRLA con tempo di ricarica tipico di 14 ore, con quantità RBC™ pari a 4. Tempi Il tempo di backup (autonomia delle batterie) a pieno carico dovrà essere maggiore o uguale a 4 minuti. Comunicazione e gestione La sezione di comunicazione dovrà prevedere i seguenti requisiti minimi: • Interfaccia DB-9 RS-232. Smart-Slot • Pannello di controllo a LED multifunzione e console di controllo • Allarmi sonori e visivi con gestione delle priorità in base alla gravità • Sistema Emergency Power Off • Gestione intelligente batterie • Gestibile via rete Il produttore dell'UPS deve fornire software in grado di supportare la chiusura automatica sicura e il monitoraggio da remoto dei seguenti sistemi operativi: Scientific Linux CERN 3.0.5 e superiori, Linux Red Hat Enterprise 3.0 e superiori, Fedora Core 3 e superiori Microsoft 3.1, 3.11 Microsoft Windows 95 Microsoft Windows NT Apple SUN Solaris - 55 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 SUN OS Fattori ambientali • • • • • • • Temperatura di funzionamento: 0-40°C Temperatura dell'ambiente di posizionamento: tra - 50 e 40 °C Altezza di funzionamento con correzione del fattore di potenza: 0 - 1000m s.l.m. Altezza di posizionamento: 0 - 15.000 m Umidità relativa: 0-95% Rumore udibile a 1 metro di distanza dall'unità 54 dBA Classe di protezione IP 20 Certificazioni C-tick, CE, EN 50091-2, EN/IEC 62040-3, IEC 61000-3-2, IEC 61000-3-3, ISO 14001, ISO 9001, VFI-SS112. - 56 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 - LOTTO 5 Fornitura per l’Istituto Nazionale di Astrofisica, Osservatorio Astronomico di Palermo e per l’Università degli Studi di Palermo. L’offerta economica per questo lotto non può essere superiore a: € 170.000,00 IVA esclusa. ART. 5.1 SISTEMA DI RACK, UPS E CONDIZIONAMENTO L’infrastruttura richiesta (UPS, distribuzione alimentazione elettrica – PDU, armadi TLC, condizionamento dell’aria integrato) dovrà essere un'architettura modulare, configurabile e scalabile progettata per fornire soluzioni di protezione dell'alimentazione elettrica end-toend per qualsiasi tipo di data center. Con il fine di ottenere il massimo livello di comunicazione tra i componenti dell’infrastruttura (UPS, distribuzione alimentazione elettrica – PDU, armadi TLC), si richiede che tutti i componenti appartenenti all’infrastruttura Data Center siano stati progettati e realizzati da un unico produttore. La soluzione UPS/PDU dovrà essere costituita da unità di alimentazione e di distribuzione modulari e facili da installare. Ciascun modulo dovrà essere composto da rack 23" indipendenti, simili ai rack dove saranno alloggiati gli apparati di calcolo e di storage del data center. La soluzione dovrà includere i componenti seguenti: UPS, switch statico (STS) con correzione del fattore di potenza, switch di bypass di manutenzione (MBS), unità batterie, unità di distribuzione dell'alimentazione (PDU), prese multipla (striscie di alimentazione) con gestione delle singole porte di alimentazione, canaline per il posizionamento dei cavi e cablaggio in testa, cavi alimentazione e dati Dovrà essere disponibile nella configurazione 400Vca trifase 50Hz, in sistemi TT, TN-C e TN-S. Il presente Articolo descrive i requisiti di tale architettura e i diversi componenti richiesti per mettere a punto una soluzione mirata modulare, configurabile e scalabile. IMPIANTO ELETTRICO PER LA CONFIGURAZIONE (N+1) - 57 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 Il grado di ridondanza (N+1) implica un sistema di distribuzione a singolo radiale. Nella figura sottostante è riportato un sistema in configurazione (N+1) con ridondanza intrinseca di UPS e ridondanza di distribuzione (cavi e interruttori generali). Sorgente di alimentazione in configurazione (N+1) Requisiti di impianto elettrico Di seguito si riportano le caratteristiche elettriche richieste per i componenti di impianto installati a monte del quadro elettrico di distribuzione denominato PDU, in riferimento alla figura sopra riportata. Caratteristiche elettriche Valori Massima Corrente di ingresso (continua, a minima tensione di alimentazione) 147A Protezione in corrente di ingresso 160A *Nota 1 - 58 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 Massima corrente di uscita (nella sola di condizione di bypass al 125% di 145A sovraccarico) Corrente di uscita sul conduttore di neutro (con 100% di carico distorcente) *Nota 2 Sezione cavi ingresso 70mm2 Sezione cavi uscita 50mm2 Cavo PE esterno 35mm2 1) Protezione di corrente in Ingresso; I fusibili dovranno essere DIN LV HRC tipo gl 500V 2) Cavi di uscita conduttore di neutro; dimensionati per il 173% della corrente di fase, per carichi distorcenti. Tutti i cavi dovranno essere in rame isolati in PVC a 30°C come massima temperatura ambientale. Si prega di osservare che carichi distorcenti (switch mode power supply) monofase causano l’aumento della corrente di neutro: al 100% di carico distorcente (carico SMPS) il cavo di neutro dovrebbe essere dimensionato in accordo con quanto previsto da norma CEI64-8. Si osservi che carichi distorcenti (switch mode power supply) monofase causano l’aumento della corrente di neutro: al 100% di carico distorcente (carico SMPS) il cavo di neutro dovrebbe essere dimensionato in accordo con quanto previsto da norma CEI 64-8. Compatibilità e certificazioni EN50091-1-1 / IEC62040-1-1 EN/IEC62040-2 EN/IEC62040-3 IEC61000-4-2 livello 3, criterio di performance B IEC61000-4-4 livello 2, criterio di performance A IEC 1000-4-5 (livello 4) IEC 61000-4-3 livello 2, criterio di performance A EIA-310-D (rack dove sono alloggiati gli apparati) SEZIONE 1 - MODULO GRUPPO DI CONTINUITA' (UPS) - 59 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 Considerazioni generali 2. Il sistema dovrà essere composto da un’architettura array scalabile e ridondata N+1 installate a rack. L’architettura UPS dovrà essere dimensionata per garantire 40 KW (N+1) ma dovrà essere espandibile sino a 80 KW (N+1), e dovrà poter comprendere fino a un massimo di nove (9) moduli di alimentazione 10kW/10kVA in una configurazione ridondante N+1, uno switch statico di bypass, un sistema batterie in armadi separati in grado di garantire autonomia fino a 10 minuti (con carico nominale di 40 KW ca.) e un display LCD, il tutto alloggiato in rack 19" suddivisi in moduli di potenza e moduli batteria. La soluzione UPS dovrà consentire agli utenti di installare e rimuovere i moduli di alimentazione 10kW/10kVA e i moduli batteria anche durante il funzionamento del sistema (Hot-Swapable). Ciascun modulo dovrà avere la topologia Double Conversion On-Line a ingresso con correzione del fattore di potenza e bassa distorsione armonica (THDi%<5%). Modi operativi La topologia deve essere Double Conversion on-line. Indipendentemente dal loro numero, i moduli di alimentazione 10kW/10kVA di ogni singolo rack devono funzionare alla stregua di un unico sistema in ciascuno dei modi operativi descritti di seguito: • • • • Normale: in ciascun modulo di alimentazione il raddrizzatore funziona in parallelo per trasformare la ca in ingresso in cc filtrata per alimentare ininterrottamente le batterie. L'inverter trasforma la tensione del bus cc in tensione di carico ca pulita e continua. Interruzione dell'alimentazione: dopo aver rilevato un'interruzione dell'alimentazione, il raddrizzatore si deve isolare dall'alimentazione di rete in ingresso e le batterie si collegheranno all'inverter per garantire alimentazione al carico. Il tempo di autonomia da batteria sarà pari a quello definito nella presente specifica. Quando viene ripristinata l'alimentazione elettrica, senza alcun intervento da parte dell'utente i moduli UPS ritorneranno automaticamente al modo operativo normale descritto in precedenza. Emergenza: nel caso si verifichi un guasto nel bus di uscita o una condizione di sovraccarico estremo, il carico viene commutato senza soluzioni di continuità a uno switch statico con correzione del fattore di potenza. Il guasto di un modulo all'interno di una configurazione ridondata non provoca la commutazione del carico alla linea di bypass statico. Bypass di manutenzione: il sistema UPS comprenderà uno switch di bypass di manutenzione (MBS) wrap around per escludere in modo sicuro l'UPS nel corso di interventi di manutenzione di routine o di interventi di assistenza. L'MBS sarà ad apertura-chiusura perché non venga mai meno l'alimentazione al carico nella fase di transizione. Componenti - Raddrizzatore Ciascun modulo di alimentazione dell'UPS comprenderà un raddrizzatore attivo di tipo IGBT (Insulated Gated Bipolar Transistor) con correzione del fattore di potenza. La tensione nominale del bus cc deve essere pari a +/- 192Vcc La tensione del bus cc deve essere compensata in base alle variazioni della temperatura (compensazione in temperatura della batteria) per mantenere costantemente una tensione ottimale di carica delle batterie in presenza di escursioni termiche al di sopra o al di sotto di 25° C. Il tasso di compensazione deve essere pari a - 60 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 320mV/°C per valori di temperatura ambiente ≥ 20° C e a 0mV/°C per valori di temperatura ambiente < 20°C. La tensione di ondulazione cc deve essere inferiore a +/- 1% del valore nominale a batterie disconnesse. Il fattore di potenza in ingresso deve essere pari a 0,99 con ritardo se il carico è al 100% e a 0,98 se il carico è al 50% senza l'uso di filtri passivi. Il raddrizzatore utilizzerà la tecnologia di controllo elettronico della forma d'onda per mantenere la forma d'onda sinusoidale. Sarà usato il controllo della corrente Pulse Width Modulation (PWM) (modulazione a durata di impulso). Per tutte le funzioni di controllo e monitoraggio devono essere usati Digital Signal Processor (DPS). Non sono ammessi controlli analogici. La distorsione armonica totale (THD) riflessa della corrente di ingresso non deve essere superiore al 5% con carico al 100%. Intervallo della frequenza di ingresso: tra - 20% e + 15% del valore nominale Il tempo standard di ricarica batterie è conforme a IEEE 485. - Batterie La tecnologia standard delle batterie dovrà essere VRLA (Valve Regulated Lead Acid). Le batterie non devono essere alloggiate nello stesso rack dove si trovano i moduli di alimentazione. Le batterie devono essere modulari e collocate su scaffali estraibili per rendere più rapida l'assistenza e la sostituzione. La tensione delle batterie deve essere compensata in temperatura come descritto nel precedente paragrafo 3.1.c. Potenza di ricarica: 5kW max. Fine della scarica: +/- 160Vcc - Inverter L'inverter sarà composto da moduli di alimentazione IGBT a commutazione rapida. L'inverter dovrà essere controllato in modalità PWM con l'uso di logica DSP. Il controllo di tipo analogico non è ammesso. I moduli dell'inverter presentano la correzione del fattore di potenza, ovvero kW=kVA. L'uso di un fattore di potenza in uscita diverso dall'unità non è ammesso. La tensione nominale in uscita sarà pari a 400V/400V, trifase, 50Hz, a quattro fili più la terra. Rendimento di ciascun modulo a pieno carico: non inferiore al 93,5%. Distorsione armonica totale della tensione di uscita a pieno carico: inferiore al 2%. Regolazione della tensione di uscita: Statica: inferiore all'1% a pieno carico lineare e non lineare Dinamica: +/-5% con carico a gradini 100% Frequenza in uscita: 50/60 Hz libera Fattore di cresta: illimitato Predisposizione per lo spegnimento di emergenza a distanza (EPO) - 61 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 - Switch statico Lo switch statico sarà composto da raddrizzatori controllati al silicio (SCR) con correzione del fattore di potenza. Non sono ammessi SCR senza correzione del fattore di potenza muniti di contattore wrap around. Lo switch statico deve essere di tipo estraibile per facilitare la manutenzione. Sarà alloggiato nello stesso rack dove si trovano i moduli di alimentazione principali e le batterie. Se si verificano più di 10 commutazioni da e verso l'inverter nel corso di 10 minuti, il carico verrà bloccato in condizione di bypass statico. Un allarme provvederà a segnalare la situazione. - Fattori ambientali Temperatura di funzionamento con correzione del fattore di potenza: 0-40°C Temperatura dell'ambiente di posizionamento: tra - 15 e 45°C Altezza di funzionamento con correzione del fattore di potenza: 0 - 1000m s.l.m. Altezza di posizionamento: 0 - 15.000 m Umidità relativa: 0-95% non condensing Rumore udibile a 1 metro di distanza dall'unità: • 70 dbA al 100% del carico • 62 dbA al 70% del carico - Connettività e gestione Monitoraggio da remoto e chiusura automatica sicura del sistema operativo Arresto del server: L'UPS, unitamente a una scheda di interfaccia di rete, chiude automaticamente in modo sicuro uno o più sistemi operativi in caso di alimentazione di emergenza da batteria (reti TCP/IP Ethernet) L'UPS sarà anche in grado di utilizzare una porta RS232 per comunicare lungo un cavo seriale DB9 e chiudere automaticamente in modo sicuro uno o più sistemi operativi in caso di alimentazione di emergenza da batteria. - Monitoraggio da remoto dell'UPS Monitoraggio via Web: dovrà essere possibile monitorare da remoto l'UPS tramite un Web browser come Internet Explorer o Netscape Navigator. Monitoraggio via RS232: dovrà essere possibile monitorare da remoto l'UPS attraverso una connessione RS232 oppure un contatto libero del gruppo di continuità. Il produttore dell'UPS deve fornire software in grado di supportare la chiusura automatica sicura e il monitoraggio da remoto dei seguenti sistemi operativi: - 62 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 Scientific Linux CERN 3.0.5 e superiori, Linux Red Hat Enterprise 3.0 e superiori, Fedora Core 3 e superiori Microsoft 3.1, 3.11 Microsoft Windows 95 Microsoft Windows NT OS/2 Netware 3.12, 4.1, 4.11 Apple DEC VMS DG-UX Silicon Graphics DEC OSF/1 SCO UNIX SCO XENIX SVR4 Interactive Unix Ware SUN Solaris SUN OS IBM AIX HP-UX - Parti meccaniche I moduli di alimentazione dell'UPS, lo switch statico e le batterie VRLA dovranno essere alloggiati in un rack 19" standard che presenta le specifiche seguenti: 208cmH x 60cmL x 86cmP Finito con polvere, colore nero Acciaio laminato a freddo spessore 16 Armadio NEMA 1 Struttura con parte anteriore cieca Munito di rotelle per favorire la mobilità. I piedini di livello sono forniti di dotazione Ingresso cavi: dall'alto o dal basso. SEZIONE 2 - UNITA' DI DISTRIBUZIONE DELL'ALIMENTAZIONE - 63 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 Considerazioni generali La PDU è un'unità indipendente dove sono alloggiati lo switch di bypass di manutenzione (MBS), gli interruttori della distribuzione dell'alimentazione e il controller di gestione remota. La PDU deve essere montata a fianco dell'UPS trifase in una disposizione di perfetto allineamento. Fattori elettrici La PDU è un'unità indipendente dove sono alloggiati lo switch di bypass di manutenzione (MBS), gli interruttori della distribuzione dell'alimentazione e il controller di gestione remota. La PDU dovrà essere alloggiata in un rack 23" standard che presenta la stessa altezza e profondità dell'UPS trifase, e posizionata a fianco dell'UPS trifase in una disposizione di perfetto allineamento. Per facilitare la manutenzione e l'assistenza dell'UPS modulare trifase senza interruzione del carico critico dovrà essere fornito di dotazione uno switch di bypass di manutenzione (MBS) di tipo apertura-chiusura con tre (3) interruttori. L’Unità di distribuzione dell’alimentazione con System Bypass a 80 kW dovrà provvedere alla distribuzione e alla gestione della corrente elettrica. Con una capacità di 80 kW, l’unità accoglierà un ingresso trifase da 400 V, e distribuirà alimentazione monofase da 230 V (L-N) ai rack dell’apparecchiatura e ai pannelli di distribuzione remota. Tali pannelli occuperanno le 10 U superiori degli armadietti tipo rack progettati appositamente e distribuiranno alimentazione ai rack dell’apparecchiatura. L’Unità di distribuzione dell’alimentazione con System Bypass sarà alloggiata in un armadietto tipo rack progettato appositamente. Ogni Unità di distribuzione dell’alimentazione con System Bypass da 80 kW disporrà di trenta posizioni polari per l’alimentazione dei rack dell’apparecchiatura e di quattro posizioni tripolari per l’alimentazione di pannelli di distribuzione remota (remote distribution panel). Ogni pannello di distribuzione remota disporrà di trentanove posizioni polari per l’alimentazione dei rack dell’apparecchiatura e una posizione tripolare che alimenterà, a sua volta, il pannello di distribuzione remota. Ciascun quadro dovrà essere dimensionato in base ai seguenti valori nominali: 230V, trifase, in regime di neutro dipendente dalla sorgente, 50Hz. Per quanto riguarda l'installazione in testa dei cavi di alimentazione, il vendor dell'UPS fornirà adeguati cavi monofase per collegare gli interruttori della distribuzione al rack fornito. Ciascun cavo dovrà essere munito di una spina IEC 320-19 per l'inserimento in una PDU con gestione delle singole porte di alimentazione (presa multipla) alloggiata nei rack forniti. La lunghezza dei cavi dipenderà dalla lunghezza di ciascuna fila di rack. La corrente di terra dovrà essere monitorata. Monitoraggio tensione/corrente Ciascun interruttore della distribuzione deve comprendere in dotazione un trasformatore di corrente integrato per monitorare la corrente che attraversa ciascun interruttore. - 64 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 Lo stato e le condizioni della soluzione dovranno essere indicati da un'unità di monitoraggio del controller di sistema fornita in dotazione. Tra le condizioni monitorate figurano: - Tensioni del sistema - La corrente che attraversa gli interruttori della distribuzione. Dovrà essere fornito uno switch a 32 porte per consentire il monitoraggio della rete e la comunicazione tra la rete e i server di gestione del carico. Per quanto riguarda l'installazione in testa, i cavi dati che si collegano allo switch a 32 porte dovranno essere forniti dal vendor dell'UPS. La lunghezza dei cavi dati dipende dalla lunghezza di ciascuna fila di rack. Tool HW/SW per la gestione del sistema Un tool HW/SW dovrà essere in grado di permettere il monitoraggio del carico a livello di singolo dispositivo, di riconoscere automaticamente tutti i componenti collegati e di fornire una visione grafica dell’intera infrastruttura. In caso di allarme deve essere in grado di effettuarne la notificazione via e-mail, via teledrin, e via SMS (qualora presente un Gateway SMS). Gli allarmi debbono essere archiviati in file “log” con data e ora dell’evento. Il sistema dovrà monitorare i seguenti componenti via Ethernet: Rack UPS, RACK PDU, Strisce di Alimentazione contenute nei singoli Armadi Rack, Schede Ambientali, Componenti Opzionali (come ATS e stazioni di energia in DC). Parti meccaniche La PDU, composta da MBS, due (2) quadri a 42 posizioni e dall'hub di rete e monitoraggio, dovrà essere alloggiata in un rack 23" standard che presenta le specifiche seguenti: 208cmH x 750cmL x 86cmP Finito con polvere, colore nero Acciaio laminato a freddo spessore 16 Armadio NEMA 1 Struttura con parte anteriore cieca Munito di rotelle per favorire la mobilità. I piedini di livello sono forniti di dotazione - 65 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 Ingresso cavi: dall'alto o dal basso. Collegamenti L’installazione dovrà comprendere: la realizzazione dei collegamenti elettrici tra le Unità di distribuzione dell'alimentazione (PDU) e ciascun armadio rack di carico. Tale collegamento dovrà essere realizzato utilizzando cavo elettrico di caratteristiche e dimensioni adeguate al carico massimo che ciascun rack potrà sopportare. Il collegamento elettrico tra i Moduli gruppo di continuità (UPS) Trifase e il quadro elettrico di zona. Tale collegamento dovrà essere realizzato utilizzando cavo elettrico di caratteristiche e dimensioni adeguate al carico massimo che ciascuna soluzione UPS potrà sopportare. MODULO RACK ED ACCESSORI Dovranno essere forniti ed installati n°6 Armadi Rack ed accessori aventi le seguenti specifiche tecniche: Specifiche Fisiche Dimensione Rack, compatibilità del montaggio a rack, carico massimo supportato Altezza Interna EIA310 Altezza Esterna Larghezza Esterna Profondità Esterna Carico Statico Carico Dinamico 42U 19” 2070mm 600mm 1070mm 909 Kg 909 Kg (81.5”) (23.6”) (42.1”) (2000lbs) (2000lbs) L’altezza esterna del 42U è di 2070mm (81.5”) per facilitarne il passaggio attraverso una porta standard 7 Ft. (84”). - 66 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 Il carico statico supportato dovrà essere di almeno 909 Kg (peso supportato dalle ruote orientabile e dai piedini di livellamento). Il carico dinamico supportato dovrà essere di almeno 909 Kg (peso supportato dalle ruote orientabile in movimento). Accesso al carico e montaggio L’armadio deve offrire 42U di spazio per il montaggio delle apparecchiature I montanti verticali devono essere regolabili in profondità Sia la porta frontale che posteriore devono possedere cardini a rilascio veloce per un rapido e veloce smontaggio Sia la porta frontale che posteriore devono poter essere aperte fino a 180° per un facile accesso interno La porta frontale deve essere reversibile in modo da essere aperta da entrambi i lati La porta posteriore deve essere a due battenti verticali per rendere più agevole l’attività di service L’armadio deve possedere pannelli laterali removibili senza attrezzi migliorando l’accesso per un veloce cablaggio dell’apparecchiature Specifiche ambientali L’armadio deve avere una protezione IP 20 contro il contatto, l’ingresso di corpi estranei e l’introduzione d’acqua. Specifiche di sicurezza L’armadio deve rispondere alle specifiche meccaniche (stabilità, resistenza meccanica, apertura porte, etc.) definite nel IEC 60950 Terza Edizione. Ventilazione L’armadio deve fornire una ventilazione che supera le specifiche della maggior parte dei server vendor - 67 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 L’armadio deve fornire una ventilazione per la porta frontale, la porta posteriore ed il tetto come mostrata di seguito: Altezza Interna Larghezza Esterna Porta Frontale Perforata Porta Posteriore Perforata Tetto Perforato 600mm 1070mm 5355 cm² 5413 cm² 1007 cm² (23.6”) (42.1.”) (830 in²) (839 in²) (156 in²) Canalizzazioni Ogni Armadio Rack dovrà prevedere n°3 canalizzazioni sul tetto per la distribuzione orizzontale dei cavi di alimentazione e dati. Strisce di Alimentazione In ogni Armadio Rack dovranno essere installate n°2 strisce di alimentazioni intelligenti da 32Amp installate nella parte posteriore dell’armadio senza occupare unità. L’installazione deve poter essere effettuata senza attrezzi. Deve essere composta da 24 prese di cui 20 IEC 320 C13 e 4 IEC 320 C19. Corrente 32Amp, Potenza almeno 7KW. È richiesto un amperometro digitale integrato con display. È richiesto il monitoraggio via IP dell’assorbimento. È richiesta l’allarmistica con soglie. È richiesta la possibilità di comandare da remoto l’alimentazione delle singole prese attraverso l’accensione e lo spegnimento della singola presa. L’accesso al management delle strisce di alimentazioni intelligenti dovrà avvenire tramite browser ed il management delle strisce di alimentazioni dovrà comunicare con il management dell’infrastruttura. MANAGEMENT dell’INFRASTRUTTURA CED - 68 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 Tutti i componenti dell’Infrastruttura CED dovranno essere monitorati e gestiti via IP da un unico punto di accesso chiamato Management dell’Infrastruttura CED. Dovrà essere fornito un’unità di Management dell’Infrastruttura CED con almeno 25 licenze scalabili a 1000. 1.0 Specifiche Fisiche 1.2 Altezza 1U, larghezza 19” 2.0 Caratteristiche tecniche 2.1 Management centralizzato: configurazione e monitoraggio del Management dell’Infrastruttura tramite un Web- browser da qualsiasi punto della rete. 2.2 Segnalazione guasti: dovrà effettuare il monitoraggio della corrente assorbita da ciascun circuito derivato e dovrà segnalare potenziali situazioni di sovraccarico, garantendo la disponibilità degli apparati collegati. 2.3 Diagramma di flusso dell’alimentazione: dovrà fornire dati storici relativi a ciascun componente per individuare trend che potrebbero compromettere la disponibilità di apparati critici. 2.8 Gestione a livello Rack: dovrà segnalare i Rack con minore assorbimento per consigliare dove installare nuove apparecchiature senza sovraccaricare le linee di alimentazione. Dovrà segnalare le variazioni di assorbimento elettrico a livello di singolo Rack 2.9 Gruppi di segnalazione: si potranno creare dei gruppi di segnalazione (lista di email) per allertare e notificare via email più persone in merito allo stesso problema 2.10 Supporto di dispositivi multipli: al fine di gestire una vasta gamma di dispositivi tra cui UPS monofase e trifase, unità di distribuzione dell'alimentazione, apparati di raffreddamento e gestione ambientale. 2.11 Architettura scalabile: scalabile fino a 1000 dispositivi. Integrazione agevole di nuovi dispositivi con licenze supplementari 2.12 Autodiscovery: dovrà identificare automaticamente tutti dispositivi dell’infrastruutura CED senza interventi manuali con riduzione dei tempi di installazione. - 69 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 2.10 Realizzazioni ed aggiornamenti concorrenti: al fine di diminuire la complessità e il tempo di setup tramite la configurazione di impostazioni o l'aggiornamento del firmware in contemporanea per dispositivi multipli 2.25 Logging dei dati: al fine di individuare situazioni potenzialmente pericolose prima che nascano problemi o per esportare il data log a fini di analisi. 2.26 Logging degli eventi: l'event log dovrà ricostruire la tempistica e la sequenza degli eventi che hanno provocato un incidente. 2.27 Report sullo stato delle batterie: dovrà fornire informazioni dettagliate sull'età delle batterie, sul carico, sullo stato di funzionamento. 2.28 Private IP Network: per accedere a dispositivi multipli da un unico indirizzo IP . 2.29 Accessibile via browser: dovrà visualizzare l'interfaccia utente attraverso un browser. Per consentire un rapido accesso da qualsiasi punto della rete. 2.30 Allarmi innescati dal superamento delle soglie predefinite: per impostare simultaneamente standard relativi ad alcuni parametri selezionati per UPS, distribuzione elettrica e dispositivi di monitoraggio ambientale al fine di tenere sotto controllo la performance del sistema 2.31 Azioni consigliate: dovrà fornire una descrizione dettagliata dei problemi nel momento in cui si verificano sia una serie di interventi consigliati per risolvere il problema in questione. 2.32 Wizard di setup: Wizard di facile utilizzo rendono più rapida la realizzazione riducendo il tempo di set up. 2.33 Integrazione di Building Management Systsem: dovrà inviare allarmi ed informazioni per gestire infrastrutture critiche di Building Management da un singolo sistema. 2.34 Enterprise Management: dovrà gestire tutti dispositivi dell’infrastruttura via SNMP (trap events) comunicando verso il sistema di Enterprise Management. - 70 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 2.35 Password di sicurezza: la password di protezione dovrà essere selezionabile dall’utente. 2.36 Accesso di sola lettura: dovrà essere presente un'opzione di sola lettura per consentire di condividere l'accesso senza rischiare modifiche non autorizzate alla configurazione dei sistemi. 2.37 Encryption: al dine di ottenere un’accesso controllato ed integrazione con SSL browser e sessioni SSH. 2.38 Supporto Radius: dovrà essere possibile utilizzare un esistente server radius al fine di autenticare ed autorizzare un account per accedere ad uno dei dispositivi dell’infrastruttura CED. MODULO GESTIONE AMBIENTALE E SENSORI Dovranno essere fornite, installate e configurate n°3 centraline di gestione ambientale via IP con altezza 1U e montaggio 19”. Ogni centralina di gestione ambientale dovrà essere fornita con i seguenti sensori: n.°2 sensori di temperatura ed umidità, n.°1 sensori di controllo fumi all’interno dell’armadio Rack Server, n.°1 sensori anti-allagamento lunghezza almeno 6 m, n.°1 lampeggiante posizionato sul tetto dei Rack, n.°1 sensore apertura porta Rack Server, n°1 sensore vibrazioni La centralina dovrà ospitare i seguenti contatti per future integrazioni: fino a n.°4 sensori temperatura ed umidità, sensore movimento tra le file degli armadi Rack. n.° 4 contatti puliti disponibili Il management della centralina di gestione ambientale dovrà essere accessibile tramite browser. Il management della centralina di gestione ambientale dorà essere integrato con il management dell’Infrastruttura esistente. MODULO SISTEMA DI CONDIZIONAMENTO AMBIENTALE Premessa Dovranno essere forniti sistemi di condizionamento ambientali progettati specificatamente per applicazioni di controllo di precisione di temperatura ed umidità. Controllerà automaticamente le funzioni di riscaldamento, raffreddamento e filtraggio dell’ambiente interessato. Il sistema dovrà essere costruito secondo i più alti standard qualitativi di ingegneria e costruzione, e dovrà essere montato a pavimento, configurato per un flusso d’aria - 71 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE condizionata up al fine di interessato. Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 fornire la distribuzione uniforme dell’aria nell’ambiente Dovranno essere fornite ed installate n°2 unità di condizionamento capaci di neutralizzare fino a 20kW per Armadio Rack aventi le seguenti caratteristiche: Ogni singolo Cabinet Il cabinet del sistema di condizionamento dovrà essere provvisto di pannelli laterali e pannelli frontali e laterali conformi allo standard relativo all’isolamento UL94-5VA ASTM e84. I pannelli frontali e posteriori dovranno essere perforati con asole che dovranno garantire almeno il 50% di area libera e dovranno essere equipaggiati con una chiave ed una serratura per garantire un accesso sicuro ai componenti interni all’unità di condizionamento. Le attività di service sull’unità di condizionamento verranno eseguite sul fronte e/o sul retro al fine di posizionare l’unità di condizionamento in fila ai Rack IT. L’unità di condizionamento dovrà essere provvista di ruote e piedini di livellamento al fine di posizionare correttamente l’unità in fila agli adiacenti Rack IT. Ventole Ogni unità di condizionamento include 8 ventole. Ogni ventola dovrà essere progettata per fornire 362.5 CFM per un totale di flusso d’aria di 2900 CFM. L’unità di condizionamento dovrà essere in grado di funzionare anche nel caso di un guasto ad una delle 8 ventole. Le 8 ventole dovranno essere riparabili mentre l’unità di condizionamento è in funzione. Doppio Alimentatore A-B Doppio alimentatore A-B di ingresso all’unità di condizionamento. - 72 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 L’unità di condizionamento dovrà includere due alimentatore capaci di fornire il 60% della potenza totale. L’assorbimento della singola unità di condizionamento non dovrà superare i 1100W durante il funzionamento normale. Controllore Dal display dell’unità di condizionamento si dovrà accedere alla configurazione ed al monitoraggio della stessa attraverso dei controlli a menu. Le funzioni dovranno includere i report riguardanti lo stato, il set-up e la temperatura. Lo stato di funzionamento dell’unità di condizionamento dovrà essere indicato da LED o da altri appropriati indicatori. Il controllore dell’unità di condizionamento dovrà essere fornito con controlli attraverso chiavi per una navigazione attraverso i menu, gli oggetti selezionabili e le informazioni di input alpha numeriche. Il controllore dovrà poter attivare allarmi visibili ed udibili in presenza dei seguenti eventi: 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. Filtro dell’aria intasato Comunicazione fallita Attuatore della valvola guasto Pompa guasta Unità di condizionamento guasta Alta temperatura del fluido in ingresso Sensore di temperatura guasto Ventola guasta Alimentatore guasto Misuratore della velocità di flusso guasto Perdita del gruppo di comunicazione Comunicazione interna fallita Alimentazione A-B fallita Alta temperatura nel Rack Bassa temperatura nel Rack Temperatura in uscita elevata Presenza acqua Il controllore dovrà memorizzare e visualizzare sul display tutti gli eventi del sistema di condizionamento. Ogni allarme dovrà contenere la data, l’ora e la modalità di funzionamento del sistema di condizionamento nel momento dell’evento. Scheda di Management - 73 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 L’unità di condizionamento dovrà includere una scheda di management permettendo una gestione via rete TCP/IP. Il management via rete dovrà prevedere la possibilità di fissare dei set-point, entrare nei vari parametri del menu e cancellare allarmi. Valvola 2 WAY/ 3 WAY Il sistema di refrigerazione ad acqua dovrà utilizzare la valvola 2 WAY/3 WAY al fine di regolare la quantità d’acqua verso l’unità di condizionamento per mantenere le condizioni desiderate. La valvola dovrà essere collegata internamente all’unità di condizionamento e dovrà essere di facile sostituzione in caso di guasto. Il valore standard della pressione è di 600 psig. Connessioni dall’alto o dal basso I tubi dell’acqua refrigerata dovranno poter essere connessi sia dall’alto che dal basso dell’unità. Le connessione dei tubi dell’acqua refrigerata dovranno essere presenti all’interno dell’unità. Sensore della temperatura remoto Il sensore della temperatura remoto dovrà essere collegato all’unità di condizionamento al fine di fornire il controllo della temperatura di ingresso sul fronte del Rack. Misuratore di flusso Il misuratore di flusso dovrà essere installato all’interno dell’unità di condizionamento e collegato al controllore dell’unità al fine di fornire il valore della velocità di flusso attraverso l’unità di condizionamento. Presenza acqua Un cavo sensibile alla presenza d’acqua dovrà essere collegato all’unità di condizionamento. Nel caso in cui l’acqua o altri liquidi dovessero entrare in contatto con una superficie del cavo per tutta la sua lunghezza, il controllore visualizzerà e annuncerà in modo udibile l’allarme. Il cavo presenza acqua non dovrà essere inferiore ai 6 mt. Canalizzazione sul tetto dell’unità Al fine di realizzare la canalizzazione orizzontale sul tetto dei Rack sia per i cavi di potenza che dati, l’unità di condizionamento dovrà montare sul tetto delle canalizzazioni identiche a quelli degli armadi Rack. Impianto ad acqua refrigerata Dovrà essere realizzato un impianto ad acqua refrigerata comprensivo di tutto il necessario al suo funzionamento : tubi, pompe, chiller, etc.. - 74 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 L’impianto dovrà essere dimensionamento per almeno 40kW di potenza frigorifera con la possibilità di aggiungere un secondo Chiller da almeno da 40kW successivamente. Dovrà essere inoltre fornito ed installato un armadio di distribuzione dell’acqua refrigerata (o collettore) tra il chiller e le unità di condizionamento che preveda il collegamento fino a 12 unità di condizionamento. PLENUM L’intera infrastruttura dovrà essere chiusa su ogni lato da un plenum al fine di convogliare tutto il calore prodotto dai rack in ingresso al condizionatore, ottenendo una maggiore densità di potenza per rack. Dovranno essere previste due porte di sicurezza d’accesso. Il plenum dovrà essere modulare e scalabile con la possibilità di inserire più rack in futuro. Attività DI Post-Installazione Ultimata l’installazione la Ditta fornitrice dovrà garantire una serie di attività PostInstallazione necessarie per la corretta gestione e manutenzione della infrastruttura installata. In dettaglio dovranno essere garantite le seguenti attività: Training di 1 giorno sulla gestione e manutenzione dell’infrastruttura installata. Dovrà essere erogato da parte della ditta installatrice e/o produttrice del sistema un training della durata di almeno una giornata al personale coinvolto nella gestione e nella manutenzione del sistema installato. Durante il training dovranno essere illustrate la logica del funzionamento del sistema installato e le sue caratteristiche tecniche e funzionali. 1 Anno di Monitoraggio 7x24 da remoto dell’intera infrastruttura installata. Dovrà essere garantito il monitoraggio in outsourcing dell’infrastruttura installata per un periodo continuativo di 12 mesi, 24 ore su 24, a partire dalla data della sua messa in esercizio, volto ad individuare eventuali problemi sull’infrastruttura. Tale monitoraggio dovrà essere preferibilmente fornito tutto o in parte con il diretto coinvolgimento del produttore dell’infrastruttura, in grado di interpretare in anticipo - 75 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE potenziali malfunzionamenti che potrebbero compromettere l’ottimale dell’infrastruttura installata e di suggerire i necessari interventi correttivi. Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 utilizzo Dovrà anche essere inclusa una completa reportistica da fornire con cadenza mensile in grado di rappresentare il funzionamento nel tempo dell’infrastruttura installata. Integrazione del Software di gestione con la rete locale. Dovrà essere garantita la perfetta integrazione del Software e del Server di gestione con la rete locale presente, e tutti i componenti dell’infrastruttura dovranno essere identificati con un loro indirizzo IP. LAYOUT Lista dei componenti - 76 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 L’elenco dei componenti HW che la Ditta dovrà fornire in opera configurati secondo le esigenze dell’Università e il dettaglio delle attività che dovranno essere garantite a seguito dell’installazione è il seguente: Fornitura in opera Hardware COMPONENTI: COMPONENTI Q.tà DESCRIZIONE Rack UPS 1 RACK UPS ciascuno alloggiato con 5 moduli da 10KW ciascuno e 10 minuti di autonomia. Rack PDU 1 RACK PDU Condizionament o 2 Unità di condizionamento con la capacità di neutralizzare fino a 20kW per Armadio Rack Impianto Meccanico 1 Dovrà essere realizzato un impianto meccanico da almeno 40kW con tubi, pompe, chiller. Dovrà essere fornito un armadio di distribuzione dell’acqua refrigerata con la possibilità di collegare fino a 12 unità di condizionamento Armadio Rack Data Center 6 Armadi Rack per la Equipment Room. Striscie di Alimentazione 12 Due striscie intelligenti da 24 prese ciascuna in ogni Armadio Rack con accensione e spegnimento comandabile remotamente. Monitoraggio Ambientale 3 Centralina di monitoraggio ambientale di temperatura/umidità, sensore allagamento, sensore presenza fumi, lampeggiante, apertura porta, vibrazioni Attività Post-Installazione ATTIVITA’ Q.tà DESCRIZIONE Assemblaggio 1 Assemblaggio dell’intera infrastruttura. Training 1 Training di 1 giorno sulla gestione e manutenzione dell’infrastruttura installata. Monitoraggio 1 1 Anno di Monitoraggio 7x24 da remoto dell’intera infrastruttura installata. - 77 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Network Integration 1 Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 Integrazione del Software di gestione con la rete dati del Data Center ART. 5.2 PAVIMENTO TECNICO FLOTTANTE I locali destinati ad ospitare il sistema integrato rack, UPS e sistema di condizionamento dovrà essere dotato di pavimento tecnico con piastrelle 60x60 cm2 in grado di sostenere pesi di 1000 Kg/m2. - 78 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 5. APPENDICE 2 Consorzio COMETA - Progetto PI2S2 FORNITURA DI INFRASTRUTTURA DI CALCOLO, RETE E STORAGE PER LA CREAZIONE DI UNA GRIGLIA COMPUTAZIONALE CAPITOLATO TECNICO - 79 - PROGETTAZIONE ED IMPLEMENTAZIONE DELL’INFRASTRUTTURA DI PRODUZIONE Doc. Identifier: File: PI2S2-D1.2-v1.0 Date: 31.01.2007 - 80 - PREMESSA La fornitura oggetto del presente capitolato deve fare riferimento a sistemi costituiti da nodi di calcolo, montabili su rack standard da 19”, switch di connessione di rete e sistemi di storage di tipo tradizionale o fibre channel, ove richiesto. Tutti i sistemi devono essere forniti chiavi in mano e quindi devono essere inclusi cablaggi e posa in opera. Garanzia e manutenzione devono essere “on-site” per almeno 3 anni e di tipo almeno NBD (Next Business Day). L'offerta tecnica presentata e la successiva fornitura dovranno rispettare anche le seguenti condizioni: • Dichiarazione esplicita del range di temperatura ambientale all’interno del quale l’infrastruttura globale proposta opera in sicurezza in condizioni di pieno carico specificando se trattasi di dati rilevati in laboratorio o dichiarati dal costruttore. • Dichiarazione esplicita del consumo energetico (in W o in kW) di ogni singola macchina proposta (in condizione di pieno carico) specificando se trattasi di dati rilevati in laboratorio o dichiarati dal costruttore. In particolare, per i lotti del presente capitolato, ove non siano fatte specifiche richieste alternative: • Devono essere forniti nodi di calcolo costituiti da identici processori; • Devono essere forniti nodi di calcolo costituiti da identico tipo di memoria RAM; • I nodi di calcolo ed i sistemi di storage devono essere forniti con il middleware grid gLite (http://www.glite.org) pre-installato. Non saranno prese altresì in considerazione offerte tecniche nelle quali i singoli nodi di calcolo abbiano un consumo elettrico a pieno carico, dichiarato come misurato in laboratorio, maggiore di 0.05 Watt per SPECint2000 “peak” (per la definizione di SPECint2000, SPECint_rate2000, SPECfp_2000, SPECfp_rate_2000 consultare il sito www.spec.org). L’aderenza alle specifiche di consumo dovrà essere verificato utilizzando la seguente formula: W ≤ 0.05 · SP · C dove: • • SP è il valore di SPECint2000 “peak” misurato; C è il numero di core del nodo di calcolo; 81 • W è il consumo massimo misurato a pieno carico del nodo di calcolo. Non saranno pertanto prese in considerazione le offerte i cui nodi di calcolo non soddisfano il vincolo indicato dalla formula precedente. Il consumo elettrico dichiarato si dovrà riferire obbligatoriamente a configurazioni con almeno 2 GB di memoria RAM per core, come quelle richieste nel presente capitolato. Il sistema dei nodi di calcolo deve essere fornito con architettura “Blade Server”. Saranno preferiti i sistemi che garantiscano la possibilità dell’aggiornamento della CPU entro i successivi 18 mesi senza la necessità di sostituire le Mother Board. L'offerta deve pure includere, pena l’esclusione, il Software necessario per l'utilizzo dei protocolli nativi che consente di ottenere le maggiori prestazioni in termini di latenza e bandwidth, prossimi a quelli limite dell'architettura proposta. Il sistema dovrà consentire di sfruttare al meglio l'interconnessione tramite protocollo di programmazione MPI supportato in MPICH e MPICH2. Questi due ambienti dovranno essere installati nel sistema. Verranno effettuati test di verifica di prestazione e di funzionalità in fase di collaudo. 82 CONSIDERAZIONI GENERALI L'obiettivo finale da conseguire è quello di creare un’infrastruttura di supporto ai sistemi di calcolo, di storage e di rete che sia in grado di soddisfare le esigenze attuali e quelle future del Progetto PI2S2. Il contraente dovrà fornire in opera tutti i materiali necessari alla realizzazione, secondo quanto indicato nel presente documento e nelle specifiche tecniche di progetto, garantendo il pieno rispetto delle normative tecniche e di sicurezza vigenti. Dovrà installare e terminare tutti i componenti hardware necessari a realizzare un sistema funzionale nonché fornire tutta la documentazione richiesta dal presente documento. Tutti i lavori dovranno essere eseguiti in maniera completa e scrupolosa in base ai più alti standard in campo industriale e dovranno essere sottoposti al controllo e all’accettazione da parte del Consorzio COMETA. Si stabilisce e si concorda espressamente che tali osservazioni e controlli da parte del Consorzio COMETA o di suoi consulenti non esonerano il contraente dalla responsabilità di un’adeguata supervisione ed esecuzione dei lavori descritti in questo documento o concordati successivamente. Le ditte partecipanti dovranno fornire un elenco del personale preposto al project management e al supporto tecnico assegnato al Progetto. Dovrà essere espressamente indicato un nominativo come Responsabile di Progetto. Il Responsabile di Progetto del contraente dovrà garantire il pieno rispetto delle tempistiche di esecuzione lavori eventualmente stabilite nel piano esecutivo redatto dal contraente secondo quanto stabilito in seguito. Tale Responsabile di Progetto dovrà essere inoltre il referente unico e diretto per il Consorzio COMETA relativamente a tutte le problematiche che dovessero emergere nel corso dell’esecuzione dei lavori. 83 - LOTTO 1 Fornitura per l’Istituto Nazionale di Fisica Nucleare, Sezione di Catania. L’offerta economica per questo Lotto non può essere superiore a: € 151.200,00 IVA esclusa. ART 1.1 SISTEMA DI CALCOLO Il sistema dovrà garantire una potenza totale di calcolo dell’ordine di: Base Peak SPECint2000 SPECint_rate2000 113160 128280 1260 1430 SPECfp_2000 138600 152900 1290 1390 SPECfp_rate_2000 (per la definizione di SPECint2000, SPECint_rate2000, SPECfp_2000, SPECfp_rate_2000 consultare il sito www.spec.org) e dovrà rispondere, pena l’esclusione, ai seguenti requisiti tecnici minimi: • Macchine almeno bi-processore a 64 bit; • Memoria (RAM) di almeno 2 GB per core in tecnologia DDR400 o con specifiche superiori; • Disco: da almeno 80 GB SATA o 73 GB SCSI o di superiori caratteristiche con un throughput minimo garantito di almeno 40 MByte/s con sistema operativo Linux; • Interfaccia Ethernet 100/1000 Mbps auto-sensing on-board con connettore RJ45 (rame); • Interfaccia di comunicazione a bassa latenza, basata su bus seriale bidirezionale con banda passante non inferiore a 2.5 Gb/s per direzione, con relativo cavo di connessione allo switch. Il sistema di calcolo deve essere configurato per eseguire il message passing attraverso tali interfacce con supporto ad MPICH ed MPICH2 (v.1.0.2 o superiore) nativo e su TCP/IP; • Bootstrap via rete con protocollo PXE con sistema Linux; • Unità DVD-ROM e Floppy eventualmente esterni di tipo USB. • Guide ed accessori o quant’altro necessario per montaggio a rack standard 19”; • Cavi di alimentazione con spine e prese standard IEC di lunghezza idonea e cavi di rete standard UTP Cat. 6E di lunghezza idonea. 84 • Sistema Operativo Linux 64 bit certificato dal venditore e ottimizzato per HPC e Scientific Linux CERN 3.0.6 kernel 2.6 a 64 bit; i due Sistemi Operativi devono entrambi essere preinstallati su partizioni diverse; • Ambiente di sviluppo Portland Group CDK ottimizzato per la piattaforma offerta, comprensiva di compilatori per HPC con almeno 3 licenze; • Pre-installazione di eventuali ulteriori 3 licenze di compilatori F77/F90/F95/C/C++ ottimizzati per la piattaforma offerta (specificare il tipo in fase di offerta). ART 1.2 APPARECCHIATURE DI RETE Art 1.2.1 Rete di servizio I nodi di calcolo dovranno essere collegati tra loro con una rete locale di tipo almeno Gigabit Ethernet e gli apparati di rete dovranno essere integrati nel sistema “blade server”. Art 1.2.2 Rete di Calcolo Rete di interconnessione, atta a connettere le interfacce a bassa latenza di cui alle definizione dei singoli nodi, basata su switch di comunicazione dotati di porte in numero sufficiente alla connessione di tutti i nodi ciascuna delle quali dotata di banda passante aggregata di almeno 5 Gbit/sec. Lo switch deve garantire valori di latenza non superiori a 4 microsecondi e operare in modalità wirespeed; deve inoltre poter essere gestito via CLI e SNMP. Saranno preferiti apparati che possano integrare connettività verso reti IP e Fibre Channel, in modo da consentire il dialogo tra i singoli nodi ed eventuali FC SANs, NAS appliance, IP SANs e reti TCP/IP. In fase di collaudo verranno effettuati test di verifica di prestazione e di funzionalità per la validazione dei test prodotti in fase di offerta. ART 1.3 SOLUZIONI PER IL CONTROLLO REMOTO DEI SERVER E UNITÀ DI CALCOLO I nodi di calcolo dovranno essere collegati tra loro con una sistema di tipo KVM integrato nel sistema “blade server”. 85 ART 1.4 SISTEMA DI STORAGE Fornitura di un Sistema di storage basato su disco con architettura fibre channel basata su dischi SATA. Il sistema di storage dovrà garantire una capacità raw minima di 25 Terabytes visibile sotto un unico mount-point e dovrà rispondere, pena l’esclusione, ai seguenti requisiti tecnici minimi: • Essere basato sulla seguente soluzione “Disk server”: o Scheda madre almeno biprocessore 64 bit; o RAM 4 GB DDR / DDR II 400 Mhz ECC registered; o Doppia Gigabit Ethernet integrata on board; o Doppio disco di sistema configurato in RAID hardware; o Controller fibre channel di connessione alle unità disco; o Configurazione almeno RAID 0,1,5 con Hot Spare; o Scientific Linux CERN ultima release preinstallato; • I server potranno essere forniti sia separati che in configurazione integrata con i dischi, a seconda della tecnologia proposta; • Cavi, bretelle e quant’altro necessario per la messa in opera della soluzione proposta; • Tutto il sistema dovrà essere installato su rack standard 19”; • Hard disk drive di tipo SATA; • Bootstrap via rete con protocollo PXE con sistema operativo Linux; • Ridondanza degli alimentatori hot swap e hot plug; • Installazione completa e test di funzionalità. L'offerta tecnica presentata e la successiva fornitura dovranno rispettare anche le seguenti condizioni: • Comprendere l’assistenza per la configurazione ottimale della soluzione proposta. Nella Valutazione finale saranno considerati come caratteristiche preferenziali: o Alimentazione ridondata; o Adeguatezza della potenza di alimentazione al carico previsto; 86 o Management del sistema proposto. 87 - LOTTO 2 Fornitura per l’Istituto Nazionale di Astrofisica, Osservatorio Astrofisico di Catania. L’offerta economica per questo lotto non può essere superiore a: € 108.665,00 IVA esclusa. ART 2.1 SISTEMA DI CALCOLO Il sistema dovrà garantire una potenza totale di calcolo dell’ordine di: Base SPECint2000 SPECint_rate2000 SPECfp_2000 SPECfp_rate_2000 Peak 95290 108000 1060 1200 116730 128760 1090 1170 (per la definizione di SPECint2000, SPECint_rate2000, SPECfp_2000, SPECfp_rate_2000 consultare il sito www.spec.org) e dovrà rispondere, pena l’esclusione, ai seguenti requisiti tecnici minimi: • Macchine almeno bi-processore a 64 bit; • Memoria (RAM) di almeno 2 GB per core in tecnologia DDR400 o con specifiche superiori; • Disco: da almeno 80 GB SATA o 73 GB SCSI o di superiori caratteristiche con un throughput minimo garantito di almeno 40 MByte/s con sistema operativo Linux; • Interfaccia Ethernet 100/1000 Mbps auto-sensing on-board con connettore RJ45 (rame); • Interfaccia di comunicazione a bassa latenza, basata su bus seriale bidirezionale con banda passante non inferiore a 2.5 Gb/s per direzione, con relativo cavo di connessione allo switch. Il sistema di calcolo deve essere configurato per eseguire il message passing attraverso tali interfacce con supporto ad MPICH ed MPICH2 (v.1.0.2 o superiore) nativo e su TCP/IP; • Bootstrap via rete con protocollo PXE con sistema Linux; • Unità DVD-ROM e Floppy eventualmente esterni di tipo USB; • Guide ed accessori o quant’altro necessario per montaggio a rack standard 19”; • Cavi di alimentazione con spine e prese standard IEC di lunghezza idonea e cavi di rete standard UTP Cat. 6E di lunghezza idonea; 88 • Sistema Operativo Linux 64 bit certificato dal venditore e ottimizzato per HPC e Scientific Linux CERN 3.0.6 kernel 2.6 a 64 bit; i due Sistemi Operativi devono entrambi essere preinstallati su partizioni diverse; • Ambiente di sviluppo Portland Group CDK ottimizzato per la piattaforma offerta, comprensiva di compilatori per HPC con almeno 3 licenze; • Pre-installazione di eventuali ulteriori 3 licenze di compilatori F77/F90/F95/C/C++ ottimizzati per la piattaforma offerta (specificare il tipo in fase di offerta). ART 2.2 APPARECCHIATURE DI RETE Art 2.2.1 Rete di servizio I nodi di calcolo dovranno essere collegati tra loro con una rete locale di tipo almeno Gigabit Ethernet e gli apparati di rete dovranno essere integrati nel sistema “blade server”. Art 2.2.2 Rete di Calcolo Rete di interconnessione, atta a connettere le interfacce a bassa latenza di cui alle definizione dei singoli nodi, basata su switch di comunicazione dotati di porte in numero sufficiente alla connessione di tutti i nodi ciascuna delle quali dotata di banda passante aggregata di almeno 5 Gbit/sec. Lo switch deve garantire valori di latenza non superiori a 4 microsecondi e operare in modalità wirespeed; deve inoltre poter essere gestito via CLI e SNMP. Saranno preferiti apparati che possano integrare connettività verso reti IP e Fibre Channel, in modo da consentire il dialogo tra i singoli nodi ed eventuali FC SANs, NAS appliance, IP SANs e reti TCP/IP. In fase di collaudo verranno effettuati test di verifica di prestazione e di funzionalità per la validazione dei test prodotti in fase di offerta. ART 2.3 SOLUZIONI PER IL CONTROLLO REMOTO DEI SERVER E UNITÀ DI CALCOLO I nodi di calcolo dovranno essere collegati tra loro con una sistema di tipo KVM integrato nel sistema “blade server”. 89 ART 2.4 SISTEMA DI STORAGE Fornitura di un Sistema di storage basato su disco con architettura fibre channel basata su dischi SATA. Il sistema di storage dovrà garantire una capacità raw minima di 10 Terabytes visibile sotto un unico mount-point e dovrà rispondere, pena l’esclusione, ai seguenti requisiti tecnici minimi: • Essere basato sulla seguente soluzione “Disk server”: o Scheda madre almeno biprocessore 64 bit; o RAM 4 GB DDR / DDR II 400 Mhz ECC registered o Doppia Gigabit Ethernet integrata on board; o Doppio disco di sistema configurato in RAID hardware; o Controller fibre channel di connessione alle unità disco; o Configurazione almeno RAID 0,1,5 con Hot Spare; o Scientific Linux CERN ultima release preinstallato; • I server potranno essere forniti sia separati che in configurazione integrata con i dischi, a seconda della tecnologia proposta; • Cavi, bretelle e quant’altro necessario per la messa in opera della soluzione proposta; • Tutto il sistema dovrà essere installato su rack standard 19”; • Hard disk drive di tipo SATA; • Bootstrap via rete con protocollo PXE con sistema operativo Linux; • Ridondanza degli alimentatori hot swap e hot plug; • Installazione completa e test di funzionalità. L'offerta tecnica presentata e la successiva fornitura dovranno rispettare anche le seguenti condizioni: • Comprendere l’assistenza per la configurazione ottimale della soluzione proposta. Nella Valutazione finale saranno considerati come caratteristiche preferenziali: o Alimentazione ridondata; o Adeguatezza della potenza di alimentazione al carico previsto; 90 o Management del sistema proposto. 91 - LOTTO 3 Fornitura per l’Università degli Studi di Messina e l’Istituto Nazionale di Geofisica e Vulcanologia. L’offerta economica per questo lotto non può essere superiore a: € 33.000,00 IVA esclusa. ART 3.1 SISTEMA DI CALCOLO Il sistema dovrà garantire una potenza totale di calcolo dell’ordine di: Base SPECint2000 Peak 23820 27000 260 300 29180 32190 270 290 SPECint_rate2000 SPECfp_2000 SPECfp_rate_2000 (per la definizione di SPECint2000, SPECint_rate2000, SPECfp_2000, SPECfp_rate_2000 consultare il sito www.spec.org) e dovrà rispondere, pena l’esclusione, ai seguenti requisiti tecnici minimi: • Macchine almeno bi-processore a 64 bit; • Memoria (RAM) di almeno 2 GB per core in tecnologia DDR400 o con specifiche superiori; • Disco: da almeno 80 GB SATA o 73 GB SCSI o di superiori caratteristiche con un throughput minimo garantito di almeno 40 MByte/s con sistema operativo Linux; • Interfaccia Ethernet 100/1000 Mbps auto-sensing on-board con connettore RJ45 (rame); • Interfaccia di comunicazione a bassa latenza, basata su bus seriale bidirezionale con banda passante non inferiore a 2.5 Gb/s per direzione, con relativo cavo di connessione allo switch. Il sistema di calcolo deve essere configurato per eseguire il message passing attraverso tali interfacce con supporto ad MPICH ed MPICH2 (v.1.0.2 o superiore) nativo e su TCP/IP; • Bootstrap via rete con protocollo PXE con sistema Linux; • Unità DVD-ROM e Floppy eventualmente esterni di tipo USB; • Guide ed accessori o quant’altro necessario per montaggio a rack standard 19”; • Cavi di alimentazione con spine e prese standard IEC di lunghezza idonea e cavi di rete standard UTP Cat. 6E di lunghezza idonea; 92 • Sistema Operativo Linux 64 bit certificato dal venditore e ottimizzato per HPC e Scientific Linux CERN 3.0.6 kernel 2.6 a 64 bit; i due Sistemi Operativi devono entrambi essere preinstallati su partizioni diverse; • Ambiente di sviluppo Portland Group CDK ottimizzato per la piattaforma offerta, comprensiva di compilatori per HPC con almeno 3 licenze; • Pre-installazione di eventuali ulteriori 3 licenze di compilatori F77/F90/F95/C/C++ ottimizzati per la piattaforma offerta (specificare il tipo in fase di offerta). ART 3.2 APPARECCHIATURE DI RETE Art 3.2.1 Rete di servizio I nodi di calcolo dovranno essere collegati tra loro con una rete locale di tipo almeno Gigabit Ethernet e gli apparati di rete dovranno essere integrati nel sistema “blade server”. Art 3.2.2 Rete di Calcolo Rete di interconnessione, atta a connettere le interfacce a bassa latenza di cui alle definizione dei singoli nodi, basata su switch di comunicazione dotati di porte in numero sufficiente alla connessione di tutti i nodi ciascuna delle quali dotata di banda passante aggregata di almeno 5 Gbit/sec. Lo switch deve garantire valori di latenza non superiori a 4 microsecondi e operare in modalità wirespeed; deve inoltre poter essere gestito via CLI e SNMP. Saranno preferiti apparati che possano integrare connettività verso reti IP e Fibre Channel, in modo da consentire il dialogo tra i singoli nodi ed eventuali FC SANs, NAS appliance, IP SANs e reti TCP/IP. In fase di collaudo verranno effettuati test di verifica di prestazione e di funzionalità per la validazione dei test prodotti in fase di offerta. ART 3.3 SOLUZIONI PER IL CONTROLLO REMOTO DEI SERVER E UNITÀ DI CALCOLO I nodi di calcolo dovranno essere collegati tra loro con una sistema di tipo KVM integrato nel sistema “blade server”. 93 ART 3.4 SISTEMA DI STORAGE Fornitura di un Sistema di storage basato su disco con architettura fibre channel basata su dischi SATA. Il sistema di storage dovrà garantire una capacità raw minima di 5 Terabytes visibile sotto un unico mount-point e dovrà rispondere, pena l’esclusione, ai seguenti requisiti tecnici minimi: • Essere basato sulla seguente soluzione “Disk server”: o Scheda madre almeno biprocessore 64 bit; o RAM 4 GB DDR / DDR II 400 Mhz ECC registered; o Doppia Gigabit Ethernet integrata on board; o Doppio disco di sistema configurato in RAID hardware; o Controller fibre channel di connessione alle unità disco; o Configurazione almeno RAID 0,1,5 con Hot Spare; o Scientific Linux CERN ultima release preinstallato; • I server potranno essere forniti sia separati che in configurazione integrata con i dischi, a seconda della tecnologia proposta; • Cavi, bretelle e quant’altro necessario per la messa in opera della soluzione proposta; • Tutto il sistema dovrà essere installato su rack standard 19”; • Hard disk drive di tipo SATA; • Bootstrap via rete con protocollo PXE con sistema operativo Linux; • Ridondanza degli alimentatori hot swap e hot plug; • Installazione completa e test di funzionalità. L'offerta tecnica presentata e la successiva fornitura dovranno rispettare anche le seguenti condizioni: • Comprendere l’assistenza per la configurazione ottimale della soluzione proposta. Nella Valutazione finale saranno considerati come caratteristiche preferenziali: o Alimentazione ridondata; o Adeguatezza della potenza di alimentazione al carico previsto; 94 o Management del sistema proposto. 95 - LOTTO 4.1 Fornitura per l’Università degli Studi di Catania, Dipartimento di Ingegneria Informatica e delle Telecomunicazioni. L’offerta economica per questo lotto non può essere superiore a: € 75.000,00 IVA esclusa. ART 4.1.1 SISTEMA DI CALCOLO Il sistema dovrà garantire una potenza totale di calcolo dell’ordine di: Base SPECint2000 Peak 83380 94520 SPECint_rate2000 930 1050 SPECfp_2000 SPECfp_rate_2000 102140 112670 950 1030 (per la definizione di SPECint2000, SPECint_rate2000, SPECfp_2000, SPECfp_rate_2000 consultare il sito www.spec.org) e dovrà rispondere, pena l’esclusione, ai seguenti requisiti tecnici minimi: • Macchine almeno bi-processore a 64 bit; • Memoria (RAM) di almeno 2 GB per core in tecnologia DDR400 o con specifiche superiori; • Disco: da almeno 80 GB SATA o 73 GB SCSI o di superiori caratteristiche con un throughput minimo garantito di almeno 40 MByte/s con sistema operativo Linux; • Interfaccia Ethernet 100/1000 Mbps auto-sensing on-board con connettore RJ45 (rame); • Interfaccia di comunicazione a bassa latenza, basata su bus seriale bidirezionale con banda passante non inferiore a 2.5 Gb/s per direzione, con relativo cavo di connessione allo switch. Il sistema di calcolo deve essere configurato per eseguire il message passing attraverso tali interfacce con supporto ad MPICH ed MPICH2 (v.1.0.2 o superiore) nativo e su TCP/IP; • Bootstrap via rete con protocollo PXE con sistema Linux; • Unità DVD-ROM e Floppy eventualmente esterni di tipo USB; • Guide ed accessori o quant’altro necessario per montaggio a rack standard 19”; • Cavi di alimentazione con spine e prese standard IEC di lunghezza idonea e cavi di rete standard UTP Cat. 6E di lunghezza idonea; 96 • Sistema Operativo Linux 64 bit certificato dal venditore e ottimizzato per HPC e Scientific Linux CERN 3.0.6 kernel 2.6 a 64 bit; i due Sistemi Operativi devono entrambi essere preinstallati su partizioni diverse; • Ambiente di sviluppo Portland Group CDK ottimizzato per la piattaforma offerta, comprensiva di compilatori per HPC con almeno 3 licenze; • Pre-installazione di eventuali ulteriori 3 licenze di compilatori F77/F90/F95/C/C++ ottimizzati per la piattaforma offerta (specificare il tipo in fase di offerta). ART 4.1.2 APPARECCHIATURE DI RETE Art 4.1.2.1 Rete di servizio I nodi di calcolo dovranno essere collegati tra loro con una rete locale di tipo almeno Gigabit Ethernet e gli apparati di rete dovranno essere integrati nel sistema “blade server”. Art 4.1.2.2 Rete di Calcolo Rete di interconnessione, atta a connettere le interfacce a bassa latenza di cui alle definizione dei singoli nodi, basata su switch di comunicazione dotati di porte in numero sufficiente alla connessione di tutti i nodi ciascuna delle quali dotata di banda passante aggregata di almeno 5 Gbit/sec. Lo switch deve garantire valori di latenza non superiori a 4 microsecondi e operare in modalità wirespeed; deve inoltre poter essere gestito via CLI e SNMP. Saranno preferiti apparati che possano integrare connettività verso reti IP e Fibre Channel, in modo da consentire il dialogo tra i singoli nodi ed eventuali FC SANs, NAS appliance, IP SANs e reti TCP/IP. In fase di collaudo verranno effettuati test di verifica di prestazione e di funzionalità per la validazione dei test prodotti in fase di offerta. ART 4.1.3 SOLUZIONI PER IL CONTROLLO REMOTO DEI SERVER E UNITÀ DI CALCOLO I nodi di calcolo dovranno essere collegati tra loro con una sistema di tipo KVM integrato nel sistema “blade server”. 97 - LOTTO 4.2 Fornitura per l’Università degli Studi di Catania, Dipartimento di Matematica e Informatica. L’offerta economica per questo lotto non può essere superiore a: € 28.400,00 IVA esclusa. ART 4.2.1 SISTEMA DI CALCOLO Il sistema dovrà garantire una potenza totale di calcolo dell’ordine di: Base Peak SPECint2000 SPECint_rate2000 29780 33760 330 370 SPECfp_2000 36480 40240 340 360 SPECfp_rate_2000 (per la definizione di SPECint2000, SPECint_rate2000, SPECfp_2000, SPECfp_rate_2000 consultare il sito www.spec.org) e dovrà rispondere, pena l’esclusione, ai seguenti requisiti tecnici minimi: • Macchine almeno bi-processore a 64 bit; • Memoria (RAM) di almeno 2 GB per core in tecnologia DDR400 o con specifiche superiori; • Disco: da almeno 80 GB SATA o 73 GB SCSI o di superiori caratteristiche con un throughput minimo garantito di almeno 40 MByte/s con sistema operativo Linux; • Interfaccia Ethernet 100/1000 Mbps auto-sensing on-board con connettore RJ45 (rame); • Interfaccia di comunicazione a bassa latenza, basata su bus seriale bidirezionale con banda passante non inferiore a 2.5 Gb/s per direzione, con relativo cavo di connessione allo switch. Il sistema di calcolo deve essere configurato per eseguire il message passing attraverso tali interfacce con supporto ad MPICH ed MPICH2 (v.1.0.2 o superiore) nativo e su TCP/IP; • Bootstrap via rete con protocollo PXE con sistema Linux; • Unità DVD-ROM e Floppy eventualmente esterni di tipo USB; • Guide ed accessori o quant’altro necessario per montaggio a rack standard 19”; • Cavi di alimentazione con spine e prese standard IEC di lunghezza idonea e cavi di rete standard UTP Cat. 6E di lunghezza idonea; 98 • Sistema Operativo Linux 64 bit certificato dal venditore e ottimizzato per HPC e Scientific Linux CERN 3.0.6 kernel 2.6 a 64 bit; i due Sistemi Operativi devono entrambi essere preinstallati su partizioni diverse; • Ambiente di sviluppo Portland Group CDK ottimizzato per la piattaforma offerta, comprensiva di compilatori per HPC con almeno 3 licenze; • Pre-installazione di eventuali ulteriori 3 licenze di compilatori F77/F90/F95/C/C++ ottimizzati per la piattaforma offerta (specificare il tipo in fase di offerta). ART 4.2.2 APPARECCHIATURE DI RETE Art 4.2.2.1 Rete di servizio I nodi di calcolo dovranno essere collegati tra loro con una rete locale di tipo almeno Gigabit Ethernet e gli apparati di rete dovranno essere integrati nel sistema “blade server”. Art 4.2.2.2 Rete di Calcolo Rete di interconnessione, atta a connettere le interfacce a bassa latenza di cui alle definizione dei singoli nodi, basata su switch di comunicazione dotati di porte in numero sufficiente alla connessione di tutti i nodi ciascuna delle quali dotata di banda passante aggregata di almeno 5 Gbit/sec. Lo switch deve garantire valori di latenza non superiori a 4 microsecondi e operare in modalità wirespeed; deve inoltre poter essere gestito via CLI e SNMP. Saranno preferiti apparati che possano integrare connettività verso reti IP e Fibre Channel, in modo da consentire il dialogo tra i singoli nodi ed eventuali FC SANs, NAS appliance, IP SANs e reti TCP/IP. In fase di collaudo verranno effettuati test di verifica di prestazione e di funzionalità per la validazione dei test prodotti in fase di offerta. ART 4.2.3 SOLUZIONI PER IL CONTROLLO REMOTO DEI SERVER E UNITÀ DI CALCOLO I nodi di calcolo dovranno essere collegati tra loro con una sistema di tipo KVM integrato nel sistema “blade server”. 99 - LOTTO 5 Fornitura per l’Istituto Nazionale di Astrofisica, Osservatorio Astronomico di Palermo e per l’Università degli Studi di Palermo. L’offerta economica per questo lotto non può essere superiore a: € 170.330,00 IVA esclusa. ART. 5.1 SISTEMA DI CALCOLO Il sistema dovrà garantire una potenza totale di calcolo dell’ordine di: Base SPECint2000 SPECint_rate2000 SPECfp_2000 SPECfp_rate_2000 Peak 142940 162000 1590 1800 175100 193150 1630 1760 (per la definizione di SPECint2000, SPECint_rate2000, SPECfp_2000, SPECfp_rate_2000 consultare il sito www.spec.org) e dovrà rispondere, pena l’esclusione, ai seguenti requisiti tecnici minimi: • Macchine almeno bi-processore a 64 bit; • Memoria (RAM) di almeno 2 GB per core in tecnologia DDR400 o con specifiche superiori; • Disco: da almeno 80 GB SATA o 73 GB SCSI o di superiori caratteristiche con un throughput minimo garantito di almeno 40 MByte/s con sistema operativo Linux; • Interfaccia Ethernet 100/1000 Mbps auto-sensing on-board con connettore RJ45 (rame); • Interfaccia di comunicazione a bassa latenza, basata su bus seriale bidirezionale con banda passante non inferiore a 2.5 Gb/s per direzione, con relativo cavo di connessione allo switch. Il sistema di calcolo deve essere configurato per eseguire il message passing attraverso tali interfacce con supporto ad MPICH ed MPICH2 (v.1.0.2 o superiore) nativo e su TCP/IP; • Bootstrap via rete con protocollo PXE con sistema Linux; • Unità DVD-ROM e Floppy eventualmente esterni di tipo USB; • Guide ed accessori o quant’altro necessario per montaggio a rack standard 19”; • Cavi di alimentazione con spine e prese standard IEC di lunghezza idonea e cavi di rete standard UTP Cat. 6E di lunghezza idonea; 100 • Sistema Operativo Linux 64 bit certificato dal venditore e ottimizzato per HPC e Scientific Linux CERN 3.0.6 kernel 2.6 a 64 bit; i due Sistemi Operativi devono entrambi essere preinstallati su partizioni diverse; • Ambiente di sviluppo Portland Group CDK ottimizzato per la piattaforma offerta, comprensiva di compilatori per HPC con almeno 3 licenze; • Pre-installazione di eventuali ulteriori 3 licenze di compilatori F77/F90/F95/C/C++ ottimizzati per la piattaforma offerta (specificare il tipo in fase di offerta); • Software per il cluster management, monitoring, servizi di remote installation/deployment, scheduler, queue management. Nella valutazione finale si terrà conto del Management del sistema proposto. ART. 5.2 APPARECCHIATURE DI RETE Art. 5.2.1 Rete Ethernet Il sistema dovrà essere dotato di uno switch ethernet con le seguenti caratteristiche: • • • • • • • • • • • • • • • • 48 porte 10/100/1000BASE-T in rame auto sensing; Architettura stackable con possibilità di collegamento di un minimo di 4 unità, bandwidth dell'interfaccia di stack non inferiore a quella di ogni singolo backplane; Forwarding rate di almeno 37 Mpps, backplane ad almeno 32 Gbps; Supporto di VLAN secondo lo standard IEEE 802.1Q e routing fra le VLAN; Supporto della QoS mediante l’uso della prioritizzazione del traffico e aderenza agli standard IEEE 802.1p e DSCP; Supporto Rapid Spanning Tree Protocol (IEEE 802.1w); Capacità di supportare moduli con interfaccia 10 Gigabit Ethernet; Supporto IGMP v2 Snooping e Quering; Funzionalità di Broadcast/Multicast/Unicast Storm Control; Possibilità di Backup e restore della configurazione; Supporto dello standard IEEE 802.3ad (Link Aggregation Control Protocol) ; Capacità di Port Mirroring; Supporto di management via SNMP; Supporto RMON; Management via Command Line Interface con porta console; Alimentatore ridondante. Lo switch dovrà essere fornito di slitte per il montaggio su rack 19”. Art. 5.2.2 Rete di comunicazione a bassa latenza 101 Rete di interconnessione, atta a connettere le interfacce a bassa latenza di cui alle definizione dei singoli nodi, basata su switch di comunicazione dotati di porte in numero sufficiente alla connessione di tutti i nodi ciascuna delle quali dotata di banda passante aggregata di almeno 5 Gbit/sec. Lo switch deve garantire valori di latenza non superiori a 4 microsecondi e operare in modalità wirespeed; deve inoltre preferibilmente poter essere gestito via GUI, CLI e SNMP. Saranno preferiti apparati che possano integrare connettività verso reti IP e Fibre Channel, in modo da consentire il dialogo tra i singoli nodi ed eventuali FC SANs, NAS appliance, IP SANs e reti TCP/IP. In fase di collaudo verranno effettuati test di verifica di prestazione e di funzionalità per la validazione dei test prodotti in fase di offerta. ART. 5.3 SOLUZIONI PER IL CONTROLLO REMOTO DEL SISTEMA I nodi di calcolo dovranno essere collegati tra loro con una sistema di tipo KVM integrato nel sistema “blade server”. ART. 5.4 SISTEMA DI STORAGE Fornitura di un Sistema di storage basato su disco con architettura fibre channel basata su dischi SATA. Il sistema di storage dovrà garantire una capacità raw minima di 20 Terabytes visibile sotto un unico mount-point e dovrà rispondere, pena l’esclusione, ai seguenti requisiti tecnici minimi: • Essere basato sulla seguente soluzione “Disk server”: o Scheda madre almeno biprocessore 64 bit; o RAM 4 GB DDR / DDR II 400 Mhz ECC registered; o Doppia Gigabit Ethernet integrata on board; o Doppio disco di sistema configurato in RAID hardware; o Controller fibre channel di connessione alle unità disco; o Configurazione almeno RAID 0,1,5 con Hot Spare; • Sistema Operativo Linux 64 bit certificato dal venditore e ottimizzato per HPC e Scientific Linux CERN 3.0.6 kernel 2.6 a 64 bit; i due Sistemi Operativi devono entrambi essere preinstallati su partizioni diverse; • Cavi, bretelle e quant’altro necessario per la messa in opera della soluzione proposta. 102 • Tutto il sistema dovrà essere installato su rack standard 19”. • Hard disk drive di tipo SATA. • Bootstrap via rete con protocollo PXE con sistema operativo Linux. • Ridondanza degli alimentatori hot swap e hot plug. • Installazione completa e test di funzionalità. I server potranno essere forniti sia separati che in configurazione integrata con i dischi, a seconda della tecnologia proposta. L'offerta tecnica presentata e la successiva fornitura dovranno rispettare anche le seguenti condizioni: • Contenere il calcolo della capacità netta (intesa come vista e accessibile a livello di sistema operativo Scientific Linux CERN) ; • Comprendere l’assistenza per la configurazione ottimale della soluzione proposta. Nella Valutazione finale saranno considerati come caratteristiche preferenziali: o Alimentazione ridondata; o Adeguatezza della potenza di alimentazione al carico previsto; o Management del sistema proposto. 103 6. APPENDICE 3 L’offerta tecnica vincente della gara “infrastruttura” è disponibile solo in formato PDF al link web http://documents.consorzio-cometa.it/getfile.py?docid=253&name=Offerta-tecnica-gara12006&format=pdf&version=1. 104 7. APPENDICE 4 FORNITURA DI INFRASTRUTTURA DI CALCOLO, RETE E STORAGE PER LA CREAZIONE DI UNA GRIGLIA COMPUTAZIONALE CAPITOLATO TECNICO mauden S.p.A. 105 Premessa La fornitura oggetto del presente capitolato è costituita da sistemi blade montabili su rack standard a 19” , switch di rete e sistemi di storage fiber-to sata. Tutti i sistemi proposti vi saranno forniti chiavi in mano ( cablaggi e posa in opera ) . Tutti i sistemi offerti sono in garanzia e manutenzione con intervento “on-site” per 36 mesi da data installazione e con modalita’ di intervento NBD (Next Business Day). Per tutti i lotti vi saranno forniti blade con le seguenti caratteristiche: - Identici Processori Identiche Motherboard Identico Tipo di Ram Identica tipologia di Storage locale su disco Identiche Interfacce di rete Identici Switch di rete Ciascun processore e’ di tipo AMD Opteron revF in grado di eseguire nativamente codice binario x86 a 32 e a 64 bit. E’dotato di canale di comunicazione diretta con gli altri processori sulla stessa motherboard, e dispone di controller di memoria integrato (si veda lo schema a blocchi sottoriportato). Nel documento allegato “Performance of the AMD Opteron LS21 for IBM Blade Center” si puo’ trovare un’analisi puntuale dell’architettura di LS21 e alcune considerazioni sulle prestazioni. 106 Parametri di ambiente nominali dichiarati da IBM in base alla configurazione COMETA Description Range Operating temperature 10 to 35 degrees C (50 to 95 degrees F) Relative humidity 8% to 80% Maximum Altitude 2,133 m (7,000 ft) Operating voltage 200-240 V ac Operating frequency 50 or 60 Hz Power consumption di un sistema LS21 in configurazione tipo Lotto 1 inclusi i componenti di rete in Blade Center: 230W a riposo – 348W a pieno regime (si considerino i dati di esempio di un Blade Center H come per il Lotto1, riportati di seguito, e si divida per il numero di Server pari a 14). Questo valore e’ un valore medio che tiene in conto anche il consumo dello chassis e degli apparati di rete integrati. Power consumption di un sistema x3655 in configurazione tipo Lotto 1: 220W a riposo – 330W a pieno regime Power consumption di un controller DS4200: 230W senza sostanziali differenze a riposo o sotto carico Power consumption di un expansion EXP420: 107 350W senza sostanziali differenze a riposo o sotto carico 108 Maximum Quantity 1 Maximum Measured Rated Idle Measured Input System Description Power Power Current Power Blade Center - LS21 3233 W 4876 W 22.1 A 9600 W Domain 1 1617 W 2438 W 10.9 A 4800 W Domain 2 1617 W 2438 W 10.9 A 4800 W 1 IBM BladeCenter H Chassis Power Supplies for Blades 1-7: 2 x BCH 2900 W & Blades 8-14: 2 x BCH 2900 W 1 Management Module(s) (2) Nortel Networks® Layer 2/3 Copper Gigabit Ethernet Switch Module (2) Cisco Systems® 4X Infiniband Switch Module for IBM BladeCenter 14 LS21 (7971) (2) 2.6GHz Opteron 2218 - 95W (8) 1024 MB Dimm(s) (1) IBM 73GB 10K U320 SFF SAS NHS (1) Topspin Adapter InfiniBand™ 4X Host Channel Power Estimates for Total Configuration Date & Time: 1/10/2007 10:58:09 AM Country: Italy Voltage: 220 V MAX SYSTEM IDLE MEASURED Power: 3233 W 4876 W 9600 W Input Current: 14.7 A 22.2 A 48 A BTU/HR: 11025 BTU/Hr 16626 BTU/Hr 32736 BTU/Hr CFM: 430 CFM 820 CFM 820 CFM VA Rating: 3299 VA 4975 VA 9796 VA Based on system(s) running at: MAX 109 Leakage Current: 3 mA 3 mA 3 mA Peak Inrush Current (4ms): 200 A 200 A 200 A Current Program Version: v4.4.2.12 - 19 December, 2006 ***THESE NUMBERS ARE MEASURED DURING TESTS AT 25ºC AMBIENT TEMP AND YOUR RESULTS MAY VARY*** ELECTRICAL CODES AND REGULATIONS SPECIFY THAT ALL ELECTRICAL EQUIPMENT SHALL BE USED IN ACCORDANCE WITH LISTING AND LABELING REQUIREMENTS. REFER TO THE SYSTEM INFORMATION LABEL TO VERIFY THE RATING OF THE EQUIPMENT. (electrical service must be wired according to the system rating label, not the measured current) 110 Consumo medio per Blade configurata come da capitolato tecnico inclusi gli apparati di rete e lo chassis Idle Power 3233W/14 = 230W Max Power 4876W/14 = 348W Misure con un range di 2% di errore Ne segue che i sistemi proposti soddisfano il limite superiore di consumo ammesso. 348W < 0.05 * 1784 * 4 = 357W Prestazioni [email protected] AMD Opteron 2218 da www.spec.org SPEC bmt Base Results CINT2000 1606 1784 CINT_rate2000 72,6 81,2 CFP2000 1999 2228 CFP_rate2000 83,3 89,2 I nodi di calcolo ed i sistemi storage sono forniti con il middleware grid gLite pre-installato. Il sistema di nodi di calcolo e’ in architettura IBM Blade Center H di nuova generazione. Le blades LS21 sono disegnate per ospitare processori dual-core revF. La motherboard permette l’upgrade a quad-core socketF-revG nel corso del 2007 tramite sostituzione del socket e aggiornamento del BIOS. Le DDR2 667MHz gia’ in configurazione sono compatibili con i processori quad-core revF. I Cluster sono forniti del Software per la comunicazione nativa su interconnessione Infiniband 4X. Saranno anche installati gli ambienti MPICH e MPICH2. 111 112 CONSIDERAZIONI GENERALI PER TUTTI I LOTTI L’obiettivo di questa fornitura è quello di creare un’ infrastruttura di calcolo di storage e di rete per la creazione di una Griglia Computazionale nell’ambito del progetto “PI2S2”. SISTEMA OPERATIVO Tutti i sistemi di calcolo vi saranno forniti con linux scientific cern rilasciata per il middleware di INFNGRID rilasciato dal progetto INFN . Tools e compilatori Saranno inoltre forniti e preinstallati tre licenze dei compilatori F77/F90/F95/C/C++ ottimizzati per l’architettura Opteron accedibili via LAN da tutti i nodi dell’architettura COMETA. MIDDLEWARE tutti le macchine saranno fornite oltre che con il sistema operativo installato anche con il midleware di infn- grid. La tipologia dei servizi grid (computing element , storage element , worker node, ecc )sarà definita in accordo con il committente . LSF Agli enti che non hanno licenze di LSF ,sarà fornita senza alcun costo aggiuntivo la HPC 6.1 , o qualunque altra versione meglio compatibile con il middleware di INFN GRID. Al fine di realizzare nel modo piu’ efficace la gestione delle risorse tramite l’ambiente LSF, IBM ha stabilito una collaborazione con Nice Srl sul progetto COMETA. 113 Cluster di Calcolo offerti nei 6 siti della rete COMETA Per poter soddisfare al meglio le specifiche tecniche riportate nel Capitolato Tecnico di Gara, la soluzione proposta stabilisce alcuni punti comuni alle architetture Cluster dei 6 siti della rete COMETA specializzando a ogni modo la soluzione ai vari siti tenendo in conto le specifiche indicate nel capitolato tecnico di gara. Essendo condizione imprescindibile quella di raggiungere una elevata interoperabilita’ e unita’ di gestione tra tutte le realizzazioni dei vari centri e dovendo comunque combinare le diverse necessita’ che appaiono per i vari centri in riferimento alle applicazioni e a i temi di ricerca specifici, si ritiene utile effettuare una prima descrizione d’insieme dell’architettura, comune quindi a tutti i centri COMETA, per poi specializzarne gli aspetti di realizzazione e personalizzazione per ognuno dei centri da considerare. Tenendo in massimo conto gli aspetti di compattezza della soluzione da proporre, di riduzione dei costi di consumo, di minimo ingombro, di massima integrazione fra tutte le componenti (processori, dischi, componenti di rete, etc), di gestione semplificata dell’architettura distribuita, la soluzione Cluster IBM Blade H soddisfa a pieno le necessita’ che si evincono dal capitolato di gara, e le migliora ulteriormente. Oltre all’indiscussa superiorita’ tecnologica dell’architettura IBM Blade Center, sono di ulteriore rilievo la proposta IBM LS21 Blade che integra l’architettura AMD/Opteron dual-core revF nel blade stesso. IBM ha inoltre stabilito accordi tecnologici con i maggiori fornitori di interconnessione a alate prestazioni (Myricom, Topspin/CISCO, Voltaire, Brocade, Nortel, QLogic, McData, etc.) per integrare nello chassis diversi componenti di rete e SAN alfine di mantenere un elevata compattezza anche per architetture che devono assicurare connessioni di diverse tipologie (Switch Gbit, componenti SAN, Switch Infiniband o Myrinet, etc.). La costruzione dello chassis permette adeguate ridondanze di componenti oltre a consentire sostituzioni di tipo hot-plag, riducendo quindi al minimo possibili interruzioni di servizio a causa di rotture HW. L’integrazione di IBM Blade Center H in rack di tipologia standard 19” da 42U, come i rack APC offerti nella proposta a COMETA, consente di ottenere la massima densita’ computazionale per rack (fino a 4 chassis 9U per rack conteneti ognuno fino a 14 blades, per un valore complessivo di 14 (blades) x 4 (chassis) = 56 blades che per soluzioni dual-core corrispondono a 224 cores per rack). Ulteriori vantaggi sono dovuti alle caratteristiche di minor consumo delle soluzioni blade rispetto a nodi 1U. Come valutazione esemplificativa, ma applicabile al caso in questione, un Blade Chassis con 14 LS21 configurati con 1xHDD 73GB SCSI, 4GB RAM, e apparati di rete integrati, consuma circa 3KW (circa 210W per blade). Un rack completo con 4 chassis ha un consumo inferiore a 12KW. Nella soluzione proposta considerata la configurazione di memoria, disco e apparati di rete, il consumo per rack pienamente popolato (4 chassis con 14 x LS21 ognuno, pari a 56 x LS21 per rack) e’ circa 14KW. Questo valore e’ in assoluto il migliore a parita’ di tecnologia di processori, RAM e disco, rispetto a soluzioni blade di altri fornitori. E’ chiaramente superiore rispetto a soluzioni server 1U dove mediamente il consumo per ogni Server e’ circa 40% superiore all’equivalente soluzione blade mentre l’occupazione in termini di spazio e’ circa 2 volte superiore. 114 Scheda tecnica riassuntiva soluzione IBM LS21 Overview Un singolo chassis BladeCenter H supporta, in sole 9 U di un rack, sino a 14 blade LS21 e HS21 in modalità hot swappable. In aggiunta ai blade server, lo chassis può ospitare sino a 10 diversi switch/bridge. Queste caratteristiche non solo permettono di avere un risparmio notevole di spazio rispetto ai server 1U, ma integrando switch e bridge riducono la complessità nei cablaggi e permettono una gestione integrata. In un singolo rack 42U possono essere installati sino a 56 server LS21 e/o HS21 per un totale di 112 processori e 224 core. I tool di gestione integrati in BladeCenter semplificano inoltre l’amministrazione e massimizzano l’efficienza del personale IT, contribuendo a ridurre i costi e a migliorare il controllo del data centre IBM BLADECENTER LS21 Il Blade Server LS21 offre caratteristiche comparabili a molti server 1U. Infatti l’LS21 supporta sino a 2 processori di ultima generazione dual-core AMD Opteron revision F. I processori Opteron sono progettati con 2MB di cache L2 condivisa, tecnologia HyperTransport 64-bit extensions (EM64T), e sono in grado di fornire tutta la capacità di elaborazione richieste dale applicazioni attuali. LS21 supporta sino a 32GB di memoria DDR2 con 533MHz PC2-4200 Fully Buffered ECC (Error Checking and Correcting) oppure 16GB di memoria PC2-5300 (DDR2 667MHz) ECC in 8 DIMM slot, utilizzando le Memory and I/O Expansion Unit, con protezione Chipkill™per garantire prestazioni e affidabilità. I controllori dual Gigabit Ethernet integrati sono standard e forniscono high-speed data transfer e supporto TOE unito a funzionalità di load-balancing e failover. La Memory and I/O Expansion Unit fornisce due controller aggiuntivi Gigabit Ethernet (senza supporto TOE). Utilizzando delle schede di espansione aggiuntive , ogni blade può connettersi a sistemi Ethernet, Myrinet, Fibre Channel, iSCSI, InfiniBand™ mediante switch integrati nello chassis. Schede opzionali 2-port Expansion Cards permettono di aggiungere funzionalità ai server LS21 server. Tutti i modelli LS21 offrono alte funzionalità a prezzi contenuti e includono un SAS hard disk. Una Storage and I/O Expansion Unit opzionale da 30mm connessa al blade garantisce la possibilità di avere tre 2.5” SAS HDD aggiuntivi con supporto hot-swap, e supporto RAID1/RAID-5. LS21 è 115 ottimizzato per funzionare in modalità diskless, potendo ogni blade server accedere a qualsiasi tipologia di storage via Fibre Channel o iSCSI. I chassis BladeCenter sono in grado di controllare le condizioni operative delle proprie componenti e delle blade e di mandare alert all’amministratore. Sono disponibili funzionalità avanzate quali: Active Memory™, Predictive Failure Analysis™, light path diagnostics, componenti di power e raffreddamento hot-swap e ridondate e con Calibrated Vectored Cooling™ Supporto IPMI 2.0 con controllo remoto sicuro del power text-console ridiretta sulla LAN, un Management Module, IBM Director management software con IBM PowerExecutive™, Remote Deployment Manager, e IBM ServerGuide™ aiutano a mantenere elevate la system availability with. LS21 offre numerose caratteristiche per aumentare le performance e abbassare i costi operativi: Sino e due processori dual-core Opteron “revision F” Model 2000 Series con HyperTransport Technology, DirectConnect Architecture e 2MB di cache integrata Level 2 per processore. A scelta processori con 2.0, o 2.4GHz clock rates e 68W di consumo oppure 2.0 o 2.6GHz e 95W di consumo. Sino a 32GB di memoria high-speed 533MHz PC2-4200 o sino a 16GB di memoria a 667MHz PC2-5300 DDR2 ECC) con protezione Chipkill opzionale. Il blade server LS21 include una Baseboard Management Controller (BMC) per monitorare la disponibilità del server, fare Predictive Failure Analysis, e catturare gli alert del IBM Director. L’alto livello di integrazione dello chassis elimina la necessità di componenti interne ai server, potendo sostituire con le proprie componenti hot swap moduli esterni per raffreddamento, cablaggi, power e switch. L’integrazione abbassa anche la quantità di energia che viene consumata e il calore prodotto da un numero equivalente di sistemi 1U. Il midplane supporta una scheda di espansione Fibre Channel (adattatore Host Bus) opzionale a due porte (fino a 4 Gb per porta), una scheda di espansione Gigabit Ethernet opzionale a due porte, fino a quattro fabric ad alta velocità con connessione PCI-Express, incluso Infiniband 4x Anche l’alimentazione degli chassis è stata nettamente migliorata permettendo un fattore di efficienza del 90% nella conversione di corrente AC in corrente DC utilizzata all’interno dei server. Anche in questo caso il risparmio è notevole in quanto l’energia utilizzata viene sfruttata al meglio per il funzionamento delle varie componenti. I Blade Center riducono inoltre il numero di una serie di componenti necessarie ai sistemi, quali floppy e CD-ROM device, ventole e sistemi di gestione 116 Caratteristiche IBM BladeCenter LS21 Blade Server Vista frontale Vista interna BladeCenter LS21 Specifications Machine type 7971-3xX/3xY, 5xX/5xY, 6xX/6xY (2-processor-only) Form factor 30mm blade Processor type DUAL-CORE AMD OPTERON “REVISION F” PROCESSOR (2000 SERIES) 2.0GHz 2212HE (31X/31Y), 2.0GHz 2212 (3AX/3AY), 2.4GHz 2216HE (5xX/5xY), 2.6GHz 2218 (6xX/6xY) Processor power draw 68W (31X/31Y, 51X/51Y) HyperTransport Tunnel speed 1.0GHz # of processors maximum standard / 95W (3AX/3AY, 6AX/6AY) 1/2 Internal L2 cache 2MB (1MB per core) Chipset ServerWorks HT 2000/1000 Standard / maximum memory 1GB (2 x 512MB) / 32GB (31X/31Y, 3AX/3AY) Standard memory type PC2-5300 (667MHz) DDR II ECC (optional PC2-4200/533MHz) Memory interleaving Two-way (using pairs of DIMMs) DIMM capacities supported 512MB, 1GB, 2GB, 4GB 2GB (2 x 1GB) / 32GB (51X/51Y, 6AX/6AY) 117 BladeCenter LS21 Specifications Chipkill protection supported Yes # of DIMM sockets total / available 8 / 6 (31X/31Y, 3AX/3AY, 51X/51Y, 6AX/6AY) # of 2.5-inch drive bays total / available 1 / 1 fixed (standard) # of direct-attach 2.5-inch drive bays 3 hot-swap (using optional Storage and I/O Expansion Unit) Maximum capacity 146,8GB SAS standard internal 2.5" HDD Maximum HDD capacity using a storage expansion unit 293.6GB (4 x 73.4GB), using optional Storage and I/O Expansion Unit 2.5-inch HDD capacities supported 36.4, 73.4GB, 146,8GB — 10K RPMs # of HDDs standard None # of optical drives standard None (one standard in chassis) # of diskette drives standard None (one standard in BladeCenter / BladeCenter H chassis) Internal tape drives supported None (SAN-attached) Disk drive technology Serial-Attach SCSI (SAS) Integrated disk controller LSI Logic 53C1064 # of disk drives supported per channel 1 (one-drive limit internally, due to available bays) External disk drive support NAS/SAN-attach # of adapter slots total / available 1 legacy PCI-X slot or 1 PCI-E slot (Additional slots available with optional expansion units) # of 64-bit / PCI-E x8 slots 1 (in place of the PCI-X slot); 1 PCI-E slot available with the optional Storage and I/O Expansion Unit (1 maximum) # of 64-bit / PCI-X 133MHz slots 1 (in place of the PCI-E slot); 2 extra via optional PCI Expansion Unit II (3 total); 1 or 2 extra via optional Storage and I/O Expansion Unit (3 maximum) # of 32-bit / PCI slots None # of video ports None (chassis-attached) Video controller ATI RADEON RN50B Video memory 16MB SGRAM Maximum video resolution at 32-bit color 1024 x 768 x 32-bit color at 75Hz Gigabit standard 2 x Broadcom BCM5706S (with TOE support) Ethernet controllers # of RS485 ports None # of serial ports None (1 via BladeCenter H chassis) # of parallel ports None # of mouse ports None (1 via chassis) # of keyboard ports None (1 via chassis) # of USB 1.1 ports None (2 via chassis) 118 BladeCenter LS21 Specifications Systems management controller Integrated BMC Diagnostic LEDs (front panel) Power good, blade location, over temperature, information, general fault Predictive Failure Analysis support Processor, memory, HDDs Power supply size Contained in chassis # of power supplies standard / maximum Contained in chassis # of fans/blowers maximum Contained in chassis standard / Dimensions (HWD) / weight 9.7” (245MM) H 1.14” (29MM) W 17.6” (446mm) D Operating systems supported Microsoft Windows Server 2003 (Standard/Web/Enterprise Editions) 32-bit and 64-bit, Microsoft Windows 2000 Server (Standard/Enterprise Editions), RHEL 3/4 32-bit and 64-bit, SLES 9/10 32-bit and 64-bit, Novell NetWare 6.5, VMware ESX Server 2.5.4/3, Solaris 10 Length of limited warranty 3 years (parts and labor) onsite 10.77 LB (MAXIMUM) 4.88 kg (maximum) 119 Schema del nuovo Blade Center H 9U con supporto Infiniband 4X BladeCenter H Advanced Management Module BladeCenter HT (4Q) 2-socket PowerPC Refresh (dual core) 2-way low voltage Xeon speedbump 2-way Xeon speedbump 2-socket Opteron speedbump 2-socket Sossaman (very low voltage) 2-socket Xeon Refresh (dual core) 2-socket Opteron Refresh Dual 4X InfiniBand HCA Cisco 4X InfiniBand Switch Module IBM Server Connectivity Module Nortel 10Gb Uplink Switch Nortel 10Gb Ethernet (4Q) Myrinet, Teak, Invivo, Voltaire, Nokia, Nortel, Ericsson 120 121 122 Blade Center H: Vista frontale A: Il BladeCenter H dispone minimo 2 fino a un massimo di 4 (la configurazione con 4 PS corrisponde a quanto offerto) power supply che si inseriscono frontalmente. Ciascun modulo comprende anche la parte di ventole utilizzate per migliorare il raffreddamento dei power supply. B: media tray che comprende un DVD UltraSlim 9,5 mm, 2 USB esterne ed il pannello di Full Light Dignostic che è riportato in dettaglio nella terza immagine. Tale tray è hot swap e può essere condiviso dalle lame secondo le necessità. Vista posteriore A: Alloggiamenti Switch: 1Gb Ethernet, 4Gb Fibre Channel, 1X InfiniBand e Myrinet B: Alloggiamenti Switch ad alte prestazioni: Il BladeCenter H disponendo di 2 U aggiuntive rispetto al Blade Center a 7U dispone di 4 bay per ospitare 4X InfiniBand consentendo maggiori performance. C: connessione seriali e Light Path Diagnostic Panel: l’LPD posto nella parte posteriore è per facilitare la risoluzione dei problemi mentre si è dietro al rack. La nuova connessione seriale presente nel modello H permette ai clienti anche una connessione seriale diretta ad ogni blade nello chassis. Ecco l’ immagine di dettaglio: 123 D: Advanced Management Module per una gestione semplificata di tutte le componenti. E: Ventole hot swap: l’architettura N+N hot swap e ridondato riduce il numero di componenti necessarie al raffreddamento aumentando l’uptime, la manutenzione e riducendo significativamente l’assorbimento di corrente. F: una delle prese per l’alimentazione dello chassis Il BladeCenter H fornisce i sistemi di controllo e gestione atti a gestire ed interfacciare i sistemi di controllo delle singole lame blade: Advanced Management Module per la gestione hardware del sistema; IBM Director con strumenti di gestione e di installazione dei sistemi per la gestione software dei sistemi; Predictive Failure Analysis per il controllo del buono stato di funzionamento di Dischi, Processori, ventole, memoria; Light Path Diagnostics per il controllo del Blade server, del processore, della memoria, degli alimentatori, delle ventole, degli switch, del modulo di gestione (Advanced management module), i dischi e le expansion card Blade Chassis Caratteristiche Caratteristiche disponibilità Light path diagnostics Sì Memoria Chipkill Sì Midplane disponibilità alta Sì Moduli di ridondanti gestione Sì Offerta Ethernet integrato layer 2-7 Sì Switch Fibre Channel integrato Tre venditori Switch InfiniBand integrato. 4X Sì Espansione opzionale -due hard drive aggiuntivi e due slot I/O Sì Supporto Myrinet Sì clustering 124 Alcuni utili link per ulteriori informazioni sulla soluzione IBM bladecenter Descrizione sito web Prodotto BladeCenter Link http://www.ibm.com/servers/eserver/bladecenter/ Prodotto chassis BladeCenter Prodotto server blade http://www.ibm.com/servers/eserver/bladecenter/chassis/index.html http://www.ibm.com/servers/eserver/bladecenter/blade_servers_overview. html http://www.ibm.com/servers/eserver/bladecenter/switch/index.html Pagina prodotto moduli switch BladeCenter Siti internet IBM Express servere e storage IBM Research ibm.com/servers/eserver/express/offerings_xseries.html http://www.research.ibm.com/journal/rd49-6.html 125 Dimensionamento dei vari Lotti sulla base delle prestazioni di LS21 da www.spec.org Per soddisfare al meglio le specifiche del bando in termini di prestazioni complessive con un rapporto prezzo/prestazioni di massimo rilievo, si ritiene cha la soluzione AMD/Opteron 2218 revF dual-core a 2.6GHz rispecchi al meglio le specifiche sia per l’elaborazione integer che per floating-point. In particolare si riportano nella tebella di seguito i valori relativi ai vari indicatori disponibili su www.spec.org e utilizzati nel capitolato tecnico di gara con i quali definire il numero di blades necessarie per ogni centro COMETA e in grado di soddisfare le richieste di prestazioni minime. Si tenga in conto che i dati pubblicati hanno un valore di tolleranza generalmente entro il 2%. Tabelle dati di prestazione di riferimento come da www.spec.org Gennaio 2007 IBM AMD/Opteron [email protected] dual-core revF, processore 2218 Prestazioni LS21 AMD Opteron 2218 da www.spec.org SPEC bmt Base Results CINT2000 1606 1784 CINT_rate2000 72,6 81,2 CFP2000 1999 2228 CFP_rate2000 83,3 89,2 In riferimento alle specifiche di prestazione SPEC indicate in ognuno dei lotti 1-5 del capitolato tecnico di gara, e’ utile fare un conto complessivo sul numero di blades che consente di soddisfare le specifiche di target Tenendo in conto la distribuzione delle capacita’ di elaborazione indicate sui 6 lotti di gara, si effettuera’ una ripartizione in termini di numeri di blades secondo lo schema seguente: Lotto Richieste Lotto 1 17 Blades 19 Blades Lotto 2 14 Blades 16 Blades Lotto 3 4 Blades 5 Blades Lotto 4.1 13 Blades 14 Blades Lotto 4.2 5 Blades 6 Blades 22 Blades 24 Blades 75 Blades 84 Blades Lotto 5 Totale Offerta Di seguito sono confrontati i valori di capacita’ computazionale aggregata minimi richiesti, riportati nella tabella sequente: 126 Sommatoria Base Results CINT2000 488370 553560 CINT_rate2000 5430 6150 CFP2000 598230 659910 CFP_rate2000 5570 6000 SPEC bmt in COMETA Requisiti minimi rispetto ai valori computazionali aggregati nella configurazione di 84 Blades proposta Sommatoria Base Results CINT2000 539616 599424 CINT_rate2000 6098 6821 CFP2000 671664 748608 CFP_rate2000 6997 7493 SPEC bmt in COMETA 84 LS21 Blades offerte La proposta quindi prevede una capacita’ computazionale aggregata circa 10% superiore per la componnete SPECint_rate e circa 25% superiore per la componnete SPECfp_rate rispetto alle specifiche minime di gara. Il Consorzio puo’ a suo giudizio redistribuire le Blades in diverso numero sui vari siti, fatto salva la capacita’ di ospitarle negli Chassis predisposti, in quanto l’infrastruttura di rete e’ stata disegnata per poter supportare, senza pregiudicare in alcun modo le prestazioni, Chassis pienamente popolati. Si rinvia al documento allegato “Performance of the AMD Opteron LS21 for IBM Blade Center” per un’analisi dell’architettura di LS21 e alcune ulteriori considerazioni sulle prestazioni. 127 Scheda tecnica riassuntiva soluzione sottosistema storage IBM DS4200 I lotti 1-2-3-5 proposti prevedono un sistema storage IBM DS4200 di differenti capacita’ ma con identiche caratteristiche di ridondanza, gestione e affidabilita’ complessiva. Il sistema DS4200 supporta vari tipi di RAID. Ha una ridondanza intrinseca di tutti i componenti critici (Fan, Power, Controller) per assicurare la massima affidabilita’. Consente espansioni fino almeno a 56TB con dischi S-ATA. Ogni Cluster accede il ssistema DS4100 tramite un Server x3655 che gestisce il Cluster stesso, il sottosistema storage e l’ambiente GPFS Server. Con tale soluzione i nodi di calcolo sono impegnati per la parte I/O tramite il proprio Client GPFS e quindi non partecipano in alcun modo alla gestione del GPFS stesso, permettendo un uso ottimale delle risorse di calcolo stesse. 128 Dimensionamento dei sottosistemi storage sui vari Lotti Capacita’ TB complessiva distribuita su sottosistemi DS4200 per i 5 Lotti: Lotto Richiesto Offetto 1 25TB 27TB 2 10TB 12TB 3 5TB 7TB 129 4.1 n.a. n.a. 4.2 n.a. n.a. 5 20TB 22TB Tot 50TB 68TB Complessivamente si offre circa un incremento di 35% di storage aggiuntivo rispetto alle specifiche minime di gara.. Il Consorzio puo’ a suo giudizio ridistribuire i dischi in diverso numero sui vari siti, fatto salva la capacita’ di ospitarle nell’espansioni DS4200 predisposte, in quanto l’infrastruttura storage e’ stata disegnata per poter supportare, senza pregiudicare in alcun modo le prestazioni, espansioni pienamente popolate. In ognuno dei siti in cui e’ disponibile un sottosistema DS4200 sono stati previsti due I/O nodes per assicurare ridondanza, prestazioni e flessibilita’ nella gestione degli accessi al sottosistema storage. La configurazione tipo di un I/O node e’ la seguente. • • • • • • Server x3655 2U dual-core 2210 1.8GHz 4GB RAM DDR2 667MHz ECC dual GbEth integrata doppio disco 73GB SAS in RAID HW hot-swap Controller Emulex 4Gb FC dual-port Redundant power supply 130 • Infiniband Network La rete di IPC (Inter Process Communication) proposta garantisce una performace di 10Gbit/sec (4x) da ogni nodo computazionale. Per questa ragione e per garantire che la soluzione sia full non blocking e full bisection bandwidth la nostra scelta e’ caduta sull’utilizzo di switch Cisco Infinband 4x per BladeCenter H La nostra soluzione propone, come gia’ riportato, prodotti della famiglia Cisco. La scelta di Cisco e’ dovuta alla garanzia di perfomance ed affidabilita’ garantite da Cisco e da noi confermate. Cisco con IBM sta lavorando attivamente allo sviluppo sia dei nuovi prodotti per BladeCenter H che al miglioramento e sviluppo di drivers e firmware per questa tecnologia. Con l’acquisizione di Topspin, Cisco ha deciso di investire massicciamente in questo settore e lo dimostra la leadership nello sviluppo di OpenIB ed il rilascio dei drivers OFED in parallelo con quelli proprietari, oltre a lavorare attivamente nello sviluppo di nuovi cavi, componente delle soluzioni infiniband piuttosto delicata ad oggi. Cisco inoltre ha partecipato alla realizzazione di 13 dei 20 cluster piu’ grandi basati su Infiniband e maggiori info sulle referenze possono essere trovate all’URL http://newsroom.cisco.com/dlls/2006/prod_111406f.html, di cui citiamo • CINECA • TriGrid • Cybersar • Sandia National Laboratories • the Air Force Research Laboratory Maui High Performance Computing Center, • Texas Advanced Computing Center at The University of Texas at Austin, • the College of Computing at Georgia Tech, • the University of Sherbrooke, • the University of North Carolina at Chapel Hill, • National Center for Supercomputing Applications, • the University of Oklahoma • University of Florida • Stanford University In particolare Sandia National Laboratories Thunderbird Linux cluster e' classificato al 6 posto della Top 500 supercomputing list ed e' il piu grande cluster ad oggi realizzato con standard Infiniband. Ad oggi i fornitori di Infiniband si relazionano con un unico fornitore di silicio, i chip utilizzati da Cisco, Voltaire e Silverstorm dipendono dal silicio realizzato da Mellanox da cui i produttori sopra menzionati acquistano le HCA. La differenza nelle varie soluzioni IB sul mercato e’ percio’fatta dai drivers e dal tipo di Systema di management utilizzato. Cisco ha realizzato un software, chiamato Subnet Manager, molto efficace che riesce a gestire e monitorare tutta la rete Inifniband dei cluster permettendo un attento controllo ed il routing dei packages su un differente path, in caso di failure, in tempi ridotti, si pensi come esempio che in un cluster di circa 1280 compute nodes, composto da IBM BladeCenter H Cisco Infiniband 4x switches e SFS-7024 come second level switches, il subnet manager (SM) e’ in grado di ricalcolare on-the-fly il reroute dei pacchetti in un tempo di circa 2 secondi in caso di failure di un path (per esempio cavo rotto). 131 Le specifiche di Infiniband, presenti sul sito ufficiale IBTA (http://www.infinibandta.org/home) consentono un BER di 10-12 , Cisco supporta e qualifica il proprio HW con specs piu’ restrittive (10-15 BER), tradotto in termini pratici: un BER di 10-12 corrisponde ad un rischio di circa 1728 errori all’ora che si riduce a due errori quando si utilizzano prodotti Cisco come quelli da noi proposti nella nostra offerta. Nel caso di switch come il SFS-7024 completo di 288 porte DDR gli errori possibili possono essere circa 41 per ora a differenza di prodotti che si attengono strettamente alle specifiche IBTA che consentono circa 41472 errori all’ora, come evidenziato nella tabella seguente Come riportato in precedenza uno dei componenti fondamentali delle soluzioni infiniband e’ il Subnet Manager, Cisco ed IBM garanstiscono per questa soluzione un network fully managed in tutte le sue componenti, grazie al Subnet Manager software fornito a corredo della soluzione. Le caratteristiche principali del Subnet Manager di Cisco sono le seguenti: • • • • • • • • Unico nel mercato con support hot-standby Capacita’ di “sweep” di 4600 nodi in 30 secondi Supporto HA: se il master Subnet Manager dovesse avere un problema, si inneschera’ un meccanismo di failover del Subnet Manager per garantire la continuita’ del servizio. Configurazione via CLI Ricalcolo e load balancing dei package routes quando un cambio avviene un cambio nella topologia del network Supporto di MultiPathRecord che nel caso di utilizzo di entrambe le connessioni presenti su ciascuna HCA, consente di non avere un SPOF. Supporto di SNMP trap per permettere il management degli switch con i tools standard forniti dall’industria per la gestione degli altri prodotti Cisco. Cisco SFS integra CiscoWorks con il supporto di RME, DFM, NCM, TACACS. Evidenziamo che la tecnologia DDR e’ ad oggi ancora giovane e non consolidata come la SDR; ad oggi esistono alcuni problemi di stabilita’ di performance dovuti a due “critical bug” trovati nel firmware di Mellanox che Cisco ha risolto decretando la stabilita’ e superiorita’ del prodotto Cisco verso la concorrenza. Come gia’ accennato in precedenza, Cisco sta investendo risorse nello sviluppo di Infiniband, a seguito dell’acquisizione di Topspin. Come prova di questa affermazione ricordiamo che Cisco e’ uno 132 dei maggiori contributori ad OFED ed OpenMPI che includono: • • • • • • • OFED’s core architecture (Roland Drier-CISCO) IPoIB (Roland Drier-CISCO) SRP (Roland Drier-CISCO) Final upstream kernel integration to Linux (Roland Drier-CISCO) OMPI (Jeff Squyres-CISCO) Overall OMPI direction and feature setting for OFED (Jeff Squyres-CISCO). QA on OFED (Scott Weitzenkamp-CISCO). Per la soluzione proposta consigliamo di utilizzare lo stack software (librerie MPI, drivers) proprietario fornito da Cisco che assicura, ad oggi, una maggiore stabilita’ e sicurezza rispetto alla versione OFED ancora in sviluppo. Evidenziamo che la soluzione da noi proposta è totalmente Fully Managed in tutte le componenti Infiniband. Device driver IPC e librerie MPI Le HCA installate sui nodi computazionali fanno parte della famiglia di prodotti Infiniband offerti da Cisco e supportano Message Passing Interface (MPI), IP over Infiniband (IPoIB) and Sockets Direct Protocol (SDP) che utilizzano il protocollo Infiniband Remote Direct Memory Access (RDMA) a supporto delle prestazioni richieste dalle applicazioni del mondo High Performance Computing (HPC). Ad oggi sono disponibiloi sia lo stack di drivers che la versione commerciale di OpenIB Gen2 oppure la versione offerta dalla comunita’ OpenSource. Nella nostra offerta noi forniremo la versione commerciale dello stack software ed il relativo supporto. Scheda tecnica riassuntiva soluzione interconnessione Infiniband Topspin/CISCO Tutti i Lotti integrano un’interconnessione a alta efficienza Infiniband 4X Topspin/CISCO. IBM ha un accordo di collaborazione tecnologica con Myricom e il consorzio InfiniBand. Per quest’ultimo partecipa alla definizione dello standard e alla sua evoluzione (si veda www.infiniband.org) e ha inoltre stabilito con alcuni dei principali produttori di architetture di rete (Topspin/CISCO, Voltaire) una collaborazione tecnologica di lungo termine. Tenuto quindi in conto lo specifico ambito applicativo di interesse per COMETA si e’ ritenuto particolarmente interessante proporre una rete di interconnessione Infiniband-4X (di seguito IB) che consenta la completa interoperabilita’ con le architetture Infiniband 1X gia’ presenti nella realizzazione TriGrid. Come e’ noto IB e’ uno standard che si e’ imposto da qualche hanno e sul quale sono convenuti i maggiori costruttori di soluzioni di rete, di sistemi storage e di architetture cluster. IBM integra e supporta IB in tutta la gamma dei Server, supporta lo sviluppo dei driver, del SW di gestione e dell’ambienti di programmazione parallela MPI. Ha inoltre completato, o sta completando, la migrazione di alcuni ambienti SW di gestione dei dati e di accesso efficiente ai propri sistemi storage sfruttando i protocolli di comunicazione nativa. L’utilizzo dei protocolli nativi consente di ottenere le maggiori prestazioni in termini di latenza e bandwidth, vicini a quelli limite dell’architettura stessa. Di seguito si riportano alcune chart da Topspin dove si evidenziano le peculiarita’ di IB rispetto a altre connessioni ad elevate prestazioni. 133 Topspin Compelling HPTC Performance 900 4500 MPI over InfiniBand MPI over Myrinet MPI over Quadrics 700 600 3500 3500 Latency (us) Bandwidth (MBps/s) 800 500 400 300 200 MPI over InfiniBand MPI over Myrinet MPI over Quadrics 2500 2000 1500 1000 100 0 3000 500 4 16 64 256 1024 4096 16384 65536 0 262144 4096 Message Size (Bytes) Throughput Latency (small msg) CPU Utilization InfiniBand 850 MBps 8192 16384 32768 65536 1301072 262144524288 Message Size (Bytes) Quadrics Myrinet GigE 300 MBps 220 MBps 120 MBps 70 us 6.5 us 5 us 8 us 1-3% Not available Not available 50% Source: Ohio State and Topspin 6 La disponibilita’ di specifici driver con l’interconnessione IB Topspin consente di sfruttare al meglio l’interconnessione tramite protocollo di programmazione MPI supportato in MPICH e MPICH2. Questi due ambienti saranno installati nei due clusters e verrano effettusate dei test di verifica di prestazione e di funzionalita’ in collaborazione con il personale dei due centri stessi. Standard Topspin MPI Uses Zero-Copy RDMA Support to minimize CPU utilization MPI v 1.2: Standardized June 1995 Application MPICH From Argonne (v. 1.2.5.2) MVICH From LBL (v 1.0) MVAPICH From OSU (v 0.9.2) Improvements for IB: Improved shared memory and lazy memory registration optimization Verbs API Adding the MPE performance analysis tool to our MPI distribution. IB Transport Improving the program which invokes MPI jobs (mpirun_rsh). IB Network IB Link IB Physical Using InfiniBand's hardware multicast to improve the performance of MPI group communication. Implementing a new flow control scheme Support for MPI-2. MPI Layers in Software IB layers in Software IB Layers in Hardware 19 134 IBM Systems Group InfiniBand Advantage RDMA Kernel Bypass Model Traditional Model Application User Application User Sockets Layer Kernel Sockets Kernel Layer User Space Access (e.g. MPI, uDAPL) SDP TCP/IP Transport TCP/IP Transport IB Driver (Verbs i/f) IPoIB Driver RDMA i/f Hardware Hardware Page 22 © 2005 IBM Corporation IBM Systems Group InfiniBand Performance Enhancements Application Transparent BSD Sockets Custom / Enhanced Performance Async I/O uDAPL MPI extension Direct Access TCP IP SDP IPoIB 10G IB 1GE Throughput 0.8Gb/s 1.4Gb/s 3.6 Gb/s 6.2Gb/s 6.4Gb/s 6.4Gb/s Latency 60+ usec 30 usec 18 usec 18 usec <8 usec <6 usec Page 23 © 2005 IBM Corporation E’ altresi’ evidente che Blade Center H (BC-H) e Blade LS21 consentono di sfruttare a pieno le caratteristiche dell’interconnesione 4X e quindi ottenere valori di latenza e di throughput significativamente migliori. Da notare inoltre che LS21 e BC-H supportano una rete Gbit ridondata che consente il cluster management e la comunicazione via LAN di tutte le Blades. Di seguito quindi un riassunto sintetico delle specifiche di interconnessione Gbit e Infiniband 4X specificatamente disegnate per questa realizzazione. 135 - 2 interfacce di rete distinte (non una singola dual port) Broadcom BCM 5708S ethernet 1 Gbit/sec - 1 interfaccia di rete Cisco Systems 4X InfiniBand HCA Expansion Card for IBM BladeCenter (questa scheda supporta 20Gbps bidirectional) Chassis IBM BladeCenter H da 9 U con questi componenti di rete: - due switch Nortel layer 2/3GbE Rame a 6 porte ciascuno due switch Cisco Systems 4X InfiniBand per chassis che garantisce una configurazione full non-blocking (20Gbit da ciascuna blade). InfiniBand 4X (10Gbps unidirectional, 20Gbps bidirectional) consente accessi a bassa latenza (ordine dei 3 microsec.), elevata bandwidth (circa 1GByte/sec come valore di picco) e alta prestazione ad ogni nodo blade indistintamente dalla posizione fisica dove risulta collocato. Il disegno di questo tipo di collegamento garantisce la scalabilità necessaria ad alti numeri di nodi concorrenti ad un cluster HPC. Le topologie dell’HPC network basato su infiniband puo’ variare in base alle performance necessarie ed al budget disponibile per tale componente del cluster linux. Una configurazione full non blocking come quella proposta in questo documento consente la massima disponibilta’ della bandwidth di Infiniband 4x, le HCA utilizzate hanno due porte 4x che sfruttano la banda fornita dal bus PCI-E 8x caratteristiche delle blades LS21.. Le applicazioni ed i server che fruiranno dell’infrastruttura di calcolo hanno le garanzie di adeguata sicurezza e privatezza Il sistema di interconnessione proposto consente l’ integrazione fra tecnologie di connettività eterogenee per ottenere in sistema di rete unificato. Il cablaggio per InfiniBand 4X consente anche il supporto per nuovi protocolli quali il 10Gb Ethernet piuttosto che l’8/10 Gb Fibra. Non viene fatto uso di protocolli proprietari ma vige il rispetto degli standard internazionali, sia per i protocolli di rete impiegati, che per le infrastrutture passive. Per quanto riguarda il collegamento Gbit – Rame del sistema di interconnessione High Performance Infiniband 4x supporta banda fino a 10Gbit unidirectional e 20Gbit bidirectional. Scheda tecnica riassuntiva sull’integrazione dell’ambiente middleware INFN Grid, integrazione datagrid con IBM GPFS, e gestione centralizzata remotizzata di tutta l’infrastruttura. L’architettura dei Cluster consente un controllo remoto tramite KVM, funzione integrata in ogni Blade Center. Ne segue che remotamente tramite connessione LAN si possono gestire tutti i Blade Center presenti nell’architettura per COMETA. Il middleware di gestione puo’ essere quello rilasciato da IBM e denominato CSM oppure un qualsiasi altro middleware che consente funzionalita’ similari. L’architettura supporta la distribuzione Scientific Linux del CERN oltre agli ulteriori ambienti previsti nel progetto INFN Grid. Ricordiamo inoltre che IBM ha una collaborazione attiva con Nice Srl per il supporto di ambienti Grid computing distribuiti. Un ulteriore integrazione dell’architettura e’ ottenibile tramite l’accesso distribuito di un unico filesystem distribuito a sua volta sui vari centri ma visto come unitario per tutti. 136 Vi sono differenti soluzioni per ambienti datagrid. Il piu’ tradizionale e’ AFS, che consente una elevata interoiperabilita’ tra tutte le piattaforme distribuite e una caratteristica versatilita’, ma che non consente prestazioni adeguate per accessi simultanei come possono avvenire per sistemi di calcolo paralleli. IBM di recente ha promosso GPFS come ambiente datagrid di elevate prestazioni e che potesse connettere piu’ sistemi geograficamente distribuiti. La figura sottostante riassume l’architetttura GPFS di uno o piu’ Cluster interoperanti e connessi tramite LAN (la parte in blu). Lo schema puo’ essereapplicato a un solo Cluster cosi’ come a piu’ Clusters connesssi fra loro tramite LAN geografica. GPFS 2.3 e release successive consente di gestire in modo unico e centralizzato il filesystem distribuito necessitando una unica politica relativamente a uid. In particolare IBM con INFN sta definendo un contratto di supporto a livello nazionale di tale ambiente per poter garantire la sua funzionalita’ e la correzione di errori nonche’ il supporto del Lab IBM per specifiche richieste. B'Center ... ... FAStT600 Controllers and disks Cluster Interconnect B'Center BladeCenter Compute Nodes B'Center x345 Storage Nodes B'Center NSD Connected Storage Solution 137 L’architettura GPFS gestisce il filesystem parallelo e distribuito tramite alcuni Server (server GPFS), ai quali sono connessi direttamente tramite SAN i sistemi storage, che a loro volta sono connessi con rete a alte prestazioni o Gbit i nodi di calcolo (client GPFS). In questo modo ogni nodo di calcolo accede un filesystem unico e distribuito su tutti i siti in modo trasparente. Sara’ cura del GPFS stesso gestire la distribuzione dei dati tra i vari Server, mantenerne la congruenza e la corretta ridondanza alfine di garantirne l’acceso anche in caso di caduta di uno dei Server GPFS. Questo tipo di funzionalita’ e’ essenziale alfine di non penalizzare gli altri siti nel caso in cui venisse meno l’accesso di uno dei Cluster disponibili nell’architettura COMETA. Di seguito si riportano alcuni riferimenti su GPFS accedibili via web. 1. GPFS for Linux FAQ: http://www.ibm.com/servers/eserver/clusters/software/gpfs_faq.html 2. GPFS for Linux documentation: http://www.ibm.com/servers/eserver/clusters/software/gpfs.html 3. GPFS Redbooks: http:// www.redbooks.ibm.com/ 4. GPFS Papers: http://www.almaden.ibm.com/StorageSystems/file_systems/GPFS/Fast02.pdf 5. GPFS Research: http://www.almaden.ibm.com/StorageSystems/file_systems/GPFS/ 6. GPFS for AIX Architecture and Performance: http://www.ibm.com/servers/eserver/clusters/whitepapers/gpfs_aix.html 7. GPFS on Linux Clusters: http://www.ibm.com/servers/eserver/clusters/software/gpfs.html Nel progetto COMETA verra’ realizzata un’infrastruttura integrata che assicuri la funzionalita’ del middleware INFN Grid e la sua preinstallazione. Sara’ anche reso disponibile e installato l’ambiente GPFS per la funzionalita’ datagrid distribuita nonche’ gli altri ambienti di programmazione parallela espressamente indicati nei lotti. IBM sta inoltre sviluppando GPFS nativo su Infiniband che, quando disponibile, potra’ ulteriormente migliorare le condizioni di prestazione e scalabilita’ dell’architettura I/O. Da notare che l’architettura di I/O potra’ usufruire di due storage node che permetteranno la ridondanza e la migliore distribuzione del carico durante l’accesso al sistema storage. 138 Cluster di Calcolo offerti nei 6 siti COMETA Lotto 1 Sistema di Calcolo INFNCT Art 1.1 Sistema di calcolo Cluster composto da 19 Blades LS21 Opteron dual-core 2218 2.6GHz in due Blade Center H la cui configurazione e’ di seguito riportata con aggiunta del diagramma visivo I cui valori in termini di SPEC aggregati rispecchiano quelli indicati nella tabella del capitolato tecnico in un range del 2% di tolleranza. IBM eServer Processor Hardware - BladeCenter Q.ty 88524XG IBM BladeCenter™ H Chassis with 2x2900W Power Supplies 2 32R1860 Nortel Layer 2/3 Copper GbE Switch Module for BladeCenter 4 32R1756 Cisco Systems 4X InfiniBand Switch Module for IBM BladeCenter 4 31R3335 IBM BladeCenter™ H 2900W AC Power Module Pair with Fan Packs 2 25R5785 IBM BladeCenter™ H Triple IEC 320 C20 (200-240V) 2.8M 4 Processor Hardware - BladeCenter LS21 79716AG LS21, AMD Opteron Dual Core 2218 2.6GHz/1GHz, 1 MB L2, 2x1 GB, O/Bay SAS 19 25R8897 AMD Opteron Dual Core Processor Model 2218 2.6GHz, 1MB L2 Cache, 95w 19 39M5864 2GB (2x1GB Kit) PC2-5300 DDR2 SDRAM VLP RDIMM 57 26K5777 73.4 GB SAS HDD (2.5") SFF 19 32R1760 Cisco Systems 4X InfiniBand HCA Expansion Card for IBM BladeCenter 19 Processor Hardware - x3655 Storage Nodes 2 79851AG x3655, AMD Opteron Dual Core 2210 1.8GHz/1067MHz, 2MB L2, 2x512MB, O/Bay 3.5in HS SATA/SAS, SR-8ki, CD-RW/DVD, 835W p/s, Rack 25R8938 Opteron Dual Core 2210 1.8GHz/1MBx2 2 41Y2759 1 GB (2x512MB Kit) PC5300 667 MHz ECC DDR SDRAM RDIMM 6 40K1039 73GB Hot-Swap 3.5" 10K RPM Ultra320 SAS HDD 4 42C2071 Emulex 4 Gb FC HBA PCI-E Controller Dual Port 2 40K1906 835 Watt Hot-swap Power Supply Option (Non-US) 2 Cabinet Hardware - xSeries Main Cabinet 23K4803 e1350 1U 17in Flat Panel Console Kit (without keyboard) 1 73P3144 Travel Keyboard (US English) 1 17351GX e1350 IBM Local 2x8 Console Manager 1 39M2896 e1350 IBM Short KCO Conversion Option 1 26R0847 InfiniBand 8 meter 4x Cable for IBM eServer BladeCenter 2 3 Meter InfiniBand Cable (12x to 12x) 4 Storage 139 18147VH DS4200 Express Model 7V (2 GB Cache, 1 GB per controller) 1 42D0389 DS4200 SATA 500 GB/7.2K EV-DDM 16 18128VH IBM System Storage DS4000 EXP420 Storage Expansion Unit 3 42D0389 DS4200 SATA 500 GB/7.2K EV-DDM 34 39M5696 1m Fiber Optic Cable LC-LC 16 39M5697 5m Fiber Optic Cable LC-LC 2 26K7941 SW 4 Gbps SFP transceiver pair 9 42D0389 DS4200 SATA 500 GB/7.2K EV-DDM 4 Diagramma 140 141 La soluzione proposta soddisfa in toto le specifiche Lotto 1 riportate nel capitolato e el migliora per i seguenti punti qualificanti: • • • • • • • • • • • • • • Blades LS21 Blade biprocessori dual-core Opteron 2218 revF Memoria (RAM) 2GB per core in tecnologia DDR2 667MHz Disco: 73.4GB SAS throughput largamente superiore a 80MBs 2 Link Gbit ethernet per blade autosensing montaggio in rack con densita’ 14 blade in 9U Scientific Linux CERN 3.05 installato e supporto bootstrap via rete PXE con Linux Unita’ DVD-ROM e Floppy integrati in ogni Blade Center, quindi ogni 14 Blades KVM per ogni Blade Center con remotizzazione e interfaccia WEB Cavi di connessione alimentazione, rete e altro, previsti nella fornitura Apparati di rete Gbit ridondati e integrati nel Blade Center H Switch Infiniband 4X integrato nel Blade Center H Alimentazione ridondata e Power hot-swap Ambiente di sviluppo Portland Group CDK ottimizzato per LS21 e comprensivo di compilatori per HPC con 3 licenze. Pre-installazione di eventuali ulteriori 3 licenze di compilatori F77/F90/F95/C/C++ Portland Group ottimizzati per LS21 Art 1.2.1 Rete di servizio • Connessione dei nodi LS21 tramite rete Gbit ridondata interna ai Blade Center H Art 1.2.2 rete di calcolo • Rete di interconnessione Infiniband 4X con switch integrati in Balde center H a bassa latenza full no-blocking con banda passante 10Gbit/sec unidirezionale – 20Gbit/sec bidirezionale e latenza inferiore a 4microsecondi. Lo switch opera in modalità wirespeed e puo’ essere gestito via CLI e SNMP. • I Blade center H sono predisposti per connettivita’ verso reti IP e Fiber Channel in modo da connettersi verso FC SAN, NAS appliance, IP SANs e reti TCP/IP Art 1.3 rete di calcolo • Blade center H prevede un sistema tipo KVM integrato Art 1.4 Sistema di storage L’architettura storage rispetta in pieno quanto descritto nel capitolato di gara e lo migliora ulteriormente • Doppio I/O node per consentire ridondanza e prestazioni in ambiente GPFS L’installazione di tutti i componenti, la loro funzionalita’ e l’ottimizzazione, saranno effettuati a cura di personale specialistico IBM e Mauden. Specialisti IBM e Mauden cureranno la configurazione ottimale della soluzione proposta La configurazione dell’architettura proposta assicura un elevato livello di ridondanza in tutti i componenti per cui errori HW di tipo bloccante sono considerati con un’incidenza statisticamente trascurabile. In particolare si fa notare che: • • • Alimentazione ridondata per tutti i componenti Doppio I/O node Alimentazione ridondata hot-swap in Blade Center H 142 • • • Backplane ridondata in Blade Center H, quindi anche in caso di rottura di backplane il sistema mantiene la funzionalita’ anche se a prestazioni inferiori Doppia rete Gbit Sistema di management HW integrato nei sistemi Blade Center e nel sottosistems storage. Ambiente integrato con INFN-Grid sviluppato in collaborazione con Nice Srl 143 Lotto 2 Sistema di calcolo INAF-OACT Art 2.1 Sistema di calcolo Cluster composto da 16 Blades LS21 Opteron dual-core 2218 2.6GHz in due Blade Center H la cui configurazione e’ di seguito riportata con aggiunta del diagramma visivo I cui valori in termini di SPEC aggregati rispecchiano quelli indicati nella tabella del capitolato tecnico in un range del 2% di tolleranza. IBM eServer Processor Hardware - BladeCenter Q.ty 88524XG IBM BladeCenter™ H Chassis with 2x2900W Power Supplies 2 32R1860 Nortel Layer 2/3 Copper GbE Switch Module for BladeCenter 4 32R1756 Cisco Systems 4X InfiniBand Switch Module for IBM BladeCenter 4 31R3335 IBM BladeCenter™ H 2900W AC Power Module Pair with Fan Packs 2 25R5785 IBM BladeCenter™ H Triple IEC 320 C20 (200-240V) 2.8M 4 Processor Hardware - BladeCenter LS21 79716AG LS21, AMD Opteron Dual Core 2218 2.6GHz/1GHz, 1 MB L2, 2x1 GB, O/Bay SAS 16 25R8897 AMD Opteron Dual Core Processor Model 2218 2.6GHz, 1MB L2 Cache, 95w 16 39M5864 2GB (2x1GB Kit) PC2-5300 DDR2 SDRAM VLP RDIMM 48 26K5777 73.4 GB SAS HDD (2.5") SFF 16 32R1760 Cisco Systems 4X InfiniBand HCA Expansion Card for IBM BladeCenter 16 2 79851AG x3655, AMD Opteron Dual Core 2210 1.8GHz/1067MHz, 2MB L2, 2x512MB, O/Bay 3.5in HS SATA/SAS, SR-8ki, CD-RW/DVD, 835W p/s, Rack 25R8938 Opteron Dual Core 2210 1.8GHz/1MBx2 2 41Y2759 1 GB (2x512MB Kit) PC5300 667 MHz ECC DDR SDRAM RDIMM 6 40K1039 73GB Hot-Swap 3.5" 10K RPM Ultra320 SAS HDD 42C2071 Emulex 4 Gb FC HBA PCI-E Controller Dual Port 2 40K1906 835 Watt Hot-swap Power Supply Option (Non-US) 2 23K4803 e1350 1U 17in Flat Panel Console Kit (without keyboard) 1 73P3144 Travel Keyboard (US English) 1 17351GX e1350 IBM Local 2x8 Console Manager 1 39M2896 e1350 IBM Short KCO Conversion Option 1 26R0847 InfiniBand 8 meter 4x Cable for IBM eServer BladeCenter 2 3 Meter InfiniBand Cable (12x to 12x) 4 Processor Hardware - x3655 Storage Nodes 4 Cabinet Hardware - xSeries Main Cabinet Storage 18147VH DS4200 Express Model 7V (2 GB Cache, 1 GB per controller) 1 42D0389 DS4200 SATA 500 GB/7.2K EV-DDM 16 18128VH IBM System Storage DS4000 EXP420 Storage Expansion Unit 1 42D0389 DS4200 SATA 500 GB/7.2K EV-DDM 4 144 39M5696 1m Fiber Optic Cable LC-LC 8 26K7941 SW 4 Gbps SFP transceiver pair 5 42D0389 DS4200 SATA 500 GB/7.2K EV-DDM 4 145 Diagramma La soluzione proposta soddisfa in toto le specifiche Lotto 2 riportate nel capitolato e el migliora per i seguenti punti qualificanti: 146 • • • • • • • • • • • • • • Blades LS21 Blade biprocessori dual-core Opteron 2218 revF Memoria (RAM) 2GB per core in tecnologia DDR2 667MHz Disco: 73.4GB SAS throughput largamente superiore a 80MBs 2 Link Gbit ethernet per blade autosensing montaggio in rack con densita’ 14 blade in 9U Scientific Linux CERN 3.05 installato e supporto bootstrap via rete PXE con Linux Unita’ DVD-ROM e Floppy integrati in ogni Blade Center, quindi ogni 14 Blades KVM per ogni Blade Center con remotizzazione e interfaccia WEB Cavi di connessione alimentazione, rete e altro, previsti nella fornitura Apparati di rete Gbit ridondati e integrati nel Blade Center H Switch Infiniband 4X integrato nel Blade Center H Alimentazione ridondata e Power hot-swap Ambiente di sviluppo Portland Group CDK ottimizzato per LS21 e comprensivo di compilatori per HPC con 3 licenze. Pre-installazione di eventuali ulteriori 3 licenze di compilatori F77/F90/F95/C/C++ Portland Group ottimizzati per LS21 Art 1.2.1 Rete di servizio • Connessione dei nodi LS21 tramite rete Gbit ridondata interna ai Blade Center H Art 1.2.2 rete di calcolo • Rete di interconnessione Infiniband 4X con switch integrati in Balde center H a bassa latenza full no-blocking con banda passante 10Gbit/sec unidirezionale – 20Gbit/sec bidirezionale e latenza inferiore a 4microsecondi. Lo switch opera in modalità wirespeed e puo’ essere gestito via CLI e SNMP. • I Blade center H sono predisposti per connettivita’ verso reti IP e Fiber Channel in modo da connettersi verso FC SAN, NAS appliance, IP SANs e reti TCP/IP Art 1.3 rete di calcolo • Blade center H prevede un sistema tipo KVM integrato Art 1.4 Sistema di storage L’architettura storage rispetta in pieno quanto descritto nel capitolato di gara e lo migliora ulteriormente • Doppio I/O node per consentire ridondanza e prestazioni in ambiente GPFS L’installazione di tutti i componenti, la loro funzionalita’ e l’ottimizzazione, saranno effettuati a cura di personale specialistico IBM e Mauden. Specialisti IBM e Mauden cureranno la configurazione ottimale della soluzione proposta La configurazione dell’architettura proposta assicura un elevato livello di ridondanza in tutti i componenti per cui errori HW di tipo bloccante sono considerati con un’incidenza statisticamente trascurabile. In particolare si fa notare che: • • • • Alimentazione ridondata per tutti i componenti Doppio I/O node Alimentazione ridondata hot-swap in Blade Center H Backplane ridondata in Blade Center H, quindi anche in caso di rottura di backplane il sistema mantiene la funzionalita’ anche se a prestazioni inferiori 147 • • Doppia rete Gbit Sistema di management HW integrato nei sistemi Blade Center e nel sottosistems storage. Ambiente integrato con INFN-Grid sviluppato in collaborazione con Nice Srl 148 Lotto 3 Sistema di calcolo UNIME/INGV Cluster composto da 5 Blades LS21 Opteron dual-core 2218 2.6GHz in un Blade Center H la cui configurazione e’ di seguito riportata con aggiunta del diagramma visivo I cui valori in termini di SPEC aggregati rispecchiano quelli indicati nella tabella del capitolato tecnico in un range del 2% di tolleranza. IBM eServer Processor Hardware - BladeCenter Q.ty 88524XG IBM BladeCenter™ H Chassis with 2x2900W Power Supplies 1 32R1860 Nortel Layer 2/3 Copper GbE Switch Module for BladeCenter 2 32R1756 Cisco Systems 4X InfiniBand Switch Module for IBM BladeCenter 2 31R3335 IBM BladeCenter™ H 2900W AC Power Module Pair with Fan Packs 1 25R5785 IBM BladeCenter™ H Triple IEC 320 C20 (200-240V) 2.8M 2 Processor Hardware - BladeCenter LS21 79716AG LS21, AMD Opteron Dual Core 2218 2.6GHz/1GHz, 1 MB L2, 2x1 GB, O/Bay SAS 5 25R8897 AMD Opteron Dual Core Processor Model 2218 2.6GHz, 1MB L2 Cache, 95w 5 39M5864 2GB (2x1GB Kit) PC2-5300 DDR2 SDRAM VLP RDIMM 15 26K5777 73.4 GB SAS HDD (2.5") SFF 5 Cisco Systems 4X InfiniBand HCA Expansion Card for IBM BladeCenter 5 32R1760 Processor Hardware - x3655 Storage Nodes 79851AG x3655, AMD Opteron Dual Core 2210 1.8GHz/1067MHz, 2MB L2, 2x512MB, O/Bay 3.5in HS SATA/SAS, SR-8ki, CD-RW/DVD, 835W p/s, Rack 25R8938 Opteron Dual Core 2210 1.8GHz/1MBx2 41Y2759 1 GB (2x512MB Kit) PC5300 667 MHz ECC DDR SDRAM RDIMM 2 2 6 40K1039 73GB Hot-Swap 3.5" 10K RPM Ultra320 SAS HDD 4 42C2071 Emulex 4 Gb FC HBA PCI-E Controller Dual Port 2 40K1906 835 Watt Hot-swap Power Supply Option (Non-US) 2 Cabinet Hardware - xSeries Main Cabinet 23K4803 e1350 1U 17in Flat Panel Console Kit (without keyboard) 1 73P3144 Travel Keyboard (US English) 1 17351GX e1350 IBM Local 2x8 Console Manager 1 39M2896 e1350 IBM Short KCO Conversion Option 1 Storage 18147VH DS4200 Express Model 7V (2 GB Cache, 1 GB per controller) 1 42D0389 DS4200 SATA 500 GB/7.2K EV-DDM 10 39M5696 1m Fiber Optic Cable LC-LC 6 26K7941 SW 4 Gbps SFP transceiver pair 2 42D0389 DS4200 SATA 500 GB/7.2K EV-DDM 4 149 Diagramma La soluzione proposta soddisfa in toto le specifiche Lotto 3 riportate nel capitolato e el migliora per i seguenti punti qualificanti: 150 • • Blades LS21 Blade biprocessori dual-core Opteron 2218 revF Memoria (RAM) 2GB per core in tecnologia DDR2 667MHz • • • • • • • • • • • Disco: 73.4GB SAS throughput largamente superiore a 80MBs 2 Link Gbit ethernet per blade autosensing montaggio in rack con densita’ 14 blade in 9U Scientific Linux CERN 3.05 installato e supporto bootstrap via rete PXE con Linux Unita’ DVD-ROM e Floppy integrati in ogni Blade Center, quindi ogni 14 Blades KVM per ogni Blade Center con remotizzazione e interfaccia WEB Cavi di connessione alimentazione, rete e altro, previsti nella fornitura Apparati di rete Gbit ridondati e integrati nel Blade Center H Switch Infiniband 4X integrato nel Blade Center H Alimentazione ridondata e Power hot-swap Ambiente di sviluppo Portland Group CDK ottimizzato per LS21 e comprensivo di compilatori per HPC con 3 licenze. Pre-installazione di eventuali ulteriori 3 licenze di compilatori F77/F90/F95/C/C++ Portland Group ottimizzati per LS21 • Art 1.2.1 Rete di servizio • Connessione dei nodi LS21 tramite rete Gbit ridondata interna ai Blade Center H Art 1.2.2 rete di calcolo • Rete di interconnessione Infiniband 4X con switch integrati in Balde center H a bassa latenza full no-blocking con banda passante 10Gbit/sec unidirezionale – 20Gbit/sec bidirezionale e latenza inferiore a 4microsecondi. Lo switch opera in modalità wirespeed e puo’ essere gestito via CLI e SNMP. • I Blade center H sono predisposti per connettivita’ verso reti IP e Fiber Channel in modo da connettersi verso FC SAN, NAS appliance, IP SANs e reti TCP/IP Art 1.3 rete di calcolo • Blade center H prevede un sistema tipo KVM integrato Art 1.4 Sistema di storage • L’architettura storage rispetta in pieno quanto descritto nel capitolato di gara e lo migliora ulteriormente • Doppio I/O node per consentire ridondanza e prestazioni in ambiente GPFS L’installazione di tutti i componenti, la loro funzionalita’ e l’ottimizzazione, saranno effettuati a cura di personale specialistico IBM e Mauden. Specialisti IBM e Mauden cureranno la configurazione ottimale della soluzione proposta La configurazione dell’architettura proposta assicura un elevato livello di ridondanza in tutti i componenti per cui errori HW di tipo bloccante sono considerati con un’incidenza statisticamente trascurabile. In particolare si fa notare che: • • • • • Alimentazione ridondata per tutti i componenti Doppio I/O node Alimentazione ridondata hot-swap in Blade Center H Backplane ridondata in Blade Center H, quindi anche in caso di rottura di backplane il sistema mantiene la funzionalita’ anche se a prestazioni inferiori Doppia rete Gbit 151 • Sistema di management HW integrato nei sistemi Blade Center e nel sottosistems storage. Ambiente integrato con INFN-Grid sviluppato in collaborazione con Nice Srl 152 Lotto 4.1 Sistema di calcolo UNICT-DIIT Cluster composto da 14 Blades LS21 Opteron dual-core 2218 2.6GHz in un Blade Center H la cui configurazione e’ di seguito riportata con aggiunta del diagramma visivo I cui valori in termini di SPEC aggregati rispecchiano quelli indicati nella tabella del capitolato tecnico in un range del 2% di tolleranza. IBM eServer Processor Hardware - BladeCenter Q.ty 88524XG IBM BladeCenter™ H Chassis with 2x2900W Power Supplies 1 32R1860 Nortel Layer 2/3 Copper GbE Switch Module for BladeCenter 2 32R1756 Cisco Systems 4X InfiniBand Switch Module for IBM BladeCenter 2 31R3335 IBM BladeCenter™ H 2900W AC Power Module Pair with Fan Packs 1 IBM BladeCenter™ H Triple IEC 320 C20 (200-240V) 2.8M 2 25R5785 Processor Hardware - BladeCenter LS21 79716AG LS21, AMD Opteron Dual Core 2218 2.6GHz/1GHz, 1 MB L2, 2x1 GB, O/Bay SAS 14 25R8897 AMD Opteron Dual Core Processor Model 2218 2.6GHz, 1MB L2 Cache, 95w 14 39M5864 2GB (2x1GB Kit) PC2-5300 DDR2 SDRAM VLP RDIMM 42 26K5777 73.4 GB SAS HDD (2.5") SFF 14 32R1760 Cisco Systems 4X InfiniBand HCA Expansion Card for IBM BladeCenter 14 Cabinet Hardware - xSeries Main Cabinet 23K4803 e1350 1U 17in Flat Panel Console Kit (without keyboard) 1 73P3144 Travel Keyboard (US English) 1 17351GX e1350 IBM Local 2x8 Console Manager 1 39M2896 e1350 IBM Short KCO Conversion Option 1 153 Diagramma La soluzione proposta soddisfa in toto le specifiche Lotto 4.1 riportate nel capitolato e el migliora per i seguenti punti qualificanti: 154 • • • • • • • • • • • • • • Blades LS21 Blade biprocessori dual-core Opteron 2218 revF Memoria (RAM) 2GB per core in tecnologia DDR2 667MHz Disco: 73.4GB SAS throughput largamente superiore a 80MBs 2 Link Gbit ethernet per blade autosensing montaggio in rack con densita’ 14 blade in 9U Scientific Linux CERN 3.05 installato e supporto bootstrap via rete PXE con Linux Unita’ DVD-ROM e Floppy integrati in ogni Blade Center, quindi ogni 14 Blades KVM per ogni Blade Center con remotizzazione e interfaccia WEB Cavi di connessione alimentazione, rete e altro, previsti nella fornitura Apparati di rete Gbit ridondati e integrati nel Blade Center H Switch Infiniband 4X integrato nel Blade Center H Alimentazione ridondata e Power hot-swap Ambiente di sviluppo Portland Group CDK ottimizzato per LS21 e comprensivo di compilatori per HPC con 3 licenze. Pre-installazione di eventuali ulteriori 3 licenze di compilatori F77/F90/F95/C/C++ Portland Group ottimizzati per LS21 Art 1.2.1 Rete di servizio • Connessione dei nodi LS21 tramite rete Gbit ridondata interna ai Blade Center H Art 1.2.2 rete di calcolo • • Rete di interconnessione Infiniband 4X con switch integrati in Balde center H a bassa latenza full no-blocking con banda passante 10Gbit/sec unidirezionale – 20Gbit/sec bidirezionale e latenza inferiore a 4microsecondi. Lo switch opera in modalità wirespeed e puo’ essere gestito via CLI e SNMP. I Blade center H sono predisposti per connettivita’ verso reti IP e Fiber Channel in modo da connettersi verso FC SAN, NAS appliance, IP SANs e reti TCP/IP Art 1.3 rete di calcolo • Blade center H prevede un sistema tipo KVM integrato L’installazione di tutti i componenti, la loro funzionalita’ e l’ottimizzazione, saranno effettuati a cura di personale specialistico IBM e Mauden. Specialisti IBM e Mauden cureranno la configurazione ottimale della soluzione proposta La configurazione dell’architettura proposta assicura un elevato livello di ridondanza in tutti i componenti per cui errori HW di tipo bloccante sono considerati con un’incidenza statisticamente trascurabile. In particolare si fa notare che: • • • • • Alimentazione ridondata per tutti i componenti Doppio I/O node Alimentazione ridondata hot-swap in Blade Center H Backplane ridondata in Blade Center H, quindi anche in caso di rottura di backplane il sistema mantiene la funzionalita’ anche se a prestazioni inferiori Doppia rete Gbit 155 • Sistema di management HW integrato nei sistemi Blade Center e nel sottosistems storage. Ambiente integrato con INFN-Grid sviluppato in collaborazione con Nice Srl 156 Lotto 4.2 Sistema di calcolo UNICT-DMI Cluster composto da 5 Blades LS21 Opteron dual-core 2218 2.6GHz in un Blade Center H la cui configurazione e’ di seguito riportata con aggiunta del diagramma visivo I cui valori in termini di SPEC aggregati rispecchiano quelli indicati nella tabella del capitolato tecnico in un range del 2% di tolleranza. IBM eServer Processor Hardware - BladeCenter Q.ty 88524XG IBM BladeCenter™ H Chassis with 2x2900W Power Supplies 1 32R1860 Nortel Layer 2/3 Copper GbE Switch Module for BladeCenter 2 32R1756 Cisco Systems 4X InfiniBand Switch Module for IBM BladeCenter 2 31R3335 IBM BladeCenter™ H 2900W AC Power Module Pair with Fan Packs 1 25R5785 IBM BladeCenter™ H Triple IEC 320 C20 (200-240V) 2.8M 2 Processor Hardware - BladeCenter LS21 79716AG LS21, AMD Opteron Dual Core 2218 2.6GHz/1GHz, 1 MB L2, 2x1 GB, O/Bay SAS 6 25R8897 AMD Opteron Dual Core Processor Model 2218 2.6GHz, 1MB L2 Cache, 95w 6 39M5864 2GB (2x1GB Kit) PC2-5300 DDR2 SDRAM VLP RDIMM 18 26K5777 73.4 GB SAS HDD (2.5") SFF 6 32R1760 Cisco Systems 4X InfiniBand HCA Expansion Card for IBM BladeCenter 6 Cabinet Hardware - xSeries Main Cabinet 23K4803 e1350 1U 17in Flat Panel Console Kit (without keyboard) 1 73P3144 Travel Keyboard (US English) 1 17351GX e1350 IBM Local 2x8 Console Manager 1 39M2896 e1350 IBM Short KCO Conversion Option 1 157 Diagramma La soluzione proposta soddisfa in toto le specifiche Lotto 4.2 riportate nel capitolato e el migliora per i seguenti punti qualificanti: 158 • • • • • • • • • • • • • • Blades LS21 Blade biprocessori dual-core Opteron 2218 revF Memoria (RAM) 2GB per core in tecnologia DDR2 667MHz Disco: 73.4GB SAS throughput largamente superiore a 80MBs 2 Link Gbit ethernet per blade autosensing montaggio in rack con densita’ 14 blade in 9U Scientific Linux CERN 3.05 installato e supporto bootstrap via rete PXE con Linux Unita’ DVD-ROM e Floppy integrati in ogni Blade Center, quindi ogni 14 Blades KVM per ogni Blade Center con remotizzazione e interfaccia WEB Cavi di connessione alimentazione, rete e altro, previsti nella fornitura Apparati di rete Gbit ridondati e integrati nel Blade Center H Switch Infiniband 4X integrato nel Blade Center H Alimentazione ridondata e Power hot-swap Ambiente di sviluppo Portland Group CDK ottimizzato per LS21 e comprensivo di compilatori per HPC con 3 licenze. Pre-installazione di eventuali ulteriori 3 licenze di compilatori F77/F90/F95/C/C++ Portland Group ottimizzati per LS21 Art 1.2.1 Rete di servizio • Connessione dei nodi LS21 tramite rete Gbit ridondata interna ai Blade Center H Art 1.2.2 rete di calcolo • • Rete di interconnessione Infiniband 4X con switch integrati in Balde center H a bassa latenza full no-blocking con banda passante 10Gbit/sec unidirezionale – 20Gbit/sec bidirezionale e latenza inferiore a 4microsecondi. Lo switch opera in modalità wirespeed e puo’ essere gestito via CLI e SNMP. I Blade center H sono predisposti per connettivita’ verso reti IP e Fiber Channel in modo da connettersi verso FC SAN, NAS appliance, IP SANs e reti TCP/IP Art 1.3 rete di calcolo • Blade center H prevede un sistema tipo KVM integrato L’installazione di tutti i componenti, la loro funzionalita’ e l’ottimizzazione, saranno effettuati a cura di personale specialistico IBM e Mauden. Specialisti IBM e Mauden cureranno la configurazione ottimale della soluzione proposta La configurazione dell’architettura proposta assicura un elevato livello di ridondanza in tutti i componenti per cui errori HW di tipo bloccante sono considerati con un’incidenza statisticamente trascurabile. In particolare si fa notare che: • • • • • • Alimentazione ridondata per tutti i componenti Doppio I/O node Alimentazione ridondata hot-swap in Blade Center H Backplane ridondata in Blade Center H, quindi anche in caso di rottura di backplane il sistema mantiene la funzionalita’ anche se a prestazioni inferiori Doppia rete Gbit Sistema di management HW integrato nei sistemi Blade Center e nel sottosistems 159 storage. Ambiente integrato con INFN-Grid sviluppato in collaborazione con Nice Srl 160 Lotto 5 Sistema di calcolo INAF-OAPA/UNIPA Cluster composto da 24 Blades LS21 Opteron dual-core 2218 2.6GHz in due Blade Center H la cui configurazione e’ di seguito riportata con aggiunta del diagramma visivo I cui valori in termini di SPEC aggregati rispecchiano quelli indicati nella tabella del capitolato tecnico in un range del 2% di tolleranza. IBM eServer Processor Hardware - BladeCenter Q.ty 88524XG IBM BladeCenter™ H Chassis with 2x2900W Power Supplies 2 32R1860 Nortel Layer 2/3 Copper GbE Switch Module for BladeCenter 4 32R1756 Cisco Systems 4X InfiniBand Switch Module for IBM BladeCenter 4 31R3335 IBM BladeCenter™ H 2900W AC Power Module Pair with Fan Packs 2 IBM BladeCenter™ H Triple IEC 320 C20 (200-240V) 2.8M 4 25R5785 Processor Hardware - BladeCenter LS21 79716AG LS21, AMD Opteron Dual Core 2218 2.6GHz/1GHz, 1 MB L2, 2x1 GB, O/Bay SAS 24 25R8897 AMD Opteron Dual Core Processor Model 2218 2.6GHz, 1MB L2 Cache, 95w 24 39M5864 2GB (2x1GB Kit) PC2-5300 DDR2 SDRAM VLP RDIMM 72 26K5777 73.4 GB SAS HDD (2.5") SFF 24 32R1760 Cisco Systems 4X InfiniBand HCA Expansion Card for IBM BladeCenter 24 Processor Hardware - x3655 Storage Nodes 2 79851AG x3655, AMD Opteron Dual Core 2210 1.8GHz/1067MHz, 2MB L2, 2x512MB, O/Bay 3.5in HS SATA/SAS, SR-8ki, CD-RW/DVD, 835W p/s, Rack 25R8938 Opteron Dual Core 2210 1.8GHz/1MBx2 2 41Y2759 1 GB (2x512MB Kit) PC5300 667 MHz ECC DDR SDRAM RDIMM 6 40K1039 73GB Hot-Swap 3.5" 10K RPM Ultra320 SAS HDD 4 42C2071 Emulex 4 Gb FC HBA PCI-E Controller Dual Port 2 40K1906 835 Watt Hot-swap Power Supply Option (Non-US) 2 Network Hardware - Ethernet 3rd Party 4667017 Cisco Catalyst 3750-48 Port Switch bundle 1 Cabinet Hardware - xSeries Main Cabinet 23K4803 e1350 1U 17in Flat Panel Console Kit (without keyboard) 1 73P3144 Travel Keyboard (US English) 1 17351GX e1350 IBM Local 2x8 Console Manager 1 39M2896 e1350 IBM Short KCO Conversion Option 1 26R0813 e1350 3 Meter InfiniBand Cable (4x to 4x) 4 3 Meter InfiniBand Cable (12x to 12x) 4 Storage 18147VH DS4200 Express Model 7V (2 GB Cache, 1 GB per controller) 1 42D0389 DS4200 SATA 500 GB/7.2K EV-DDM 16 18128VH IBM System Storage DS4000 EXP420 Storage Expansion Unit 2 42D0389 DS4200 SATA 500 GB/7.2K EV-DDM 24 39M5696 1m Fiber Optic Cable LC-LC 14 161 26K7941 SW 4 Gbps SFP transceiver pair 7 42D0389 DS4200 SATA 500 GB/7.2K EV-DDM 4 162 Diagramma La soluzione proposta soddisfa in toto le specifiche Lotto 5 riportate nel capitolato e el migliora per i seguenti punti qualificanti: 163 • • • • • • • • • • • • • • Blades LS21 Blade biprocessori dual-core Opteron 2218 revF Memoria (RAM) 2GB per core in tecnologia DDR2 667MHz Disco: 73.4GB SAS throughput largamente superiore a 80MBs 2 Link Gbit ethernet per blade autosensing montaggio in rack con densita’ 14 blade in 9U Scientific Linux CERN 3.05 installato e supporto bootstrap via rete PXE con Linux Unita’ DVD-ROM e Floppy integrati in ogni Blade Center, quindi ogni 14 Blades KVM per ogni Blade Center con remotizzazione e interfaccia WEB Cavi di connessione alimentazione, rete e altro, previsti nella fornitura Apparati di rete Gbit ridondati e integrati nel Blade Center H Switch Infiniband 4X integrato nel Blade Center H Alimentazione ridondata e Power hot-swap Ambiente di sviluppo Portland Group CDK ottimizzato per LS21 e comprensivo di compilatori per HPC con 3 licenze. Pre-installazione di eventuali ulteriori 3 licenze di compilatori F77/F90/F95/C/C++ Portland Group ottimizzati per LS21 Art 1.2.1 Rete di servizio • Connessione dei nodi LS21 tramite rete Gbit ridondata interna ai Blade Center H Art 1.2.2 rete di calcolo • Rete di interconnessione Infiniband 4X con switch integrati in Balde center H a bassa latenza full no-blocking con banda passante 10Gbit/sec unidirezionale – 20Gbit/sec bidirezionale e latenza inferiore a 4microsecondi. Lo switch opera in modalità wirespeed e puo’ essere gestito via CLI e SNMP. • I Blade center H sono predisposti per connettivita’ verso reti IP e Fiber Channel in modo da connettersi verso FC SAN, NAS appliance, IP SANs e reti TCP/IP Art 1.3 rete di calcolo • Blade center H prevede un sistema tipo KVM integrato Art 1.4 Sistema di storage L’architettura storage rispetta in pieno quanto descritto nel capitolato di gara e lo migliora ulteriormente • Doppio I/O node per consentire ridondanza e prestazioni in ambiente GPFS L’installazione di tutti i componenti, la loro funzionalita’ e l’ottimizzazione, saranno effettuati a cura di personale specialistico IBM e Mauden. Specialisti IBM e Mauden cureranno la configurazione ottimale della soluzione proposta La configurazione dell’architettura proposta assicura un elevato livello di ridondanza in tutti i componenti per cui errori HW di tipo bloccante sono considerati con un’incidenza statisticamente trascurabile. In particolare si fa notare che: • • • Alimentazione ridondata per tutti i componenti Doppio I/O node Alimentazione ridondata hot-swap in Blade Center H 164 • • • Backplane ridondata in Blade Center H, quindi anche in caso di rottura di backplane il sistema mantiene la funzionalita’ anche se a prestazioni inferiori Doppia rete Gbit Sistema di management HW integrato nei sistemi Blade Center e nel sottosistems storage. Ambiente integrato con INFN-Grid sviluppato in collaborazione con Nice Srl 165 Scheda tecnica riassuntiva In base al punteggio tecnico da Voi indicato, riteniamo utile riassumere alcuni punti specifici della nostra proposta che riteniamo migliorino in modo sostanziale le specifiche minime richieste nel capitolato tecnico. Ri seguito quindi si riportano alcune indicazioni di rilevo. Sistema di Calcolo Il processore 2216 2.6GHz ha in questo momento il miorl rapporto prezzo/prestazioni e consumi elettrici pr la categoria AMD/opteron dual-creo revF La soluzione proposta prevede 84 Blades al posto delle 75 strettamente richieste per soddisfer i requisiti minimi di gara AMD/opteron dual-core revF prevede 1MB L2 per core Accesso alla memoria con efficienza circa doppia rispetto a soluzioni Intel/Woodcrest (benchmark stream e similari) Possibile upgrade a quad-core revF in 2007 con la sola sostituzione dei processori dual-core e BIOS AMD/Opteron prevede controller di memoria integrato sul socket Rete di servizio La rete di servizio e’ fornita con una connessione per ogni blade tramite dual-link e backplane ridondato oltre a due switch Nortel 2/3 GbE integrati nei Blade Chassis per supportare circa 2Gbps per ogni blade. Due interfacce di rete per blade Rete di calcolo Ampiezza di banda 20Gbps in modalita’ dual-rail (utilizzo simultaneo della doppia connessione IB disponibile per ogni Blade). Connessione con doppio switch CISCO 4X per una totalita’ di 28 porte interne e 16 porte esterne per soddisfare i requisiti di bandwidth e per supportare la modalita’ fully noblocking. Nella connessione intra chassis la bandwidth e’ 20Gbps. Nella connessione tra chassis la bandwidth e’ 10Gbps. Gli chassis sono comunque predisposti per ospitare la seconda generazione di Switch CISCO IB 4X che consentira’ di supportare 20GBps tra chassis senza aggiunta di ulteriori switch esterni. La configirazione consente anche la ridondanza (doppio switch + doppio backplane integrato nello chassis) che, in caso di rottura di un componente, comunque mantiene la funzionalita’ anche se a prestazioni in parte degradate (10Gbps interni e 5Gbps esterni). 166 Latenza ordine 2.5microsec Il sistema e’ pronto per essere integrato con reti IP e SAN. L’integrazione verso SAN e’ ottenuta tramite gli I/O node. Il sistema e’ comunque predisposto, tramite bridge IB vs FC che possono essere ospitati per un massimo di due in ogni chassis, quindi essere integrato in SAN direttamente a livello di chassis. Storage Archittetura ridondate perche’ e’ previsto un doppio controller integrato nel DS4200. Due I/O nodes, dischi aggiuntivi, doppia rete FC di accesso. Ambiente GPFS che intrinsecamente supporto fail-over e accesso simultaneo da differenti path Rete FC 4Gbps per link. L’archittetura storage supporta circa 1GBs tramite GPFS. Ogni sistema di espansione EXP420 puo’ ospitare fino a 16 dischi. Capacita’ di storage in offerta circa 35% superiore a quanto richesto nella configurazione minimale. Integrazione e Controllo L’architettura IBM e1350 e’ garantita per i componenti triennali per la durata di 36 mesi. La proposta prevede inoltre l’integrazione e l’installazione presso i siti Cometa con gli ambitni SW definiti (si rimanda alla descrizione dei servizi di installazione per maggiori dettagli). Assistenza IBM in collaborazione con Mauden assicurera’ tempi di intervento e ripristino, in riferimento a difettosita’ dei componenti HW, migliorativi rispetto a quanto richiesto nel capitolato di gara, In particolar modo la struttura servizi IBM e il call-center che riceve le chiamate gestisce durante il periodo lavorativo le richieste di intervento con risposta alla chiamata. Appena ricevuta la chiamata la struttura di supporto e’ in grado di dare risposte e proporre possibili soluzioni entro 4 ore per difettosita’ che non richiedano un supporto on-site (supporto telefonico e/o accesso remoto ai sistemi). Il servizio di help-desk prevede in particolare la possibilita’ di effettuare una diagnosi del difetto in modo remoto con il supporto degli specialisti del Consorzio COMETA e con il possibile supporto del personale specialistico IBM e Mauden che ha curato l’installazione delle architetture. Per una corretta valutazione dei tempi di ripristino e’ necessario tenere in conto che il disegno dell’architettura prevede delle ridondanze intrinseche che consentono di ridurre al minimo possibili difettosita’ o rotture che influenzino la disponibilita’ dei sistemi (dual backplane negli Chassis, dual link rete di servizio e di calcolo, doppi switches Gbit e IB negli chassis, blades addizionali in linea, doppi nodi di I/O, sistemi storage in configurazione raid hot-spare, architettura GPFS per accesso concorrente ai sistemi storage, etc.). Nella pratica l’architettura e’ stata disegnata per eliminare o ridurre al meglio gli effetti di possibli rotture HW che possano influenzare in modo significativo la disponibilita’ dei sistemi. Corsi di aggiornamento e seminari specialistici IBM prevede di organizzare annualmente presso i propri centri di Roma o Milano, o strutture Universitarie, uno o due corsi, con cadenza generalmente annuale, per aggiornamenti per personale 167 specialistico riguardo la gestione e lo sviluppo delle architetture Cluster Linux, le infrastrutture Grid, e lo sviluppo di ambienti SW e HW per il calcolo a alte prestazioni. Riteniamo nell’ambito dello sviluppo congiunto del progetto PI2S2 di proporre al Consorzio Cometa la possibilita’ di organizzare nel corso del 2007 una sessione di approfondimento su tali temi presso uno dei centri del Consorzio stesso. I dettagli del corso o seminario saranno oggetto di un approfondimento successivo in modo da poter soddisfare al meglio la necessaita’ di approfondire i temi di maggiore interesse per il Consorzio. Sara’ anche utile valutare in modo congiunto l’allargamento a interlocutori esterni a Cometa per una loro partecipazione qualificata all’evento in questione. 168 Servizi di installazione e di manutenzione Secondo quanto indicato nelle sezioni precedenti, verranno forniti oltre l’infrastruttura HW e i prodotti SW di gestione (GPFS, MPICH, driver IB e compilatori), anche i servizi di installazione e personalizzazione in accordo con l’ambiente INFN Grid e in collaborazione con il personale degli Istituti coinvolti in COMETA. Riteniamo che l’installazione dei vari siti si possa completare in tempi ragionevolmente rapidi, circa 30giorni dal ricevimento dell’ordine, supposto che siano soddisfatti i prerequisiti minimi sulla disponibilita’ dei locali e la loro predisposizione a ospitare le apparecchiature. E’ intenzione di IBM e Mauden fornire adeguate istruzioni al personale COMETA in modo da poterlo rendere il piu’ possibile autonomo nella gestione dell’architettura stessa. Per quanto riguarda la gestione e il supporto per interventi su rotture di componenti HW previsti nei Cluster, il tempo di risposta IBM e’ generalmente entro le 8 ore, nei giorni feriali, con intervento NBD sempre nei giorni feriali. A ogni buon conto tutti i sistemi previsti nel disegno dell’architettura prevedono la ridondanza dei componenti critici per cui sono da ritenersi statisticamente trascurabili interruzioni di servizio causate da rotture HW. Nell’intervallo tra la rottura e il ripristino nel caso potra’ verificarsi una riduzione di prestazioni del Cluster impattato dalla rottura. La garanzia e l’assistenza sono ON-SITE per 3 anni con intervento NEXT BUSINES day on-site su tutti i prodotti proposti nella Nostra offerta . L’assistenza tecnica è fornita direttamente dal costruttore. Project Management Aldo Caracciolo Responsabile del Progetto Marco Panciroli Responsabile Logistico Alessandra Meli Responsabile Amministrativo Daniela Tripodi 169 Supporto tecnico Giovanni Di Gabriele Walter Bernocchi, Sandro De Santis, Carlo Mascolo, Marco Briscolini della società IBM Piano di Lavoro A partire dalla firma del contratto o dalla comunicazione ufficiale dell’ordine i lavori procederanno nel modo seguente Giorno Azione 0 Ricezione dell’ordine 3 Gestione ordine 4 Richieste via mail ai vari responsabili dei siti di definire nel proprio dns gli hostname e gli indirizzi ip che verranno dedicati ai sistemi di cometa e verificare la soluzione diretta ed inversa dei nomi e degli indirizzi ip , Per convenzione l’hostname della macchina dovrà essere cosi composto : esempio sito di INFN di Catania: Primo CE: infn-ce-01.ct.cometa.it Primo WN: infn-wn-01.ct.cometa.it Secondo WN: infn-wn-02.ct.cometa.it 30 Arrivo delle macchine ibm presso ogni sito di cometa la consegna sarà concordata dal corriere con il referente di ogni singolo istituto 31-51 Installazione sistema operativo Scientific linux CERN ver da voi richiesta sia sui blade che sui server di front-end dello storage configurazione Storage element e broker (solo presso i siti dedicati verrà installato il broker) Richiesta ai registration autority di ogni sito i certificati per i server che andremo a installare nella griglia Installazione LSF su tutti le lame componenti i blade installati Configurazione INFINIBAND Installazione middleware CE E WORKERNODE Installazione e creazione degli array degli storage Installazione GPFS sul server di front –end dello storage e configurazione dei client gpfs Installazione e configurazione dei compilatori da Voi richiesti. Ogni responsabile di progetto di ongi singolo sito riceverà quotidianamente il rapportino sui lavori svolti e i test di collaudo che svolgeremo per verificare ogni installazione . Tale documentazione sarà inviata anche per conoscenza al presidente del Consorzio, al 170 presidente della gara e alla responsabile amministrativa del progetto . NOTA INFN CATANIA E INAF PALERMO SARANNO I PRIMI SITI A PARTIRE IN QUANTO sono anche i siti più grandi 52-60 Completamento dei siti rimasti ripetendo le operazioni sopra riportate necessarie all’hardware installato presso ogni sito . ALLEGATI 171 PROGETTAZIONE E IMPLEMENTAZIONE DELLA E-INFRASTRUTTURA DI PRODUZIONE Identificatore: PI2S2-D1.2-v1.0 Date: 31.12.2006 ALLEGATO A PUBLIC 172 / 191 PROGETTAZIONE E IMPLEMENTAZIONE DELLA E-INFRASTRUTTURA DI PRODUZIONE Identificatore: PI2S2-D1.2-v1.0 Date: 31.12.2006 PUBLIC 173 / 191 PROGETTAZIONE E IMPLEMENTAZIONE DELLA E-INFRASTRUTTURA DI PRODUZIONE Identificatore: PI2S2-D1.2-v1.0 Date: 31.12.2006 PUBLIC 174 / 191 PROGETTAZIONE E IMPLEMENTAZIONE DELLA E-INFRASTRUTTURA DI PRODUZIONE Identificatore: PI2S2-D1.2-v1.0 Date: 31.12.2006 ALLEGATO B PUBLIC 175 / 191 PROGETTAZIONE E IMPLEMENTAZIONE DELLA E-INFRASTRUTTURA DI PRODUZIONE Identificatore: PI2S2-D1.2-v1.0 Date: 31.12.2006 PUBLIC 176 / 191 PROGETTAZIONE E IMPLEMENTAZIONE DELLA E-INFRASTRUTTURA DI PRODUZIONE Identificatore: PI2S2-D1.2-v1.0 Date: 31.12.2006 PUBLIC 177 / 191 PROGETTAZIONE E IMPLEMENTAZIONE DELLA E-INFRASTRUTTURA DI PRODUZIONE Identificatore: PI2S2-D1.2-v1.0 Date: 31.12.2006 PUBLIC 178 / 191 PROGETTAZIONE E IMPLEMENTAZIONE DELLA E-INFRASTRUTTURA DI PRODUZIONE Identificatore: PI2S2-D1.2-v1.0 Date: 31.12.2006 PUBLIC 179 / 191 PROGETTAZIONE E IMPLEMENTAZIONE DELLA E-INFRASTRUTTURA DI PRODUZIONE Identificatore: PI2S2-D1.2-v1.0 Date: 31.12.2006 ALLEGATO C PUBLIC 180 / 191 PROGETTAZIONE E IMPLEMENTAZIONE DELLA E-INFRASTRUTTURA DI PRODUZIONE Identificatore: PI2S2-D1.2-v1.0 Date: 31.12.2006 PUBLIC 181 / 191 PROGETTAZIONE E IMPLEMENTAZIONE DELLA E-INFRASTRUTTURA DI PRODUZIONE Identificatore: PI2S2-D1.2-v1.0 Date: 31.12.2006 PUBLIC 182 / 191 PROGETTAZIONE E IMPLEMENTAZIONE DELLA E-INFRASTRUTTURA DI PRODUZIONE Identificatore: PI2S2-D1.2-v1.0 Date: 31.12.2006 PUBLIC 183 / 191 PROGETTAZIONE E IMPLEMENTAZIONE DELLA E-INFRASTRUTTURA DI PRODUZIONE Identificatore: PI2S2-D1.2-v1.0 Date: 31.12.2006 PUBLIC 184 / 191 PROGETTAZIONE E IMPLEMENTAZIONE DELLA E-INFRASTRUTTURA DI PRODUZIONE Identificatore: PI2S2-D1.2-v1.0 Date: 31.12.2006 PUBLIC 185 / 191 PROGETTAZIONE E IMPLEMENTAZIONE DELLA E-INFRASTRUTTURA DI PRODUZIONE Identificatore: PI2S2-D1.2-v1.0 Date: 31.12.2006 PUBLIC 186 / 191 PROGETTAZIONE E IMPLEMENTAZIONE DELLA E-INFRASTRUTTURA DI PRODUZIONE Identificatore: PI2S2-D1.2-v1.0 Date: 31.12.2006 PUBLIC 187 / 191 PROGETTAZIONE E IMPLEMENTAZIONE DELLA E-INFRASTRUTTURA DI PRODUZIONE Identificatore: PI2S2-D1.2-v1.0 Date: 31.12.2006 PUBLIC 188 / 191 PROGETTAZIONE E IMPLEMENTAZIONE DELLA E-INFRASTRUTTURA DI PRODUZIONE Identificatore: PI2S2-D1.2-v1.0 Date: 31.12.2006 PUBLIC 189 / 191 PROGETTAZIONE E IMPLEMENTAZIONE DELLA E-INFRASTRUTTURA DI PRODUZIONE Identificatore: PI2S2-D1.2-v1.0 Date: 31.12.2006 PUBLIC 190 / 191 PROGETTAZIONE E IMPLEMENTAZIONE DELLA E-INFRASTRUTTURA DI PRODUZIONE Identificatore: PI2S2-D1.2-v1.0 Date: 31.12.2006 PUBLIC 191 / 191
