Slides - Agenda INFN

Review Calcolo
CSN2
D. Martello
Dip. di Fisica & INFN - Univ. Del Salento
CSN2 Napoli 30-11-2009
Sommario
• Un po' di storia …
• La struttura di Calcolo INFN (LHC)
• I modelli di Calcolo di CSN2 e l’utilizzo
delle risorse
Un po' di Storia …
Tradizionalmente il calcolo degli esperimenti di CSN2 era considerato
trascurabile rispetto ai costi dell’esperimento e non richiedeva impegni
significativi in termini organizzativi.
La problematica principale riguardava (e riguarda in molti casi tuttora) le
simulazioni. Gia’ ai tempi dei primi esperimenti presso i LNGS (MACRO) il
grosso dello sforzo era concentrato sulle simulazioni.
L’avvento di esperimenti come VIRGO e ARGO ha aumentato la rilevanza del
calcolo in CSN2. Molti esperimenti hanno iniziato a considerare il calcolo
come una parte dell’esperimento stesso (CSN1)
La nascita di LHC ha spinto INFN a riorganizzare le sue strutture di calcolo e
a far nascere realta’ come il CNAF e i Tier2
Un po' di Storia …
L’INFN ha spinto tutti gli esperimenti a calcolare al CNAF per quanto
possibile fornendo le risorse CNAF gratuitamente alle CSN.
Cio’ era possibile grazie a al fondo speciale di ~ 21.5 M€ che l’INFN aveva
stanziato per il CNAF.
Molti esperimenti di CSN2 vengono “motivati” a calcolare al CNAF.
Nel 2007 ci si rende conto che il fondo non e’ sufficiente per soddisfare tutte
le esigenze di LHC e dal 2008 le risorse aggiuntive da allocare al CNAF nonLHC devono essere a carico delle commissioni.
Con il bilancio 2009 il fondo si esaurisce. Dal 2010 anche le risorse
aggiuntive LHC vanno a carico delle commissioni (CSN1-CSN3)
Dati i tempi tipici di una gara CNAF il collegio dei referee suggerisce all’INFN
di istituire un fondo tampone (2 M€) per permettere al CNAF di gestire le
gare in temi utili per LHC.
L’INFN assegna per il 2010 2M€ “extra” per CNAF-LHC (+ BFactory?)
Questo NON e’ il fondo tampone richiesto dai referee, ma il meccanismo
parte ugualmente.
La struttura a Tier
Inizialmente presenti e logicamente
motivati i Tier3 scompaiono in Italia
Tier3
La struttura a Tier
Oltre ad un centro di calcolo regionale (Tier1) il modello di
calcolo LHC prevede la creazione di alcuni centri di calcolo
“minori” destinati all’analisi dati degli esperimenti.
Questi centri (Tier2) sono associati allo specifico esperimento
(per cui avremmo Tier2 di Atlas o di CMS anche fisicamente
nella stessa sede).
Nel modello di calcolo LHC tali centri sono dotati di potenza di
calcolo e di disco, ma non di unita per l’archiviazione di
massa (tape).
INFN e le relative CSN coinvolte hanno deciso che la
logistica per la realizzazione di questi centri non doveva
gravare sulle commissioni.
I centri sono stati realizzati con fondi di sezione, fondi
universitari, progetti vari e contributi ordinari da dotazioni.
I Modelli di Calcolo di CSN2
Inquadrare i modelli di Calcolo degli esperimenti di CSN2 all’interno
dell’infrastruttura messa a punto dall’INFN non e’ cosa banale.
CSN2 ha esperimenti estremamente eterogenei con problematiche molto
diverse situati in regioni geografiche lontane.
Non tutti gli esperimenti sono riusciti a inserirsi proficuamente nel modello a
Tier proposto da LHC.
L’idea del calcolo distribuito, però, e’ stata utile in molte situazioni.
In particolar modo si presta bene ad affrontare il problema delle simulazioni in
molte tipologie di esperimenti: software di simulazione comune,
installazione semplice, esperienza gia’ accumulata (una scuola?).
Per molti esperimenti c’e’ tutt’ora la “volontà” di allocarsi le risorse in sede
anche se non chiaramente necessarie ed a fornire con riluttanza dettagli che
le giustifichino.
Status del CNAF
Status del CNAF
Il Piano per il CNAF
Chi Utilizza il CNAF
AMS2 Schema di Calcolo
Attualmente l’esperimento non prevede l’utilizzo di GRID
Struttura a Tier
JFK
CERN
Ricostruzione e backup
(Tier0)
CASTOR
CNAF
CASTOR
Sez.
Sez.
Analisi finali (Tier3)
Sez.
Master Copy e Simulazioni
MonteCarlo (Tier1)
Sez.
Sez.
AMS2
Finanziamento (k€)
CNAF
Altro
2008
1
<5
2009
5
<5
Risorse al CNAF nel 2009
Previsto Assegnato
CPU (kSi2k)
25
Disco (TB)
9
8+9
Nastro (TB)
30
39.2
2010
52
<5
Usato
23
7
33.5
Picco (solo CPU)
1613
ARGO-YBJ Schema di Calcolo
Uso di GRID per le simulazioni
Tibet
Pechino
Ricostruzione, backup
e Simulazione (Tier0)
CNAF
CASTOR
Analisi ad alta statistica
e Simulazioni (Tier2)
Sez.
Analisi finali (tier3)
Sez.
Napoli
Roma3
Sez.
Sez.
Sez.
ARGO-YBJ
Finanziamento (k€)
CNAF
NA-RM3
Altro
2008
47
30
<10
2009
30
30
<10
Risorse al CNAF nel 2009
Previsto Assegnato
CPU (kSi2k)
150
Disco (TB)
120
125
Nastro (TB)
380
320
2010
34
15
<10
Usato
309
107
286
Picco (solo CPU)
2007
MAGIC Schema di Calcolo
L’esperimento usa saltuariamente GRID per le simulazioni
Canarie
Barcellona
Ricostruzione e backup dei dati (tier0)
CNAF
Sez.
Analisi finali (Tier3)
Sez.
Sez.
MonteCarlo (Tier2)
Sez.
MAGIC
Finanziamento (k€)
CNAF
Altro
2008
4
<5
2009
19
<5
Risorse al CNAF nel 2009
Previsto Assegnato
CPU (kSi2k)
80
Disco (TB)
20
42
Nastro (TB)
30
47
2010
0
<5
Usato
69
39
22
Picco (solo CPU)
5768
FERMI Schema di Calcolo
L’esperimento usa GRID per le simulazioni e la distribuzione dei dati
SLAC
Ricostruzione e backup dei dati (Tier0)
CNAF
Sez.
Sez.
Analisi finali (Tier3)
Simulazioni MonteCarlo e analisi (Tier1)
Sez.
Sez.
Sez.
FERMI
Finanziamento (k€)
CNAF
Altro
2008
6
63
2009
56
32
Risorse al CNAF nel 2009
Previsto Assegnato
CPU (kSi2k)
150
Disco (TB)
60
10
Nastro (TB)
40
0
2010
14
67
Usato
24
Picco (solo CPU)
452
PAMELA Schema di Calcolo
Pamela utilizza la GRID per simulazioni e analisi
I dati dalla russia arrivano al CNAF dove avviene il backup
Russia
Ricostruzione e backup
(Tier0)
Sez.
CASTOR
CNAF
Sez.
Sez.
Sez.
Le analisi e le simulazioni vengono eseguite in sezione anche attraverso
GRID (Tier2)
PAMELA
Finanziamento (k€)
CNAF
Altro
2008
6
5
2009
37
43
Risorse al CNAF nel 2009
Previsto Assegnato
CPU (kSi2k)
70
Disco (TB)
48
41
Nastro (TB)
48
44
2010
3
55.5
Usato
56
23.5
40
Picco (solo CPU)
1075
VIRGO Schema di Calcolo
Utilizzo di GRID per alcune analisi ad alto utilizzo di CPU
Primo backup dei
Dati a Cascina
(Tier0)
Lione
Sez.
Cascina
backup
CASTOR
Processamento e
Analisi (Tier1)
Sez.
CNAF
Sez.
Nelle sezioni solo analisi finali (Tier3)
RM1
Sez.
Sez.
GRID
VIRGO
Finanziamento (k€)
CNAF
RM1
Altro
2008
98
50
33
2009
206
10
32
Risorse al CNAF nel 2009
Previsto Assegnato
CPU (kSi2k)
1000
Disco (TB)
300
314
Nastro (TB)
300
163
2010
218
0
14
Usato
303
187.5
155
Picco (solo CPU)
2297
AUGER
Finanziamento (k€)
CNAF
LNGS
Altro
Argentina
2008
0
6
0
2009
0
0
<5
L’esperimento usa GRID per le simulazioni
Ricostruzione e backup (tier0)
Analisi finali (tier3)
Sez.
backup
Lione
Simulazioni Monte Carlo e analisi
intense (Tier1)
Sez.
2010
57
0
<5
CNAF
Sez.
Sez.
OPERA
Finanziamento (k€)
Altro
2008
31
2009
40
2010
48
Utilizzo di GRID molto difficile
Sez.
Master Copy del
DB delle emulsioni
(tier0??)
Sez.
Sez.
Giappone
Scanning delle emulsioni
e analisi finale (tier3??)
CNAF
Lione
ICARUS
Finanziamento (k€)
Altro
2008
18
2009
0
2010
<5
Approccio tradizionale. Un centro di calcolo presso la sede
dell’esperimento piu’ risorse in sede per analisi finale.
Non si prevede utilizzo di GRID
LNGS
Sez.
Sez.
Sez.
Sez.
WARP
Finanziamento (k€)
LNGS
Altro
2008
0
13.5
2009
0
0
2010
50
<5
Approccio tradizionale. Un centro di calcolo presso la sede
dell’esperimento piu’ risorse in sede per analisi finale.
Non si prevede utilizzo di GRID
LNGS
Sez.
Sez.
Sez.
Sez.
Indagine 2007
LNGS
Experiment
AUGER
BOREX
GERDA
ICARUS
OPERA
WARP
TOTALE
CPU
KSI2K
64
80
5
80
7
27
263
2008
2009
2010
DISK
TAPE
CPU
DISK
TAPE
CPU
DISK
TAPE
TB-N
TB
KSI2K
TB-N
TB
KSI2K
TB-N
TB
13
12
120
22
18
180
29
24
5
5
120
11
10
200
14
15
1
0
7
10
10
12
20
20
20
100
90
20
200
90
20
300
10
30
7
30
90
7
50
150
14
45
27
24
90
27
34
135
63
192
371
117
418
516
167
644
Molti esperimenti richiedono di collocare le loro risorse di calcolo presso i Laboratori Nazionali
del Gran Sasso.
Questa tendenza può essere giustificata per gli esperimenti che sono al Gran Sasso. Si ritiene
ragionevole che il Gran Sasso possa svolgere un ruolo importante per il calcolo per gli
esperimenti di gruppo 2.
Affinché cio’ sia realizzabile occorre che siano verificate alcune condizioni fondamentali:
 Disponibilità del Laboratorio a svolgere questo ruolo
 Disponibilità del personale
 Disponibilità delle infrastrutture (spazi, potenza elettrica, impianti di condizionamento,
etc.)
 Disponibilità economica
CSN2 L’investimenti in Calcolo
k€
CNAF CSN2
CNAF +Virgo
2008
64
162
2009
147
353
2010
160
378
Altre sedi
295
233
300
Totale CSN2
Totale +Virgo
359 (82%)
457 (65%)
380 (61%)
586 (40%)
460 (65%)
678(44%)
“Costringere” gli esperimenti a presentare modelli di calcolo e a
confrontarsi con altri anche nell’organizzazione del calcolo permette di
ottenere significative economie ma anche di dare la giusta rilevanza
all’analisi e gestione e dei dati e simulazioni introducendo dei protocolli e
degli schemi che standardizzano molti processi di analisi.
In passato alcuni progetti non hanno mai completato alcune analisi in
quanto il lavoro era affidato alla buona volontà di qualche PhD che per la
sua tesi iniziava e portava a termine un filone di analisi. In molti casi il
lavoro terminava con la “scomparsa” del PhD. Spesso era difficile se non
impossibile continuarlo anche se un nuovo studente era disponibile in
un’altra sede.
La sistematicità degli studi non era sempre soddisfacente.