WS CCR, Genova, 30 maggio 2013
MODELLI DI
CALCOLO IN CSN3
Rosario Turrisi
ESPERIMENTI IN CSN3
4
2
Nuclear astrophysics and
1
Phase transitions of nuclear
interdisciplinary researches
3
and hadronic matter
Quarks and
Nuclear structure and
hadron dynamics
reaction dynamics
ALICE
Studio della produzione del QGP in
collisioni tra ioni pesanti ultrarelativistici
EXOCHIM
Collisioni tra Ioni pesanti stabili ed esotici
alle energie del tandem ed intermedie
636 ric/tec (+tecnici), 477.7 FTE (0.75 FTE/pers)
FAM-RD
ROSARIO TURRISI
Struttura iperfine dell’idrogeno muonico e
raggio e.m. del protone
30/5/2013
2
ALCUNE OSSERVAZIONI
Gruppi di varie dimensioni: dai 2.3 FTE di ULYSSES ai 142 di ALICE
…inseriti in collaborazioni di varie dimensioni (da alcune unità alle 1330 di ALICE)!
La dimensione della collaborazione non è un indice della strategia di calcolo
Spesso I piccoli gruppi collaborano mettendo a comune idee, risorse umane, hardware
Quadro frammentato, diversi linguaggi, paradigmi, filosofie di storage…
…ma funziona tutto molto bene!
125
FTE: 478/211 TOT/GRID
198
142
220 1300
410
<FTE>=21±29…
Finanziamento 2013 (k€):
ALICE: 330, altri: ~108, tra cui
PANDA
AGATA/GAMMA
31
25.5
ROSARIO TURRISI
JLAB12
21
EXOCHIM
14
30/5/2013
3
PANDA: COME E PERCHÉ
Più di 410 membri da 54 istituti distribuiti in 17 paesi.
ROSARIO TURRISI
30/5/2013
4
PANDA: LA SFIDA DEL RATE…
ROSARIO TURRISI
H.Xu, Introduction to PANDA Trigger and Data Acquisition System,TIPP11, Chicago
30/5/2013
5
‘’PANDAROOT’’
ROSARIO TURRISI
30/5/2013
6
ROSARIO TURRISI
30/5/2013
7
ROSARIO TURRISI
30/5/2013
8
ROSARIO TURRISI
30/5/2013
9
ROSARIO TURRISI
30/5/2013
10
ROSARIO TURRISI
30/5/2013
11
ROSARIO TURRISI
30/5/2013
12
ROSARIO TURRISI
30/5/2013
13
ROSARIO TURRISI
30/5/2013
14
ROSARIO TURRISI
30/5/2013
15
ROSARIO TURRISI
30/5/2013
16
ROSARIO TURRISI
30/5/2013
17
ROSARIO TURRISI
30/5/2013
18
AGATA
ADVANCED GAMMA TRACKING ARRAY
Stesso gruppo italiano di GAMMA/GALILEO, esperimenti in fase di presa dati e/o upgrade
180 hexagonal crystals 3 shapes
60 triple-clusters
all equal
Inner radius (Ge)
23.5 cm
Amount of germanium
362 kg
Solid angle coverage
82 %
36-fold segmentation 6480 segments
Singles rate
~50 kHz
Efficiency: 43% (Mg=1) 28% (Mg=30)
Peak/Total: 58% (Mg=1) 49% (Mg=30)
6660 high-resolution digital electronics channels
Detectors operated in position-sensitive mode
Digital EDAQ + Pulse Shape Analysis + g-ray Tracking
Coupling to ancillary detectors for added selectivity
ROSARIO TURRISI
30/5/2013
19
AGATA DEMONSTRATOR + PRISMA
LNL 2009-2011 (~8% OF THE FULL ARRAY)
AGATA
PRISMA
Beam line
Reaction
chamber
ROSARIO TURRISI
30/5/2013
20
DATA PROCESSING, PSA AND TRACKING
Highly segmented
HPGe detectors
Identified
interaction points
g
(x,y,z,E,t)i
Reconstruction of
interaction tracks
(tracking algorithms
on interaction points)
Pulse Shape Analysis
of the recorded waves
DAQ - FARM
Synchronized digital
electronics to digitize
(14 bit, 100 MS/s) and
process the 38 signals
of each crystals
Store Raw Data
(10 kB/evt/crystal)
~100 MB/s total
ROSARIO TURRISI
On-line analysis of
reconstructed
g-rays21
30/5/2013
STRUCTURE OF COMPUTING SYSTEM
Det#1
Det#2
Det#3
············
FEE Readout
············
············
Preprocessing
Ancillary Detector(s)
FEE Readout
············
*
Det#N
FE Electronics
Preprocessing
Data Readout
PSA
~ 95 % of CPU time
spent in the PSA
*
Local Level (detectors don’t know of each other)
Global Level
Event Builder
Disk Write Rates
* Raw ~100 MB/s (total)
* PSA ~5 MB/s (total)
* Tracked ~10 MB/s
Merge
Tracking
*
Physical Analysis
ROSARIO TURRISI
PSA
Each box represents one task
managed by the ADA distributed
computing system NARVAL
(or by off-line C++ emulators)
Data processing implemented in C++
and loaded as shared libraries in the
NARVAL environment
Data formatting and flow managed by
the adf C++ library
22
30/5/2013
ROSARIO TURRISI
30/5/2013
23
ROSARIO TURRISI
30/5/2013
24
AGATA: SOMMARIO
Le esigenze di calcolo di AGATA sono legate all'analisi della forma dei segnali
prodotti dai rivelatori al germanio (Pulse Shape Analysis, PSA)
un'analisi abbastanza pesante in termine di CPU
effettuata in tempo reale dalla farm di acquisizione (a Legnaro/GSI/GANIL), composta da ~30
macchine per un totale di 250 (LNL) o 500 (GSI) cores
Se la PSA in tempo reale è stata effettuata correttamente, le necessità di calcolo
successive sono abbastanza modeste
Esperimento in fase iniziale, algoritmi PSA non del tutto maturi -> raw su disco per
analisi off-line
anche con le farm di acquisizione quando non utilizzate
Maggior impegno attuale: gestione dei 150 TB/y (dati raw)
Soluzione attuale: storage su GRID
Gli utenti creano copie locali (VO AGATA): 350 TB @ Lione, 150 TB @ CNAF
Gruppo di lavoro in AGATA per l’uso di GRID per il ‘’replay’’ dei dati in piena attività
(porting del codice, scrittura procedure di automatizzazione)
Intanto si usano farm di acquisizione o locali per l’elaborazione dei dati
Mi/Pd/LNL hanno piccole farm con 50-100 TB su disco, essenziali per l’analisi
ROSARIO TURRISI
30/5/2013
25
JLAB12: GLI ESPERIMENTI
Upgrade in corso per permettere a CEBAF di raggiungere 12 GeV (2x)
3 sale sperimentali con rivelatori dedicati + una quarta in costruzione
Hall A polarimetro + spettrometri, in programma estensione range cinematico, alta luminosità
Hall B target polarizzato + spettrometro a grande accettanza CLAS CLAS12 per 1035 cm-2s-1
Hall C misure in coincidenza ad alta risoluzione con 2 spettrometri, HMS+nuovo ad angolo variabile
Hall D misure di brehmsstralung: γ, PID , coincidenza con particelle cariche (nuova sala)
ROSARIO TURRISI
30/5/2013
26
JLAB COMPUTING MODEL
Una analisi: ~400 GB su disco ( + ~ 50% per simulazione)
La simulazione è distribuita al 50% tra JLAB e farm locali
‘’T0’’ + ‘’T1’’ ad es. a Norfolk
I dati (latency da alcuni anni ad alcuni mesi, JLAB12->15y) sono elaborati a
JLAB -> produzione dei ‘’dst’’
3 mesi presa dati -> ~3 mesi ricostruzione
comnservata la possibiltà di upstream
(~10% dei dati da riprocessare)
dst= 4-impulsi + banche dei singoli rivelatori
Copia locale dei dst (occupano ~ 1/10 dei raw)
Localmente: ‘’filtratura’’ dei 4-impulsi per l’analisi finale
ROSARIO TURRISI
30/5/2013
27
ROSARIO TURRISI
30/5/2013
28
JLAB12 – IN SINTESI
JLAB
Non c’è un modello unico e molti protocolli sono guidati dall’esperienza
Utilizzo di software sviluppato localmente dai gruppi
Non è stata sentita l’esigenza della transizione a GRID ‘’causa dimensioni’’
JLAB12
Upgrade della macchina e degli esperimenti
Upgrade anche del calcolo:
GRID ?
CLOUD ?
Attualmente si discute se fare il salto direttamente alla Cloud
Saltare la transizione a Root e ai protocolli GRID o GRID-like
CLOUD, JAVA-based future?
ROSARIO TURRISI
30/5/2013
29
JLAB12: SVILUPPI
CLARA, CLAS12 Reconstruction and Analysis Framework
Graphical interface for software design
Data-flow driven
Contributi da esperti (ma non di software)
Dall’oggetto (nel senso del C++) al servizio (da OOA a SOA):
CLARA si occupa di collegare in maniera opportuna, ‘’at runtime’’ i servizi necessari
a ottenere il flusso di dati desiderato
CLARA mira a distinguere nettamente tra il service programmer (ex
‘’core offline team’’) e l’application developer (il fisico che scrive il flusso
per l’analisi) che invece si occupa della ‘’orchestration’’…
ROSARIO TURRISI
30/5/2013
30
CLARA – UN’APPLICAZIONE
ROSARIO TURRISI
30/5/2013
31
n_TOF: UN ESEMPIO PARTICOLARE
Analisi dei prodotti di fissione ed emissione γ
Parametri dei rivelatori già studiati e fissati
Ricostruzione automatizzata
Cronjob: controllo esistenza nuovi file dati raw e successiva elaborazione
AFS+LXBATCH+CASTOR (supporto da CERN-IT)
librerie dedicate, software sviluppato localmente
500 TB/y: parte più ‘’critica’’, gestita interamente al CERN
In fase di sviluppo sistema di librerie a ‘’plugin’’ (codice per facilitare
l’aggiunta di un’analisi ad es. da un newcomer…)
ROSARIO TURRISI
30/5/2013
32
L’INDAGINE PIÙ EFFICACE (IN TEMPO REALE)
RT: ‘’Ciao XX, devo fare un talk alla CCR, mi puoi dare qualche info sul vostro computing model?’’
XX: ‘’In che senso?’’
RT:’’…voglio dire…cioè…insomma da quando il rivelatore produce i raw data al plot sull’articolo, che
strategia avete adottato”
XX:’’Mah, sai, oguno fa sul suo pc…’’
RT:’’Ma quanti dati fate per anno?”
XX:’’Diciamo due tera’’
RT:’’…ah…ok, grazie. Ciao.
XX:’’Ciao’’
ROSARIO TURRISI
30/5/2013
33
ALCUNE CONCLUSIONI…
o CLOUD o ‘’next thing’’…
ROSARIO TURRISI
30/5/2013
34
Grazie (anche) a:
Marco Battaglieri, Dino Bazzacco, Marco Calviani, Roberto Menegazzo, Stefano Spataro
GRAZIE DELL’ATTENZIONE
ROSARIO TURRISI
30/5/2013
35
