Bologna, 27 aprile 2000
Piano di calcolo dell’esperimento HERA-B
Introduzione
Questo piano di calcolo si propone di individuare le risorse di cui il gruppo italiano si deve dotare
per l’elaborazione dei dati acquisiti dall’esperimento.
Ai sistemi di calcolo off-line, nell’esperimento HERA-B, sono demandati i seguenti compiti:
• produzione degli eventi simulati Monte Carlo;
• analisi dei dati.
Il compito di ricostruire gli eventi reali è invece lasciato alla farm del trigger di quarto livello,
facente parte del sistema on-line.
La farm on-line del DESY è il centro di produzione dei dati reali, che vengono salvati sia in
formato DST, sia in formato mini-DST, mentre i sistemi off-line sono i centri di produzione dei
dati Monte Carlo, anch’essi salvati in formato DST e mini-DST.
L’analisi dei dati utilizza i mini-DST e talvolta i DST. Il trasporto dei dati dal DESY ai centri
periferici (dati reali) o viceversa (dati Monte Carlo) avviene prevalentemente mediante cassette
DLT 7000.
Lo sviluppo e la verifica del software off-line, così come le prime produzioni di eventi Monte
Carlo — dedicate prima all’ottimizzazione dei rivelatori e del sistema di trigger e poi alla
simulazione di canali fisici di reazione — si sono basate finora prevalentemente su alcune
macchine acquistate dal DESY e sui computer che i gruppi hanno ereditato da precedenti
esperimenti. I sistemi di calcolo nuovi in possesso dei gruppi sono essenzialmente prototipi di
piccola dimensione.
I computer utilizzati finora sono tuttavia inadeguati all’analisi di massa degli eventi: o perché
possiedono dimensioni prototipali, o perché possiedono un’età non trascurabile (se paragonata
al tempo di invecchiamento dei computer) e provengono da esperimenti con requisiti di potenza
di calcolo assai inferiori.
L’acquisto di nuovi strumenti per il calcolo, che è stata fino ad ora rinviata — nel quadro della
just in time purchase strategy che si avvantaggia del decadimento dei prezzi — si impone ora
come esigenza improcrastinabile per procedere nell’elaborazione dei dati che l’esperimento
produce.
Requisiti per la simulazione
Il numero di eventi simulati che deve essere prodotto dipende dal numero di eventi reali e di fondo
acquisiti durante la presa dati.
Fissiamo il numero di eventi di segnale che debbono essere simulati in un ammontare pari a 10
volte il numero di eventi di segnale reali.
Il numero di eventi reali di segnale di interesse può essere stimato in 2×104, come risulta dalla
tabella 1.
Tab. 1. Numero di eventi atteso in un anno ()totbb = 12 nb, 40 MHz).
Canale
eventi/anno
B0 J/4 K0s
1500
B0 J/4 K*0
B+ J/4 K+
B+ J/4 K*+
B0s J/4 0
J/4 B D 5 B D %
B D % % %
B % %
B % a.
B ' K
b
0
(*)
s
s
0
s
0
1500
1500
500
900
+
200
+
+
200
0
+
0
±
1
+
7000
(*)
s
(*)
s
s
+
5500
0
Totale
+
800
300
500
20400
Noi richiediamo perciò di produrre 2×105 eventi Monte Carlo di segnale. La produzione di
eventi Monte Carlo richiede i seguenti passaggi:
• generazione degli eventi fisici (p. es. mediante PHYTIA); vengono quindi effettuati i tagli di
accettanza per selezionare soltanto quegli eventi che il rivelatore può vedere;
• tracciamento (usando GEANT) attraverso il rivelatore per produrre le informazioni sui
rivelatori colpiti; questo è il compito più gravoso, in quanto in un evento tipico di HERA-B,
con 4 interazioni, vi sono circa 60 tracce primarie e 200 tracce prima del calorimetro;
• digitalizzazione, per simulare la risposta dei rivelatori
• triggering, per selezionare quegli eventi che avrebbero fatto scattare il trigger
dell’esperimento.
• ricostruzione totale del campione di eventi sopravvissuti al trigger
• applicazione dei tagli di analisi al campione di eventi ricostruiti.
Il tempo di CPU richiesto per produrre 2×105 eventi simulati è mostrato in tabella 21.
Tab. 2. Tempo di CPU (normalizzato allo SPECint95) richiesto per produrre 2×105 eventi
Monte Carlo.
eventi
#
tempo di CPU/evento
tempo totale di CPU
[SI95 # s/evt]
[CPU99 # s/evt]
[SI95 # s]
[CPU99 # s]
Generazione
1.8×107
200
10
3.6×109
1.8×108
Tracciamento
1.3×107
1000
50
1.3×1010
6.5×108
Digitalizzazione
1.3×107
100
5
1.3×109
6.5×107
Trigger
1.3×107
100
5
1.3×109
6.5×107
Ricostruzione
1.3×106
250
13
3.25×108
1.7×107
2×105
20
1
4×106
2×105
1670
84
2×1010
109
Tagli finali
Totale
Considerando un duty-cycle del 70%, il tempo di CPU richiesto per produrre 2×105 eventi di
segnale è pari a 3×1010 SI95 # s.
A questo tempo occorre aggiungere il tempo di CPU necessario per produrre gli eventi di
fondo (si ricordi che in HERA-B il rapporto segnale su fondo è )bb /)inel=106). Supponendo di
effettuare i tagli sul fondo il più presto possibile nella sequenza di simulazione e di riutilizzare i
dati di generazione del fondo per successive simulazioni (anche se a spese della memoria di
massa), possiamo fissare il tempo di calcolo richiesto per la produzione del fondo a un fattore
dieci rispetto al segnale, cioè 3×1011 SI95 # s. Il tempo totale di CPU per la produzione Monte
Carlo sale così a 3.3×1011 SI95 # s.
Se richiediamo che la produzione possa essere effettuata in un anno (3×107 s), la potenza di
CPU richiesta diviene 1.1×104 SI95, pari a 550 CPU99.
La quota spettante alla parte italiana della collaborazione, pari al 5% del totale, sarà perciò di
550 SI95, equivalenti a 28 CPU99.
Come broker per la gestione dei job pensiamo di utilizzare Condor, che consentirebbe anche
di utilizzare altre macchine della Condor-farm INFN e soprattutto di ottimizzare lo sfruttamento
delle risorse di calcolo in ambito INFN. Riteniamo tuttavia che non sia da sovrastimare l’apporto
che le macchine esterne possono dare al nostro piano di calcolo, in quanto, sotto Linux, sono
disponibili attualmente 30000 MIPS corrispondenti a circa 750 SI95 (considerando uno SI95
equivalente a 40 MIPS), peraltro utilizzati anche da altri esperimenti, come CMS.
Requisiti per l’analisi di produzione
L’analisi di produzione opera sui dati ricostruiti in formato mini-DST, seleziona eventi
corrispondenti a canali di reazioni omogenee e li salva — separatamente per canale di reazione
— in formato più sintetico sui -DST (n-ple). Inoltre scrive file di TAG che consentono di
1
Dove si indica con SI95 lo SPECint95 e si definisce 1 CPU99 = 20 SPECint95
rintracciare gli eventi sui mini-DST e sui DST.
L’analisi di produzione può essere eseguita 3-4 volte l’anno sullo stesso campione, in seguito
alla messa a punto degli algoritmi di selezione, e ragionevolmente deve poter essere completata
in alcuni giorni.
Il tempo di CPU richiesto per l’analisi di produzione è 1.2 SI95 # s/evt, che, moltiplicato per
il numero di eventi reali prodotto in un anno, 2.4×108, dà un tempo totale di CPU pari a 2.9×108
SI95 # s. Se richiediamo di svolgere l’analisi in 7 giorni, la potenza di calcolo richiesta è pari a
circa 500 SI95, ovvero 25 CPU99.
A differenza della produzione Monte Carlo, che non ha particolari richieste di I/O, l’analisi di
produzione accede ai DST prodotti in un anno, per un totale di 1.2 TB di mini-DST, e talvolta
può pure richiedere l’accesso a una parte dei DST (stimata in 200 GB), che debbono essere
residenti su disco e di rapido accesso in lettura.
La richiesta di svolgere l’analisi in 7 giorni comporta poi una velocità di trasferimento dati in
lettura di 16 Mbps.
Requisiti per l’analisi utente
L’analisi utente viene eseguita dal singolo fisico in maniera semi-interattiva, cioè con un tempo
di risposta di alcune ore, sui file di n-ple (-DST).
L’analisi utente viene eseguita tipicamente su di un campione di eventi più grande di un’ordine
di grandezza del numero atteso di eventi di segnale, vale a dire, per una tipica analisi di 1000
eventi, su di un campione di 104 eventi.
Il tempo di CPU richiesto è di circa 20 SI95 # s/evt, ovvero, in totale, 2×105 SI95 # s. La
richiesta di terminare l’analisi entro 4 ore può essere soddisfatta da una potenza di calcolo pari
a 14 SI95.
Se si prevede, come è ragionevole, di svolgere 4 analisi simultanee, la potenza di calcolo
complessiva richiesta è pari a 60 SI95, ovvero 3 CPU99.
Requisiti di memoria di massa
L’ammontare di spazio du disco richiesto è pari a circa 1.7 TB, dei quali, 1.2 TB per contenere
la produzione completa annuale di mini-DST, 200 GB per contenere una parte dei DST, infine
300 GB di spazio di lavoro.
Architettura
L’architettura proposta è così costituita:
• uno switch ethernet 100Base-TX cui sono connessi:
• un server multiprocessore basato su CPU Intel Pentium III Xeon, usato come file-server
(NFS) e per compiti di analisi con alto throughput;
• una farm costituita da PC biprocessore basati su CPU Pentium III standard.
Il server dovrebbe contenere 1.4 TB di disco a rapido accesso, specialmente in lettura. La
soluzione più appropriata ci sembra quella di utilizzare almeno 2 interfacce SCSI LVD
indipendenti e due disk-array in architettura RAID 5. L’architettura RAID 0 (striping), che
consente un più rapido accesso in scrittura e uno sfruttamento del 100% della memoria dei dischi
(contro il 94% del RAID 5 con 16 dischi), è caratterizzata da una fault-tolerance che ci sembra
troppo bassa per la mole di dati.
Sul server è istallato il sistema operativo Linux e tutti gli strumento di sviluppo, editing e
analisi. L’istallazione dei PC della farm è invece minimale, limitata al sistema operativo alle shared
library e a tutto ciò che è indispensabile a runtime, al fine di ridurre il manpower richiesto per la
gestione e l’aggiornamento del sistema.
Costi
La valutazione dei prezzi per il 2001 è stata fatta supponendo che non si renda disponibile nel
frattempo, sul mercato, hardware particolarmente innovativo (come processori IA64) e
considerando un tempo di dimezzamento dei prezzi pari a 1.5a (CPU), 1.4a (dischi) e 2.1a
(registratori su nastro). I prezzi non sono comprensivi di IVA.
anno 2000
• Switch Ethernet 24 porte 100Base-TX . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 MA
• Server Intel
4×Pentium III Xeon 533 MHz, 2 MB cache (23.6 SI95),
1.5 GB RAM,
18 GB SCSI LVD HDD . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 MA
• Disk Array
5 canali RAID
128 MB cache
16 × 50 GB HDD (0.8 TB in RAID 0, 0.75 TB in RAID 5) . . . . . . . . . . . . . . . 65 MA
• 5×PC biprocessore
2×Pentium III 533 Mhz (22.3 SI95),
20 GB EIDE HDD,
256 MB RAM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5×5 MA
Totale 317 SI95, 075 TB HDD . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172 MA
anno 2001
• 4×Processore aggiuntivo per Server Intel
Pentium III Xeon 533 MHz, 2 MB cache (23.6 SI95) . . . . . . . . . . . . . . . . . . . 4×8 MA
• 9×PC biprocessore
2×Pentium III 800 Mhz (38.4 SI95),
20 GB EIDE HDD,
256 MB RAM (38.4 SI95) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9×5 MA
• Disk Array
5 canali RAID
128 MB cache
16 × 50 GB HDD (0.8 TB in RAID 0, 0.75 TB in RAID 5) . . . . . . . . . . . . . . . 40 MA
• DLT tape library
70 cassette
3 driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 MA
Totale 786 SI95, 0.75 TB HDD, . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177 MA
