Situazione attuale e sviluppi futuri del software di MEG

Situazione del software di
MEG, catena di analisi e
preparazione al run 2007
Fabrizio Cei
INFN e Università di Pisa
CSN1, Frascati 20 Settembre 2007
20 Settembre 2007
Fabrizio Cei
1
Sommario
 Struttura e stato del software di MEG
 Release del software, produzione di massa
 Riepilogo sulle risorse di CPU e spazio
disco/nastro
 Schema della procedura di analisi
 Tecnica di analisi (likelihood)
 Organizzazione del Run 2007
20 Settembre 2007
Fabrizio Cei
2
Struttura del software di MEG
Simulazione
MEGMC
Simulazione WFM e pile-up
MEGBartender
(ROME)
ROOT
MEGAnalyzer
(ROME)
ZEBRA
Dati reali
DAQ
MIDAS
ROOT
20 Settembre 2007
Fabrizio Cei
3
Interfaccia con i DataBase
Dati Midas
Front End
DAQ
Dati Root
Run Catalog
ODB
(Online DataBase)
MYSQL DataBase
Offline
(MEGAnalyzer)
ricostruzione
Costanti di Calibrazione
On-line Monitor
(3rd Level trigger ?)
20 Settembre 2007
Tabelle DB
Fabrizio Cei
mid2root
4
Aggiornamenti: MEGMC
• Generazione degli eventi:
–
–
–
implementati nuovi eventi di calibrazione: LED, protoni su B, cosmici;
in fase di implementazione la simulazione dell’annichilazione in volo
dei positroni tramite campionamento della traiettoria (test in corso);
raffinamento della simulazione del decadimento radiativo con
calcolo dello spazio delle fasi corrispondente al range cinematico.
• Apparato sperimentale:
•
- campo magnetico unificato con MEGBartender/MEGAnalyzer;
- piccoli raffinamenti “in corso d’opera” durante l’allestimento
(angolo del bersaglio, pannelli di honeycomb, LED …);
- opzioni per differenti geometrie (RUN2007, RUN2006 …);
- miglioramento nella simulazione della deriva elettronica nelle camere
(aggiunta della diffusione).
Riorganizzazione della struttura degli hits (TICP(Z), DCH, XEC).
20 Settembre 2007
Fabrizio Cei
5
Aggiornamenti: MEGBartender
MEGBartender funziona in maniera stabile.
 Mescola eventi MC a distanza temporale fissa o
utilizzando la statistica di Poisson;
 Raffinamento dei parametri della simulazione
sulla base dei dati del run 2006;
 Simulazione delle waveforms: aggiunti TTS per LXe,
attenuazione del DRS, funzione di risposta delle DCH,
effetti degli splitter;
 Implementata la simulazione di vari tipi di trigger;
 Tempo di calcolo: (1.2  1.3) sec CPU/evento nella
regione del segnale.
20 Settembre 2007
Fabrizio Cei
6
Aggiornamenti: MEGAnalyzer
 Utilizzabile sia in off-line che come on-line monitor;
 Grande sforzo nella parte di tracciamento del positrone: multipli
algoritmi di hit e cluster finding e di track finding e fitting;
 Implementati algoritmi di decodifica delle waveforms (estrazione
di tempo e carica), ricostruzione temporale e calibrazione per il
calorimetro a Xenon liquido e per il TC;
 Aggiunti algoritmi di pattern recognition per il pile-up nel
calorimetro;
 Inserito un gruppo di routines (GLB) per la ricostruzione finale
dell’evento (correlazione DC-TC, angolo e tempo relativo fra
fotone e positrone, selezione degli eventi più interessanti …).
20 Settembre 2007
Fabrizio Cei
7
I metodi (tasks) per LXe
20 Settembre 2007
Fabrizio Cei
8
I metodi per DCH e TC
 DCH
Era la parte più
carente, per cui è
quella su cui si è
concentrato il
maggior impegno
(~ 10 fisici).
 TC
Implementate anche
tasks per il calcolo
della lunghezza di
attenuazione.
20 Settembre 2007
Fabrizio Cei
9
Composizione del gruppo di
analisi e responsabilità
• Coordinazione/framework: R.Sawada (Tokyo), M.Schneebeli (PSI)
• Gestione del database: R. Sawada
Nuovi membri
• Analyzer:
LXe: R.Sawada, G.Signorelli (Pisa), F. Cei (Pisa) + alcuni studenti di
Pisa e Tokyo
DCH: M.Schneebeli, H.Nishiguchi (Tokyo), P.Huwe (UCI), F. Ignatov
(PSI), W. Molzon (UCI), B. Golden (UCI), V. Tumakov (UCI),
C. Topchan (UCI), D. Nicolò (Pisa), F. Yu (UCI), F. Xiao (UCI);
TC: P.Cattaneo (Pavia), A. Barchiesi (Roma), G. Cavoto (Roma),
D. Zanello (Roma), S. Dussoni (Genova), L. Galli (Pisa), G. Gallucci
(Pisa), C. Voena (Roma), Y. Uchiyama (Tokyo);
Trigger: D. Nicolò, G. Signorelli, L. Galli, Y. Hisamatsu (Tokyo).
20 Settembre 2007
Fabrizio Cei
10
Release del software
Il release del software atteso per aprile è
stato posposto alla fine di settembre a
causa di:
- definizione della struttura dei dati e
degli hits e match fra MEGMC, MEGBartender
e MEGAnalyzer;
- problemi sul Bartender (mixing troppo lento);
- quantità ed importanza degli upgrades
(soprattutto per DCH).
20 Settembre 2007
Fabrizio Cei
11
Produzione di massa MC
Test preliminari (~ 105 eventi) superati con successo.
Necessario definire il tipo ed il numero di eventi da
generare per ciascun tipo.
Richieste previste per il 2007:
 RUN2007 (LXe, DCH, TC)
 Calibrazioni (LXe, DCH, TC)
 Tabelle per il Trigger (Trigger)
In passato una sola richiesta, dal gruppo di lavoro
dell’analisi (utile anche come test ulteriore e per una
valutazione dei tempi necessari).
Produzione 2008: discussione nelle milestones.
20 Settembre 2007
Fabrizio Cei
12
Produzione per il gruppo di analisi
Fondo Accidentale (100 k eventi) – 3 x 107/s m stopping rate
gem RD (Y>0.01)
1,500 k events
15 Hrs
90 GB
gem Michel (X>0.01)
1,000 k events
1 Hrs
52 GB
gem RD (Y>0.5)
1,000 k events
72 Hrs
165 GB
Bartender
100 k events
1.9 Hrs
71 GB
Fondo Correlato (100 k eventi) - 3 x 107/s m stopping rate
gem RD (Y>0.01)
1,500 k events
(15 Hrs)
(90 GB)
gem Michel (X>0.01)
1,000 k events
(1 Hrs)
(52 GB)
gem RD (Y>0.75, X>0.90)
1,000 k events
84 Hrs
200 GB
Bartender
100 k events
1.7 Hrs
73 GB
gem RD (Y>0.01)
1,500 k events
(15 Hrs)
(90 GB)
gem Michel (X>0.01)
1,000 k events
(1 Hrs)
(52 GB)
Segnale (no trigger)
100 k events
10 Hrs
24 GB
Bartender
30 k events
0.5 Hrs
25 GB
Mescolamento con trigger m→eg (30 k eventi) – 3 x 107/s m stopping
rate
Totale: 186 ore (1 settimana) di CPU e 700 GB sul cluster del PSI.
20 Settembre 2007
Fabrizio Cei
13
Sistema offline di MEG
15 x 500 GB SATA
GBit Ethernet
Sun Fire x4100 quad core 4 GB
Sun Fire x4100 quad core 4 GB
Sun Fire x4100 quad core 4 GB
Fiber Channel Switch
Sun Fire x4100 quad core 4 GB
Sun Fire x4100 quad core 4 GB
•
•
Situazione attuale:
- 20 Cores Opteron 2.4 GHz in linea + 4 Cores in installazione;
- 46 Tb disco per l’acquisizione dati + 750 Gb per analisi individuali;
- disponibilità di tapes ignota.
I Cores saranno portati gradualmente a 64; le macchine sono già al PSI e
sono sotto tests. Altri 3 Tb di disco attendono di essere montati.
20 Settembre 2007
Fabrizio Cei
14
Necessità di MEG e
disponibilità del PSI
PSI Tap es
30  40 Tbytes
(free) + 40
Tbytes occupied
by backup (to be
freed)
Total
70  80 Tbyt es
PSI nodes
 64
(probably
Opteron)
Total
PSI Disks
4 Tbyt es
(backuped) +
6 Tbyt es (no
backuped)
64 CPU’s
10 Tb ytes
MEG needs
~ 10 Tbyt es/yr
(real data)
~ 40  50 Tbytes/ yr
( MC production)
~ 10 Tbyt es/yr
(overhead, DST’ s)
60 70 Tbytes/yr
MEG needs
(single pr ocess ing /year)
~ 5 CPU’s
(real data; no WF M f itting)
< 1 CPU
(sel ected dat a; WF M f itting)
~ 2 0 CPU’s
(MC production + B artender)
~ 10 CPU’s
(MC rec .; no WF M fitting)
< 1 CPU
(MC s election r ec.; WFM fitting)
~ 35 (+ 20 per 10 repr .) CPU’s
20 Settembre 2007
Fabrizio Cei
Stime di gennaio 2006:
60  70 Tb/anno (TAPE);
10 Tb/anno (DISCO);
50  70 CPU/anno
Per il run 2007, 20 Tb
di disco dovrebbero
essere sufficienti per
la presa dati, a cui
occorre aggiungere
il MC. Per questo run non
sono previste riduzioni
dei dati (tests).
15
Modello di calcolo
Strategia generale:
 il PSI garantisce la potenza di calcolo e lo spazio disco
necessario per le analisi di massa e le calibrazioni;
 in Italia (singole sezioni) si esegue solo
l’analisi finale su un ristretto campione
di dati calibrati e ricostruiti in dettaglio.
 Anche le altre istituzioni (Giappone e USA)
intendono seguire uno schema simile per limitazioni di
potenza di calcolo e di velocità di trasferimento.
20 Settembre 2007
Fabrizio Cei
16
Modello di calcolo: assunzioni
Dati reali
 Assumiamo un trigger rate di 5 Hz e 107 sec di tempo vivo/anno
 5 x 107 eventi/anno.
 Ciascun evento (senza riduzioni) occupa ~ 9 Mb (incluso il trigger),
dominato dalle waveforms (1024 canali, 2 Bytes/canale); lo spazio
corrispondente è quindi ~ 450 Tb/anno.
Calibrazioni
 ~ 5 x 107 eventi/anno nel calorimetro (p su Li, a, g da Ni, p0 …);
NO WFM   8 kb/evento   500 Gbytes/anno
 ~ 107 eventi/anno nelle DCH (positroni di Michel, cosmici ..);
NO WFM   5 kb/evento   60 Gbytes/anno
 TC piccolo impatto  totale calibrazioni < 1 Tb/anno
Monte Carlo
 ~ 40  50 Tb
20 Settembre 2007
Fabrizio Cei
17
Passi dell’analisi
 PASSO 0: compressione e pre-analisi on-line al PSI
 Necessario un fattore 15 di compressione (450 30 Tb, discussione in seguito);
 Algoritmi on-line rapidi forniscono informazioni ADC-TDC-like;
 I dati compressi vengono salvati su dischi/nastri del PSI.
 PASSO 1: ricostruzione rapida al PSI
 Tramite l’informazione veloce si può ridurre il numero di eventi di circa un
fattore 50  100 utilizzando: impulso positrone, energia fotone, correlazione
angolare; efficienza ~ 90 %.
 Tagli laschi per minor qualità dell’informazione e calibrazione;
 Salvataggio anche dell’informazione ricostruita;
 PASSO 2: ricostruzione completa al PSI del campione selezionato e
produzione di n-uple (o trees) con calibrazioni più raffinate
 Analisi wfm dettagliata (ricerca di pile-up …);
 Occupazione totale delle n-uple per 106 eventi è ~ alcuni Gb (trascurabile);
 PASSO 3: trasferimento dati selezionati + n-uple e analisi locale
 Analisi finale per la
- ricerca di eventi m  eg;
- studio di fondi, correlazioni …;
 Trasferire anche i dati raw per ripetere l’analisi delle wfm su eventi interessanti.
20 Settembre 2007
Fabrizio Cei
18
Riduzione dati (Tb)
Originale
Dati
450
Cal.
1
MC
Tot.
40  50
 500
20 Settembre 2007
Passo 0
20  40
Passo 1
Passo 2
Passo 3
0.2  0.4 0.2  0.4 come 2
non
non
applicato applicato
non
non
applicato applicato
20  40 0.2  0.4
+ MC
+ MC
Fabrizio Cei
+ n-uple
~ 0.1
~ 0.01
(n-uple +
database)
0.04
~ 0.05
0.3  0.5 < 0.5
19
Tempo macchina
Passo 0
Dati
cluster
on-line
Calibr.
non
applicato
MC
non
applicato
Totale on-line
Cores on-line
Proces.
1
20 Settembre 2007
Passo 1
(0.5  1)
sec/evento
non
applicato
(10  20)
sec/evento
(produzione)
5 x 107 s + MC
30 + 40 (MC)
5 + MC
Passo 2
Passo 3
(1  2)
sec/evento
(0.5  1)
sec/evento
(1  2)
sec/evento
~ 0.1 sec/ev.
+ riprocess. ..
~ 0.1 sec/ev.
+ riprocess. ..
come i dati
5 x 107 s
30 (Calibr.)
10 + MC
Fabrizio Cei
~ mese
4  6
varie
20
Conclusione sul modello
 La strategia di calcolo assume che tutto la parte “pesante”
sia eseguita al PSI:
- analisi fino alla produzione di n-uple;
- compressione e analisi on-line:
PASSO 0
- ricostruzione veloce e preselezione: PASSO 1
- analisi accurata:
PASSO 2
- processamento calibrazioni: solo PASSO 2;
- produzione e analisi MC:
solo PASSO 2;
 A livello locale si esegue solo l’analisi di n-uple o trees su
campioni selezionati: PASSO 3;
 Le necessità locali per questo tipo di analisi sono dell’ordine di:
5  6 CPU’s (Opteron, Pentium IV …)
2 Tb di disco per 3  4
ricostruzioni
20 Settembre 2007
Fabrizio Cei
21
Problema: dimensione dei dati
 Nel run 2006 la dimensione degli eventi era di 2.8
Mb e corrispondeva a 1/3 della configurazione
finale (50% DC + TICP, no LXe); il rate di
acquisizione era di ~ 10 Hz.
 Senza alcuna riduzione si può quindi stimare una
dimensione degli eventi di 9 Mb, che con un trigger
rate di 5 Hz ed un tempo vivo di 107 sec corrisponde
a 450 Tb/anno, inaccettabile per le limitazioni di
storage al PSI
 necessità di riduzione dei dati
 0.4  0.8 Mb/evento  20  40 Tb/anno.
20 Settembre 2007
Fabrizio Cei
22
Soluzioni proposte
 Riduzione dati delle waveforms:
- Soppressione degli zeri (canali sotto soglia);
- Riduzione del numero di punti tramite re-binning (in alcune
regioni, per es. la coda degli impulsi);
- Riduzione della finestra temporale di registrazione dei dati.
 Registrazione della sola informazione ADC/TDC per
eventi di calibrazione;
 Trigger di 3o livello (selezione on-line degli eventi
tramite una ricostruzione veloce).
20 Settembre 2007
Fabrizio Cei
23
Applicabilità
 Calorimetro a LXe:
verificato che un re-binning 1:4 per altezza d’impulso < 20 mV e
1:8 per altezza d’impulso < 10 mV non ha effetti rilevanti sulla
ricostruzione in E e t  re-binning è una soluzione praticabile.
 DCH:
- il numero medio di fili colpiti per camera è 2.7 su 9 
soppressione degli zeri produce un fattore di riduzione 3.2;
- un ulteriore fattore 1.4 si può ottenere utilizzando una finestra
temporale di 700 ns per eventi di Michel.
 Timing Counter:
TC (120 ch) ha molto minor impatto di DCH (1728) e LXe (846). Tuttavia:
- larghezza d’impulso (~ 50 ns) « finestra DRS (512 ns) 
possibile ridurre la finestra di registrazione;
- generalmente (23 barre) su 30 per evento  soppressione zeri realistica.
20 Settembre 2007
Fabrizio Cei
24
Stato e prospettive
Situazione:
- implementata libreria on-line di funzioni per l’analisi waveform;
- implementata la soppressione degli zeri a soglia singola;
- implementata la riduzione dei dati DCH nel front-end;
- implementato il calcolo dell’ADC nel front-end;
Da fare:
- completare implementazione di analisi waveforms;
- algoritmo per informazione TDC;
- studi sistematici degli effetti sui dati per ciascun rivelatore;
- implementare trigger di terzo livello;
- test degli algoritmi di riduzione nel RUN 2007.
20 Settembre 2007
Fabrizio Cei
25
Analisi di likelihood per MEG
 Confronta le distribuzioni attese e misurate per il segnale ed il
fondo e quindi utilizza il massimo di informazione disponibile.
 Necessario determinare le distribuzioni di probabilità (pdf) per il
segnale (S) e per il fondo correlato (RD) ed accidentale.
 Attualmente le pdf si possono estrarre con il MC, ma per il fondo
potranno essere misurate (almeno in parte) sui dati reali.
 Lo scopo di questi studi è la determinazione della sensibilità di
MEG nel caso di 0 eventi di segnale e fondo eguale all’aspettato
(“null experiment”). L’ordinamento degli esperimenti simulati si
basa sulla prescrizione di Feldman e Cousins (“likelihood ratio”).
20 Settembre 2007
Fabrizio Cei
26
PDF’s 1): e+ & g energy
Utilizzato per i fotoni solo il fondo radiativo (anche per le accidentali) con E > 50 MeV.
e+
Segnale
g
RD
Segnale
Accidentale
FWHM = 0.8 %
FWHM = 5 %
RD
Accidentale
Pdf’s normalizzate a 1 e sommate in base al peso relativo atteso dei vari tipi di eventi.
FWHM del positrone migliorata 1.0  0.8 %; FWHM del fotone migliorata 6.5  5 %.
20 Settembre 2007
Fabrizio Cei
27
PDF’s 2): Dt & Dq
Dq
Dt
Segnale
Segnale + RD
RD
FWHM = 180 ps
Accidentale (assunto piatto)
FWHM  1o
Accidentale (assunto piatto in cos q)
Dt assunto piatto per gli eventi accidentali e gaussiano per segnale/RD (come da risultato
MC, con un miglioramento); Dq ricavato da MC (risultati MC compatibili con la proposta).
20 Settembre 2007
Fabrizio Cei
28
Sensibilità
2.15 x 10-13
m rate 3 x 107/s
Tempo di misura: 3 anni
Efficienza  25 %
del “null” experiment
20 Settembre 2007
 Tre possibili finestre di ricerca:
il risultato non dipende dai
tagli scelti.
 Il limite di sensibilità vale
2.15 x 10-13
equivalente a quello che si
ottiene con un’analisi di box
assumendo fondo  0.
Eventi binnati per semplicità di
calcolo; ripetuto unbinned
migliora a  1.9 x 10-13.
 Importante: conoscendo la pdf
del fondo si tiene conto in
modo automatico degli eventi
di fondo che penetrano nella
regione del signale.
N.B. Cerchi vuoti & croci sono spostate
di 0.05 sull’asse x (B.R.) per chiarezza.
Fabrizio Cei
29
Vantaggio: effetti di bordo
Box analysis
window
0 eventi nella
box analysis
Likelihood analysis window
Box analysis
window
1 evento nella
box analysis
Likelihood analysis window
Box analysis: il limite peggiora in maniera discontinua.
Likelihood analysis: considera l’evento una fluttuazione del fondo, per cui il
valore della likelihood cambia molto poco  il limite peggiora poco
e con continuità.
20 Settembre 2007
Fabrizio Cei
30
Organizzazione run 2007 - 1)
 Immagazzinamento dei dati:
possibile struttura delle directory.
Che fare con i junk runs ? (informazioni sui
punti critici del sistema)
 Standardizzazione delle procedure di analisi
on-site e off-line (produzione e applicazione
delle costanti di calibrazione, ricostruzione
completa, selezione degli eventi …);
+- run +- 001xx
|
+- 002xx
|
+- 003xx
|
+- calib +- 001xx
|
+- 002xx
|
+- 003xx
|
+- junk +- 001xx
+- 002xx
+- 003xx
 Analisi del tempo necessario per il
processamento delle calibrazioni Separare LXe, DCH, TC, Trigger, …
e la determinazione delle costanti;
20 Settembre 2007
Fabrizio Cei
31
Organizzazione run 2007 - 2)
 Distribuzione dei dati all’esterno del PSI.
Nel nostro modello di calcolo tutta la parte pesante deve essere
svolta al PSI. Inoltre trasferire tutti i dati saturerebbe la rete
(ci attendiamo un rate di dati di 5 Mb/s, mentre il link PSITokyo(UCI) arriva a (200  400) kB/s). Pertanto la distribuzione dei
dati richiede una preselezione (on or off-line).
 Copia dei dati dall’on-line ai dischi off-line tramite una procedura
automatica (da scrivere);
 Formazione di gruppi di esperti per la calibrazione dei singoli
sottorivelatori;
 Compito software dei turnisti: controllare la qualità dei dati
tramite opportuni istogrammi di controllo forniti dagli esperti.
20 Settembre 2007
Fabrizio Cei
32
Conclusioni - 1)
Il software di MEG ha raggiunto una condizione di
buona stabilità in molte sue componenti (MEGMC,
MEGBartender, molte sezioni di MEGAnalyzer), per cui
è pronto per un nuovo release (fine settembre);
Importanti progressi soprattutto nelle DCH e
nell’organizzazione dei dati;
Meetings frequenti e regolari per i sottorivelatori;
Una prima produzione di massa MC è stata effettuata
positivamente sul cluster del PSI; una produzione più
consistente è attesa per l’anno prossimo;
20 Settembre 2007
Fabrizio Cei
33
Conclusioni – 2)
L’applicabilità dell’analisi di likelihood a MEG è stata
verificata positivamente su dati MC ed ha fornito una
ragionevole stima della sensibilità di MEG;
Le risorse di calcolo e spazio disco al PSI (circa un
terzo della configurazione finale) sembrano sufficienti
per il run 2007 + MC e sono in progressiva evoluzione;
Lo schema dell’analisi è basato su un’analisi di massa con
processamento delle calibrazioni al PSI ed un’analisi
finale su un campione ristretto nelle singole istituzioni.
L’organizzazione del run 2007 è in corso; alcuni punti
devono essere definiti in dettaglio (gestione dei dati,
procedure automatizzate di analisi, compiti dei turnisti …).
20 Settembre 2007
Fabrizio Cei
34