AMS @ CSN2 - Agenda INFN

Calcolo AMS
Bruna Bertucci
Università & INFN sezione di Perugia
AMS-02
Spettrometro magnetico per lo studio della radiazione
cosmica nello spazio




antimateria primordiale (anti-nuclei)
antimateria da sorgenti esotiche (dark matter,
astrofisiche?)
misura di precisione dei flussi
gamma
B.Bertucci - CSN2 29/11/2012
AMS : la collaborazione internazionale
FINLAN
HELSINKI
D
DENMAR
UNIV. OF
NETHERLAND K
AARHUS
E
S SAUS
FALORIDA A&M UNIV.
JOHNS HOPKINS UNIV.
MIT - CAMBRIDGE
NASA GODDARD SPACE FLIGHT
CENTER
NASA JOHNSON SPACE CENTER
NASA KENNEDY SPACE CENTER
FLORIDA STATE UNIVERSITY
(NAT. HIGH MAG. FIELD LAB)
TEXAS A&M UNIVERSITY
UNIV. OF FLORIDA
UNIV. OF MARYLAND
MEXIC
UNIV. OF TEXAS
UNA
O
YALE UNIV. - NEW HAVEN
M
GERMAN
YRWTH-I
ESTEC
NIKHEF
NLR
RWTH-III
MAX-PLANK INST.
UNIV. OF
KARLSRUHE
FRANC
GAM
E
MONTPELLIER
LAPP ANNECY
LPSC GRENOBLE
SPAI
CIEMAT N
RUSSIA
UNIV.
UNIV. OF
TURKU
ROMANI
ISS
A
UNIV. OF
BUCHAREST
SWITZERLAN
E
DTH-ZURICH
UNIV. OF
GENEVA
MADRID
I.A.C.
CANARIAS.
PORTUGA
L
LAB. OF INSTRUM.
LISBON
ITAL
Y
B.Bertucci - CSN2 29/11/2012
I.K.I.
ITEP
KURCHATOV INST.
MOSCOW STATE
UNIV.
KORE
A EWHA
CHINA
KYUNGPOOK
NAT.UNIV.
BISEE (Beijing)
IEE (Beijing)
IHEP (Beijing)
SJTU (Shanghai)
SEU (Nanjing)
TAIWA
SYSU
N SINICA
(Guangzhou)
ACAD.
SDU (Jinan)
(Taiwan)
AIDC (Taiwan)
CSIST (Taiwan)
NCU (Chung Li)
NCKU (Tainan)
NCTU (Hsinchu)
NSPO (Hsinchu)
AMS in Italia
Trento
Milano
Bologn
Pisaa
Perugia
Roma 1
(+ASDC)
AMS-02: il rivelatore
TRD
TOF
1
Permanent Magnet
Silicon Tracker
2
5-6
7-8
ECAL
Tracker
3-4
RICH
9
B.Bertucci - CSN2 29/11/2012
AMS-02: il rivelatore
TRD
TOF
Permanent Magnet
Silicon Tracker
RICH
ECAL
B.Bertucci - CSN2 29/11/2012
65m
x 4m x 3m
7.5 tons
300,000 electronic channels
650 processors
Silicon layer
TRD
TOF 1, 2
Magnet
7 Silicon layers
Radiators
TOF 3, 4
RICH
ECAL
11,000 Photo Sensors
Silicon layer
B.Bertucci - CSN2 29/11/2012
AMS-02: 19 Maggio 2011
B.Bertucci - CSN2 29/11/2012
AMS-02 : la statistica 25 miliardi di eventi
B.Bertucci - CSN2 29/11/2012
AMS-02 : la statistica in TB..
B.Bertucci - CSN2 29/11/2012
Il flusso dei dati : dal commissioning al lancio
During testing at KSC,
on the launch pad and on the ISS
KSC, FL
AMS
AMS POCC
(August 2010 to
May 2011)
JSC, TX
AMS POCC,
(February-June 2011) now
backup POCC
for CERN POCC
NASA
channels
Internet
MSFC POIC, AL
CERN
AMS GSC
AMS POCC
Main operations centre
(from June 23, 2011)
B.Bertucci - CSN2 29/11/2012
Il flusso dei dati
CNAF-IT
Reg. CENTERS
ISS
position
AMS-MIB
CERN
AMS-MIB
SOCC -CERN
AMS-MIB
POCC: JSC/CERN
Postazione DATA
AMS-MIB/MIT
White Sands - NM
Marshall Shuttle Flight Control
B.Bertucci - CSN2 29/11/2012
AMS Payload Operation Control Center @ CERN
Jun.23, 2011
B.Bertucci - CSN2 29/11/2012
Science Operation Centre Shift Takers
@ POCC
Science Operation Center: SOC

Segue e coordina del diverse fasi della produzione dei dati





Step 0: frame ai raw
Step 1: raw ai .root non calibrati
Step 2: dai .root non calibrati ai dati per l’analisi fisica [niterazioni !! ]
Step 3: dai .root calibrati alle stream specializzate [fotoni,
elettroni etc..]
Segue e coordina la produzione MC nei centri regionali
B.Bertucci - CSN2 29/11/2012
Il processamento dei dati step 0)

Deframing & organizzazione dei dati raw in “runs”
B.Bertucci - CSN2 29/11/2012
Il processamento dei dati: Step 1)
La ricostruzione standard (STD stream)





Runs 24/7 on freshly arrived data
Includes initial Data Validation and Indexing
Produces Data Summary Files and Event Tags for fast events
selection
Requires ~ 70 CPU cores to cope with data rate
Reconstructed data are available for the collaboration in
average less than 3 hrs after flight data arrived at POCC and
are used to produce various calibrations for the second
production as well as quick AMS performance evaluation
B.Bertucci - CSN2 29/11/2012
AMS Production Schematics:
Runs Automatically, Operator Assisted for Monitoring
Il processamento dei dati
Step 2) La produzione dei dati per l’analisi (pass-xx)
• Second/Physics Production

Uses all the available Calibrations, Alignments, Ancillary data from the
ISS as well as Slow Control Data (Temperatures, Pressures,Voltages)
to produce physics analysis ready set of reconstructed data.
Step 3) Lo streaming in canali di fisica (pass-xx, stream)

Uses Event Summary tags (64bit word/event) to reprocess separate
streams of Data like
•
•
•
•
Charge >1 (stream zg1)
EcalShower (stream ecal)
Unbiased Trigger (stream unb)
…
B.Bertucci - CSN2 29/11/2012
Risorse di calcolo @ CERN

Step 0 production farm ≈ HW “vicino” al POCC

Step 1-2-3 ≈ 700 cores integrati in CERN-IT + code
pubbliche [ supporto dai centri esterni ..]

Disk Storage : 400 TB/anno (R/W production team, R
users) + 100 TB/anno (R/W users), CASTOR + xrootd

Sistema in evoluzione …
B.Bertucci - CSN2 29/11/2012
In estrema sintesi…
Flusso ininterrotto di dati:
-dati ricostruiti ≈ 200 TB/anno
-dati raw ≈ 35 TB/anno
Durante il periodo della ri-produzione
overlap tra I sample di dati 
STD production : from raw data to root files :
Full size
@ CNAF PER
ANALISI
Vxxx.PASS2: after 1st calibration (TRD, Alignment..)
Vyyy.PASS-n: after n-th calibration (TRD, Alignment..)
Full size
10-15% data size
Vzz.ECAL, BIGZ, : test calibrations (TRD, Alignment..)
B.Bertucci - CSN2 29/11/2012
Produzione Monte Carlo
AMS web server
@CERN
Virtual
nodes
request MC jobs
Ui-03 @CNAF
AMS MC data
@CERN
Mi DT system
Replica del sistema già operante al CNAF :
Download del exe (gbatch) e database aggiornati (se necessario)
1. job submission.
2. I job terminati scrivono su una specifica directory monitorata dal
sistema di DT
3. I files vengono inviati al CERN per la validazione centrale in AMS
4. Goto 1
B.Bertucci - CSN2 29/11/2012
MC & Analisi : Dove? I Centri Regionali
ASDC (IT)
Streams from
CNAF
(Analysis)
CNAF (IT)
MC simu/reco
Analysis
+ Data reproduction
CIEMAT (ES)
Lione (FR)
MC simu/reco
NLAA (RPC)
SEU (RPC
MC simu/reco
@ CERN
SOC
+
analysis
facility
Germany Data
reproduction
[50 gg/day]
Taiwan
˚MC simu/reco
Data reproduction
Data transfer & DT monitoring tools INFN-MIB™
B.Bertucci - CSN2 29/11/2012
Calcolo AMS : Italia
Facility comune : CNAF




Master copy dei dati (frames+raw) [Tape]
MC production [CPU+Tape per MC raw]
Data Reconstruction (specific “stress” periods) [CPU+disco
per staging dei raw data]
Analisi [CPU, disco per i dati ricostruiti, disco per gli utenti]
+ Farm di sezione (non finanziate da CSN2)


Pisa
Milano B. (+HW per la gestione del data transfer)
B.Bertucci - CSN2 29/11/2012
Risorse @ CNAF
Finanziate dalla CSN2 fino al 2012



CPU : 5532 HS06
DISCO: 343 TBN
TAPE: 150 TBN
Richieste/assegnate per il 2013:
 DCPU: + 1000 HS06
 DDISCO: + 400 TBN
 DTAPE: + 120 TBN
B.Bertucci - CSN2 29/11/2012
Esperienza @ CNAF
Il bilancio è positivo….anche se tutto può essere
migliorato !!!
Pro:
 feedback in caso di problemi e disponibilità del personale
 continuità del servizio
Problemi:
 tempistica con cui vengono rese disponibili le risorse
[nonostante i quadrupli salti mortali per cercare di trovare
una soluzione insieme…]
B.Bertucci - CSN2 29/11/2012
Stato di utilizzo
delle risorse
O
G
G
I
nell’anno..
s
u
l
l
a
c
o
d
a
d Jobs running….: molti in coda, ma limite effettivo
i ≈ 500-800
a
n
B.Bertucci - CSN2 29/11/2012
a
On average:
≈ 814 AMSPROD
≈ 3236 AMS
≈ 4000 HEPSPEC-DAY
CPU coda AMS
B.Bertucci - CSN2 29/11/2012
Stato di utilizzo delle risorse



storage/gpfs_superb/ams/users/ ≈ 15 TB
300 TB /storage/gpfs_ams/ ≈ 270 TB usati *
36 TB /storage/gpfs_02/ams/ ≈ 19 TB usati
 la
scarsità dello spazio disponibile e la frammentazione
dei dati su più filesystem [quelli in prestito, non
direttamente accessibili al DT ] crea un overhead non
piccolo nella gestione dei dati
B.Bertucci - CSN2 29/11/2012
AMS02: Data Transfer al CNAF

Stato DT CERN ↔ CNAF Giugno/Novembre 2012
 Il DT avviene dal CERN tramite LCG/SRM
 DT dati RAW (su tape):
 Nessun problema
 Interventi “trasparenti”
 34 TB (230k files) trasferiti senza problemi
 Il DT di dati MC e/o REC avviene su disco, accessibile
anche agli utenti tramite gpfs.
 DT dati MC
 18 TB (67k files) trasferiti
 DT dati ricostruiti
 287 TB (240k files)
[summary from M.Boschini]
AMS02: Data Transfer al CNAF

Il DT su disco ha avuto un certo numero di problemi nel
periodo in esame:
 Alcuni dovuti all'insufficienza dello spazio disco allocato ad
AMS
 Non trascurabile lavorio da parte di CNAF e AMS
 Tuttavia downtime generato solo dell'ordine dell'1%
(elapsed)
 Problemi di provisioning CNAF ?
 Altri dovuti a problemi di gpfs/srm/quote
 Non trascurabile lavorio da parte di CNAF e AMS
 Downtime generato dell'ordine dell'7% (elapsed)
[summary from M.Boschini]