Calcolo AMS Bruna Bertucci Università & INFN sezione di Perugia AMS-02 Spettrometro magnetico per lo studio della radiazione cosmica nello spazio antimateria primordiale (anti-nuclei) antimateria da sorgenti esotiche (dark matter, astrofisiche?) misura di precisione dei flussi gamma B.Bertucci - CSN2 29/11/2012 AMS : la collaborazione internazionale FINLAN HELSINKI D DENMAR UNIV. OF NETHERLAND K AARHUS E S SAUS FALORIDA A&M UNIV. JOHNS HOPKINS UNIV. MIT - CAMBRIDGE NASA GODDARD SPACE FLIGHT CENTER NASA JOHNSON SPACE CENTER NASA KENNEDY SPACE CENTER FLORIDA STATE UNIVERSITY (NAT. HIGH MAG. FIELD LAB) TEXAS A&M UNIVERSITY UNIV. OF FLORIDA UNIV. OF MARYLAND MEXIC UNIV. OF TEXAS UNA O YALE UNIV. - NEW HAVEN M GERMAN YRWTH-I ESTEC NIKHEF NLR RWTH-III MAX-PLANK INST. UNIV. OF KARLSRUHE FRANC GAM E MONTPELLIER LAPP ANNECY LPSC GRENOBLE SPAI CIEMAT N RUSSIA UNIV. UNIV. OF TURKU ROMANI ISS A UNIV. OF BUCHAREST SWITZERLAN E DTH-ZURICH UNIV. OF GENEVA MADRID I.A.C. CANARIAS. PORTUGA L LAB. OF INSTRUM. LISBON ITAL Y B.Bertucci - CSN2 29/11/2012 I.K.I. ITEP KURCHATOV INST. MOSCOW STATE UNIV. KORE A EWHA CHINA KYUNGPOOK NAT.UNIV. BISEE (Beijing) IEE (Beijing) IHEP (Beijing) SJTU (Shanghai) SEU (Nanjing) TAIWA SYSU N SINICA (Guangzhou) ACAD. SDU (Jinan) (Taiwan) AIDC (Taiwan) CSIST (Taiwan) NCU (Chung Li) NCKU (Tainan) NCTU (Hsinchu) NSPO (Hsinchu) AMS in Italia Trento Milano Bologn Pisaa Perugia Roma 1 (+ASDC) AMS-02: il rivelatore TRD TOF 1 Permanent Magnet Silicon Tracker 2 5-6 7-8 ECAL Tracker 3-4 RICH 9 B.Bertucci - CSN2 29/11/2012 AMS-02: il rivelatore TRD TOF Permanent Magnet Silicon Tracker RICH ECAL B.Bertucci - CSN2 29/11/2012 65m x 4m x 3m 7.5 tons 300,000 electronic channels 650 processors Silicon layer TRD TOF 1, 2 Magnet 7 Silicon layers Radiators TOF 3, 4 RICH ECAL 11,000 Photo Sensors Silicon layer B.Bertucci - CSN2 29/11/2012 AMS-02: 19 Maggio 2011 B.Bertucci - CSN2 29/11/2012 AMS-02 : la statistica 25 miliardi di eventi B.Bertucci - CSN2 29/11/2012 AMS-02 : la statistica in TB.. B.Bertucci - CSN2 29/11/2012 Il flusso dei dati : dal commissioning al lancio During testing at KSC, on the launch pad and on the ISS KSC, FL AMS AMS POCC (August 2010 to May 2011) JSC, TX AMS POCC, (February-June 2011) now backup POCC for CERN POCC NASA channels Internet MSFC POIC, AL CERN AMS GSC AMS POCC Main operations centre (from June 23, 2011) B.Bertucci - CSN2 29/11/2012 Il flusso dei dati CNAF-IT Reg. CENTERS ISS position AMS-MIB CERN AMS-MIB SOCC -CERN AMS-MIB POCC: JSC/CERN Postazione DATA AMS-MIB/MIT White Sands - NM Marshall Shuttle Flight Control B.Bertucci - CSN2 29/11/2012 AMS Payload Operation Control Center @ CERN Jun.23, 2011 B.Bertucci - CSN2 29/11/2012 Science Operation Centre Shift Takers @ POCC Science Operation Center: SOC Segue e coordina del diverse fasi della produzione dei dati Step 0: frame ai raw Step 1: raw ai .root non calibrati Step 2: dai .root non calibrati ai dati per l’analisi fisica [niterazioni !! ] Step 3: dai .root calibrati alle stream specializzate [fotoni, elettroni etc..] Segue e coordina la produzione MC nei centri regionali B.Bertucci - CSN2 29/11/2012 Il processamento dei dati step 0) Deframing & organizzazione dei dati raw in “runs” B.Bertucci - CSN2 29/11/2012 Il processamento dei dati: Step 1) La ricostruzione standard (STD stream) Runs 24/7 on freshly arrived data Includes initial Data Validation and Indexing Produces Data Summary Files and Event Tags for fast events selection Requires ~ 70 CPU cores to cope with data rate Reconstructed data are available for the collaboration in average less than 3 hrs after flight data arrived at POCC and are used to produce various calibrations for the second production as well as quick AMS performance evaluation B.Bertucci - CSN2 29/11/2012 AMS Production Schematics: Runs Automatically, Operator Assisted for Monitoring Il processamento dei dati Step 2) La produzione dei dati per l’analisi (pass-xx) • Second/Physics Production Uses all the available Calibrations, Alignments, Ancillary data from the ISS as well as Slow Control Data (Temperatures, Pressures,Voltages) to produce physics analysis ready set of reconstructed data. Step 3) Lo streaming in canali di fisica (pass-xx, stream) Uses Event Summary tags (64bit word/event) to reprocess separate streams of Data like • • • • Charge >1 (stream zg1) EcalShower (stream ecal) Unbiased Trigger (stream unb) … B.Bertucci - CSN2 29/11/2012 Risorse di calcolo @ CERN Step 0 production farm ≈ HW “vicino” al POCC Step 1-2-3 ≈ 700 cores integrati in CERN-IT + code pubbliche [ supporto dai centri esterni ..] Disk Storage : 400 TB/anno (R/W production team, R users) + 100 TB/anno (R/W users), CASTOR + xrootd Sistema in evoluzione … B.Bertucci - CSN2 29/11/2012 In estrema sintesi… Flusso ininterrotto di dati: -dati ricostruiti ≈ 200 TB/anno -dati raw ≈ 35 TB/anno Durante il periodo della ri-produzione overlap tra I sample di dati STD production : from raw data to root files : Full size @ CNAF PER ANALISI Vxxx.PASS2: after 1st calibration (TRD, Alignment..) Vyyy.PASS-n: after n-th calibration (TRD, Alignment..) Full size 10-15% data size Vzz.ECAL, BIGZ, : test calibrations (TRD, Alignment..) B.Bertucci - CSN2 29/11/2012 Produzione Monte Carlo AMS web server @CERN Virtual nodes request MC jobs Ui-03 @CNAF AMS MC data @CERN Mi DT system Replica del sistema già operante al CNAF : Download del exe (gbatch) e database aggiornati (se necessario) 1. job submission. 2. I job terminati scrivono su una specifica directory monitorata dal sistema di DT 3. I files vengono inviati al CERN per la validazione centrale in AMS 4. Goto 1 B.Bertucci - CSN2 29/11/2012 MC & Analisi : Dove? I Centri Regionali ASDC (IT) Streams from CNAF (Analysis) CNAF (IT) MC simu/reco Analysis + Data reproduction CIEMAT (ES) Lione (FR) MC simu/reco NLAA (RPC) SEU (RPC MC simu/reco @ CERN SOC + analysis facility Germany Data reproduction [50 gg/day] Taiwan ˚MC simu/reco Data reproduction Data transfer & DT monitoring tools INFN-MIB™ B.Bertucci - CSN2 29/11/2012 Calcolo AMS : Italia Facility comune : CNAF Master copy dei dati (frames+raw) [Tape] MC production [CPU+Tape per MC raw] Data Reconstruction (specific “stress” periods) [CPU+disco per staging dei raw data] Analisi [CPU, disco per i dati ricostruiti, disco per gli utenti] + Farm di sezione (non finanziate da CSN2) Pisa Milano B. (+HW per la gestione del data transfer) B.Bertucci - CSN2 29/11/2012 Risorse @ CNAF Finanziate dalla CSN2 fino al 2012 CPU : 5532 HS06 DISCO: 343 TBN TAPE: 150 TBN Richieste/assegnate per il 2013: DCPU: + 1000 HS06 DDISCO: + 400 TBN DTAPE: + 120 TBN B.Bertucci - CSN2 29/11/2012 Esperienza @ CNAF Il bilancio è positivo….anche se tutto può essere migliorato !!! Pro: feedback in caso di problemi e disponibilità del personale continuità del servizio Problemi: tempistica con cui vengono rese disponibili le risorse [nonostante i quadrupli salti mortali per cercare di trovare una soluzione insieme…] B.Bertucci - CSN2 29/11/2012 Stato di utilizzo delle risorse O G G I nell’anno.. s u l l a c o d a d Jobs running….: molti in coda, ma limite effettivo i ≈ 500-800 a n B.Bertucci - CSN2 29/11/2012 a On average: ≈ 814 AMSPROD ≈ 3236 AMS ≈ 4000 HEPSPEC-DAY CPU coda AMS B.Bertucci - CSN2 29/11/2012 Stato di utilizzo delle risorse storage/gpfs_superb/ams/users/ ≈ 15 TB 300 TB /storage/gpfs_ams/ ≈ 270 TB usati * 36 TB /storage/gpfs_02/ams/ ≈ 19 TB usati la scarsità dello spazio disponibile e la frammentazione dei dati su più filesystem [quelli in prestito, non direttamente accessibili al DT ] crea un overhead non piccolo nella gestione dei dati B.Bertucci - CSN2 29/11/2012 AMS02: Data Transfer al CNAF Stato DT CERN ↔ CNAF Giugno/Novembre 2012 Il DT avviene dal CERN tramite LCG/SRM DT dati RAW (su tape): Nessun problema Interventi “trasparenti” 34 TB (230k files) trasferiti senza problemi Il DT di dati MC e/o REC avviene su disco, accessibile anche agli utenti tramite gpfs. DT dati MC 18 TB (67k files) trasferiti DT dati ricostruiti 287 TB (240k files) [summary from M.Boschini] AMS02: Data Transfer al CNAF Il DT su disco ha avuto un certo numero di problemi nel periodo in esame: Alcuni dovuti all'insufficienza dello spazio disco allocato ad AMS Non trascurabile lavorio da parte di CNAF e AMS Tuttavia downtime generato solo dell'ordine dell'1% (elapsed) Problemi di provisioning CNAF ? Altri dovuti a problemi di gpfs/srm/quote Non trascurabile lavorio da parte di CNAF e AMS Downtime generato dell'ordine dell'7% (elapsed) [summary from M.Boschini]