Pittori - GLAST at INFN-Pisa

L’ AGILE Data Center (ADC) @ ASDC
Carlotta Pittori, 2-3 Luglio 2007, ASDC-ESRIN
 L’ AGILE Data Center è la parte scientifica dell' AGILE Ground
Segment basato a ASDC/ESRIN. ADC è costituito da due entità:
• l’ AGILE Team Processing Group (personale del Team)
• l’ AGILE Science Support Center (personale di ASDC).
 ADC ha la responsabilità di tutte le attività scientifiche relative
all’utilizzo dei dati di AGILE: processamento, archiviazione e distribuzione
di tutti i dati scientifici.
INPUT : Row data
(TM Level-0)
Preprocessing:
Level-1 data
Primary data generation: Quicklook &
Standard analysis Level-2 data
(photon list and logfile)
Scientific analysis:
Level-3 data
OUTPUT : High level data products
(count maps, spectra, light curves …)
Paolo Giommi
ASDC Director
Gruppo AGILE Science Support Center ad ASDC:
F. Tamburelli
(AGILE in calibrazione @ LNF)
A. Antonelli, G. Fanari, B. Preger, C. Pittori, F. Verrecchia, D. Gasparrini, F. Acerra, S. Stellato
M. E. Pennisi, S. Cutini, P. Santolamazza, R. Primavera (assente)
(ASDC-INAF + DATASPAZIO)
AGILE GS Architecture
S-Band
Kenya
Fucino, Italy
Fucino, Italy
ASINet
Command, HK, Sci raw data
Fucino Gateway
Fucino, Italy
Satellite
Control
Center
Mission
Control
Center
Flight
Dynamics
Center
Command, HK, Sci raw data
TM L0 &
Aux Data
Long Term Plan
Obs Planning File
ASI Malindi
Ground Station
ASINet
Fucino Gateway
Calibration,
SW for data analysis, ...
Frascati, Italy
AGILE
DATA
CENTER
@ASDC
AGILE Team
Processing Group
AGILE Science
Support Center at
ASDC
Data
Agile Pointing Program
APPC
Products
and SW
ASINet
internet
AGILE Operation Control Center
AGILE Data Center
Agile
Team
internet
AO/GOP
Scientific
Community
AGILE Data Center
Long Term Plan/Obs Planning File
Data Analysis
System
TM, L0,
Aux Data
Mission Planning
System
L1, L2, L3
Products,
SW Development
and Integration
System
AOCC
TM, L0,
Aux Data
ASINet
Agile Pointing Program
APPC
Calibration,
SW for data analysis
AGILE
Team
Data
analysis
SW
Data (Aux, L0,L1, L1cor)
Data Archive
System
Data and SW Distribution
System
internet
Product, Catalogues,
SW for Data Analysis
Scientific
Community
GOP
AO/Guest Observer Program
Agile Data Center
AO
ADC schema fase operativa:
2.
Data Processing
&
Archiving
1.
GS Activity
&
MCC Interface
1.1
Mission
Planning
1.2
Data Flow
Monitoring
APP Manag
(& OB status)
LTP/OPF
Nominal
1.3
Contingency
Management
2.1
Automatic Pipeline
Monitoring
TM LV0
TOO/PRR
TM PPS Branch
(LV0  LV1)
Quick Scientific
Monitoring
SuperAGILE
pipeline
5.
Payload
Configuration
Control
2.2
Archive
Management and
Data Backup
AUX Branch
Auxiliary
OSM Manag
3.
AO/GOP
GRB Alert
Manag
Correction & Health
Monit. (HM)
GRID QL:
QLSTD (T Bricks) &
QLSCI (Incremental)
GRID Standard
Analysis on OB
(LV2  LV3)
AO Data Request
Manag
2.3
Interactive Data
Analysis
GO Data & SW
Distribution
GRID QLUSR
Calibration
HM Alert
Manag.
CALDB
Updates
OB Bricks
Validation
GO Help Desk
4.
Public WEB Pages
&
User Support
Scientific Analysis
(LV3 refinement)
AGILE GRID & SA
Catalogs
On-line archive
in MMIA and VO
FAQ & Scientific
Help Desk
Documentation
Interfaccia Web interna all’archivio e al DataBase AGILE @ ASDC:
3.
AO/GOP
(Sara’ resa in parte accessibile all’esterno
all’apertura delle AO, vedi Antonelli talk)
2.
Data Processing
&
Archiving
1.
GS Activity
&
MCC Interface
1/4
AGILE Services @ ASDC
1. Mission Planning
Interface
1.1
Agile Pointing
Program Tool
1.2
LTP/OPF
Tool
2. Data Processing
Interface
3. AO/GOP
Interface
1.3
1.4
1.5
OSM Tool
Scientific
Observations,
Observation
Blocks Database
& Archive
ADC Operation
Plan Document &
Planning Tools
User Manual
4.
Public WEB
Pages
1.
GS Activity
&
MCC Interface
1.1.1. Planning nominale: Agile Pointing Program (APP) input da APPC + MD. Scambi
operativi ASDC-MCC di Long Term Plan/Observation Planning File LTP/OPF (Normal):
LTP: Numero intero di SO, Copertura circa un mese, Cadenza circa ogni due settimane,
Emissione con anticipo di circa una settimana, Overlap yes.
OPF: Numero intero di OB, Copertura circa due settimane, Cadenza circa ogni una/due
settimane, Risposta LTP+2gg (~ 16 working hours) con anticipo di circa 5 gg, Overlap
yes.
1.1.2 LTP/OPF in caso di Target of Opportunity /Partial Repointing Request (TOO/PRR)
LTP/PRR: LTP Nominale con nuovo OB PRR con start date entro qualche orbita (~ 90
working minutes). In una prima fase di training di operatori le richieste di PRR saranno
effettuate da TPZ entro 1 gg lavorativo.
LTP/TOO: LTP Nominale con nuova SO TOO con start date entro 1 gg lavorativo.
1.
GS Activity
&
MCC Interface
1.2.1. Interfacce Auxiliary previste da ICD
Formati file AUX tutti testati in AIV. Pipeline di ricezione, check e archiviazione I/F AUX attiva
gia’ dall’inizio del Commissioning.
1.2.2 Installazione e Test Rete ASInet tratta Fucino-ASDC (M. Ricci).
1.2.3 Trasferimenti TM LV0 Fucino/ASDC ok fin dal primo contatto. Gestione casi non
nominali via OSM.
1.3 Contingency Management: I/F Contingency. Test Formati OK. Operativita’ sotto la
responsabilita’ del MD con supporto Payload Config Control System (Team).
2/4
AGILE Services @ ASDC
1. Mission Planning
Interface
2. Data Processing
Interface & Archives
3. AO/GOP
Interface
4.
Public WEB
Pages
2.1
2.2
2.3
2.4
2.5
2.6
2.7
Auxiliary
pipeline branch
TM PPS
pipeline
branch
Correction
& HM
pipeline
branch
GRID QuickLook
pipeline branch
GRID Standard
Analysis pipeline
branch
SuperAGILE
pipeline branch
Piattaforme HW
in configurazione
target &
documentazione
AGILE SW Structure & Data Flow:
AOCC
PREPROCESSING
PROPOSAL
MANAGEMENT
P/L CONFIGUR.
CONTROL
USERS
Level-0 TM data
(binary)
PLANNING
Level 1
(TM in FITS)
CORRECTION
Data pre-processing
INTERACTIVE
ANALYSIS
AUX. DATA
RECEIPT &
PROCESSING
QUICK LOOK
ANALYSIS
CALIBRATION &
RESPONSE ANALYSIS
Level-1 cor TM
data (FITS)
Primary
Data
STANDARD
ANALYSIS
Corrected
Data
& Correction
DATA DISTRIBUTION
HEALTH
MONITORING
Calibration
Results
Ground
Calibrations
Archive
High level
data products
GRID QLA
SuperAGILE QLA
(t ~ few orbits)
(orbit)
QLA results available
to the community
Level-2 QL data
SCIENTIFIC
ANALYSIS
GRID Standard
Analysis
(Observation Block)
SuperAGILE Standard
Analysis
Standard Level-2 data
(GRID photon list + logfile)
and Level-3 data
(imaging/spectral/timing)
GOP
SuperAGILE standard
monitoring results available to
the community
ADC HW Architecture
Responsabile HW ASDC: M. Ricci, Sistemista ASDC: P. D’Angeli
• 6 Computing Server by ASDC
• 1 WEB server + Storage by ASDC
• 3 Computing Server by INAF
Processamenti e Data Management @ ASDC:
Rami attivi della
pipeline di
processamento
automatico
Sessioni di analisi
dati interattiva
Pipeline di analisi e archiviazione dati automatica
+ sessioni analisi interattiva:
Shell script
export tool
Link to data
and Logs
Accesso e Visualizzazione (Java Applet) ai Data Files:
Preliminary AGILE
Vela PSR Count Map
prodotta a ASDC,
24/5/2007
(circa 20000 sec tot.)
(Commissioning Phase:
prima luce di GRID)
3/4
AGILE Services @ ASDC
1. Mission Planning
Interface
2. Data Processing
Interface & Archives
3.1
Proposal Tool
3. AO/GOP
Interface
3.2
Proposal Database
3.3
Data & SW for GO
4.
Public WEB
Pages
3.4
GO Documentation
and Help Desk
Descrizione AO/GOP I/F: vedi prossimo talk
Angelo Antonelli
4/4
AGILE Services @ ASDC
1. Mission Planning
Interface
2. Data Processing
Interface & Archives
4.1
AGILE
Catalogue
4.2
SuperAGILE Weather
Map & GRB Alert page
3. AO/GOP
Interface
4.3
On-line AGILE
archive in MMIA
4.
Public WEB
Pages
4.4
AGILE@ASDC
home page &
On-line
Documentation
4.5
FAQ & Help
Desk
Riassunto principali attività ADC@ASDC pre-Lancio e Lancio:
 Ottimizzazione della ricezione, gestione e archiviazione Telemetria (TM) e
Auxiliary files provenienti dal Ground Segment di Telespazio (TPZ) al Fucino.
 Assembly and Integration Validation (AIV) e System Validation Test (SVT4) con
TPZ
 Test end-to-end con TPZ Fucino tramite rete ASINET
 Sviluppo e integrazione pipeline di analisi dati a ASDC con moduli SW forniti
dal Team
Rami: TM-PPS (Team), Auxiliary, Correction, QL automatica e interattiva, Health &
Performance Monitoring, Standard & Scientific Analysis.
 Data Analysis Test pre-lancio in collaborazione con l’AGILE Team
 Database dei processamenti e struttura archivi dati.
 Sviluppo interfaccia WEB interna all’archivio e al DB degli Agile Services
 Standardizzazione formati delle photon list e dei prodotti scientifici di alto
livello e del database di calibrazione (CALDB) secondo gli standard
multimissione OGIP
Attività ADC@ASDC di Commissioning (in corso) e Science Verification Phase:
 Supporto attività
archiviazione dati
di
Commissioning:
planning,
ricezione,
analisi
e
 Completamento e test pipeline di analisi dati standard di GRID (build 10)
 Supporto installazione SuperAGILE pipeline (v1) e integazione col sistema Agile
Services @ ASDC
 Definizione e sviluppo interfaccia WEB dedicata per validazione e distribuzione
dei prodotti scientifici
Fase operativa (minimo 2 anni):
 Completamento di tutti i rami della pipeline
 Completamento LV3 e archivi
 Standardizzazione del SW da distribuire agli utenti e relativo User Manual
 Supporto alle attività ADC:
planning, manutenzione e supporto SW, archiviazione e data backup, scientific health
monitoring, pipeline monitoring, analisi interattiva, aggiornamento calibrazione, AO
management, punto di contatto per multiwavelenght observations, FAQ, etc.