Word - project

[IGIRTC-85] StoRM v. 1.10.0 certificazione Created: 28/Jun/12 Updated: 24/Jul/12
Due:
02/Jul/12 Resolved: 24/Jul/12
Status:
Project:
Component/s:
Affects
Version/s:
Fix Version/s:
Security Level:
Closed
IGI-MW - Release-Testing-Certification
None
None
Type:
Reporter:
Resolution:
Labels:
Remaining
Estimate:
Time Spent:
Original
Estimate:
Task
Doina Cristina Duma
Fixed
IGI-Testing
2 days
Attachments:
namespaceCert-29.xml
namespaceCert-41.xml
siteinfoSL5.tgz
siteinfoSL6.tgz
tstorm-sanity-cert-29.log
tstorm-sanity-cert-41.log
tstorm_1341416989.0.log
None
Public (Visbile by non-authn users.)
Priority:
Assignee:
Votes:
Major
Sergio Traldi [X] (Inactive)
0
Not Specified
2 days
Description
StoRM v. 1.10.0 certificazione (EMI 2)
task:
https://savannah.cern.ch/task/?30816
repositories da usare - vedi info in:
https://wiki.italiangrid.it/twiki/bin/view/IGIRelease/IGITestCert#Certification_Repositories
creare twiki con report test & certificazione in:
https://wiki.italiangrid.it/twiki/bin/view/IGIRelease/TestingStorm
Comments
Comment by Doina Cristina Duma [ 28/Jun/12 ]
steps:
1 - aggiugere i rpm per EMI 2 nel repo di certificazione
2 - verificare macchine da usare con Sergio
3 - preparazione macchine - Danilo
tra i fix ci sono 2 per GPFS, uno non neccessita' GPFS, l'altro si, ma useremo i risultati di Michele.
A CNAF si sta mettendo su un testbed GPFS per StoRM - Danilo stai atento prendere i riferimenti
passi piu' detagliati domani.
Comment by Doina Cristina Duma [ 28/Jun/12 ]
aggiunto anche Michele per seguirci nella certificaz.
Comment by Michele Dibenedetto [ 29/Jun/12 ]
Il fix che richiede gpfs per essere testato è il https://storm.cnaf.infn.it:8443/redmine/issues/289 Ho aggiornando
il testplan aggiungendo al test di questo issue un workflow che non richiede di avere un FS GPFS
Comment by Doina Cristina Duma [ 29/Jun/12 ]
grazie!!
Comment by Sergio Traldi [X] (Inactive) [ 03/Jul/12 ]
Io parto oggi con la certificazione usero' cert-29.pd.infn.it SL5 x86_64 e cert-41.pd.infn.it per SL6 x86_64.
Se ci sono possibili problemi fatemeli sapere al prima che mi blocco.
Ciao
Sergio
Comment by Sergio Traldi [X] (Inactive) [ 03/Jul/12 ]
Ciao Michele,
dal task savannah c'e' un link che non funziona System Administration Guide.
http://storm.forge.cnaf.infn.it/_media/documentation/storm-1.10.0-sysadminguide.pdf
Not Found mi dice.
Riesci a linkarlo giusto?
Ciao
Sergio
Comment by Michele Dibenedetto [ 03/Jul/12 ]
Sistemato
Comment by Sergio Traldi [X] (Inactive) [ 04/Jul/12 ]
Ciao Michele,
grazie per il link.
Ieri ho installato SL6 con storm BE e FE e ho configurato senza problemi.
Il ping funziona sia sulla SL5 che SL6:
SL5:
[traldi@cert-25 ~]$ clientSRM Ping -e httpg://cert-29.pd.infn.it:8444
============================================================
Sending Ping request to: httpg://cert-29.pd.infn.it:8444
Before execute:
execute Request with:Ping
started calling ns1__srmPing:
finished calling ns1__srmPing:
Afer execute:
Request Status Code 0
Poll Flag 0
============================================================
Request status:
statusCode="SRM_SUCCESS"(0)
explanation="SRM server successfully contacted"
============================================================
SRM Response:
versionInfo="v2.2"
otherInfo (size=3)
[0] key="backend_type"
[0] value="StoRM"
[1] key="backend_version"
[1] value="<FE:1.8.0-10><BE:1.10.0-1>"
[2] key="backend_os_distribution"
[2] value="Scientific Linux release 5.8 (Boron)"
============================================================
SL6:
[traldi@cert-25 ~]$ clientSRM Ping -e httpg://cert-41.pd.infn.it:8444
============================================================
Sending Ping request to: httpg://cert-41.pd.infn.it:8444
Before execute:
execute Request with:Ping
started calling ns1__srmPing:
finished calling ns1__srmPing:
Afer execute:
Request Status Code 0
Poll Flag 0
============================================================
Request status:
statusCode="SRM_SUCCESS"(0)
explanation="SRM server successfully contacted"
============================================================
SRM Response:
versionInfo="v2.2"
otherInfo (size=3)
[0] key="backend_type"
[0] value="StoRM"
[1] key="backend_version"
[1] value="<FE:1.8.0-10><BE:1.10.0-1>"
[2] key="backend_os_distribution"
[2] value="Scientific Linux release 6.2 (Carbon)"
============================================================
Volevo cominciare a runnare le testsuite prima i sanity check e poi da UI. Sulla cert-29.pd.infn.it avrei gia'
installato la tstrom 1.2 (via tgz) seguendo questa doc:
https://storm.cnaf.infn.it:8443/redmine/projects/t-torm/wiki
Ottengo tutti OK meno un FAIL (ma devo ancora verificare a cosa e' relativo quindi magari e' una mia
configurazione teniamolo solo qui di promemoria):
test_mysql_storage_space_update
(tstorm.tests.deployment.regression.service_configuration.RegressionConfigurationTest) ... FAIL
======================================================================
FAIL: test_mysql_storage_space_update
(tstorm.tests.deployment.regression.service_configuration.RegressionConfigurationTest)
---------------------------------------------------------------------Traceback (most recent call last):
File "/usr/lib/python2.4/site-packages/tstorm/tests/deployment/regression/service_configuration.py", line 367, in
test_mysql_storage_space_update
AssertionError
Sulla SL6 invece ho visto che sono disponibili degli rpm o gli 1.3 o 2.0:
http://storm.forge.cnaf.infn.it/repository/internal/
Pero' entrambi quando provo ad installarli mi chiede python 2.7:
[root@cert-41 ~]# rpm -Uvh tstorm-common-2.0.0-1.sl16.noarch.rpm tstorm-sanity-2.0.0-1.sl16.noarch.rpm
error: Failed dependencies:
python(abi) = 2.7 is needed by tstorm-common-2.0.0-1.sl16.noarch
python(abi) = 2.7 is needed by tstorm-sanity-2.0.0-1.sl16.noarch
[root@cert-41 ~]# rpm -Uvh tstorm-sanity-1.3.0-1.sl16.noarch.rpm tstorm-common-1.3.0-1.sl16.noarch.rpm
error: Failed dependencies:
python(abi) = 2.7 is needed by tstorm-sanity-1.3.0-1.sl16.noarch
python(abi) = 2.7 is needed by tstorm-common-1.3.0-1.sl16.noarch
C'e' un minimo di doc su come si installano e su come funzionano gli rpm (dove mette il file ini di conf, ...) e
cosa lanciare.
Grazie
Ciao
Sergio
Comment by Michele Dibenedetto [ 04/Jul/12 ]
Ciao Sergio,
la versione di tstorm da usare è la 1.2, le altre sono in testing.
Per quel test fallito vorrei che ci guardasse Elisabetta. E' possibile aggiungerla come observer di questo task?
Michele
Comment by Doina Cristina Duma [ 04/Jul/12 ]
aggiunta elisabetta nel watchers
Comment by Doina Cristina Duma [ 04/Jul/12 ]
notizie qui?
dove posso mettermi le mani?
Comment by Doina Cristina Duma [ 04/Jul/12 ]
dimenticato di dire che non abbiamopiu' tempo . Max ancora 1 giorno.
Comment by Sergio Traldi [X] (Inactive) [ 04/Jul/12 ]
Non e' fattibile in un giorno fare tutto, cioe' io sono partito ieri con certificazione.
Tutto quello che potevo scrivere lo ho scritto, cioe':

SL5 - macchina cert-29.pd.infn.it - UPDATE OK - CONF OK - TEST SANITY DA dentro HOST quasi tutto OK da UI il ping OK - testsuite ancora da lanciare

SL6 - macchina cert-41.pd.infn.it - INSTALL da zero OK - CONF OK - nessun SANITY ancora
LANCIATO - pinga da UI OK - testsuite ancora da lanciare
poi mancherebbero i regression e tutta la documentazione (e UPDATE SL6 e INSTALL da ZERO SL5).
Tempo stimato da me 2 o 3 giorni se tutto va liscio.
Comment by Doina Cristina Duma [ 04/Jul/12 ]
non abbiamo 2, 3 giorni- il piu' tardi domani sera con Certified venerdi mattina.
allora:


update SL6 - non abbiamo nessun SL6 con STORM gia' installato? sesi lo prendo e faccio io update e
configurazione stasera
install da 0 SL5 - abbiamo una macchina SL5 vuota a PD che posso prendere?
Comment by Elisabetta Ronchieri [ 04/Jul/12 ]
Dal thread mi sembra che il log che fallisce e' quello mysql.
Dovrebbe essere legato al file def e namespace.xml che contengono una SIZE OFFLINE altina.
Potreste fare attach del .def e namespace.xml.
Purtroppo questa versione di tstorm contiene ancora il test mysql vecchio stampo.
Eli
Comment by Sergio Traldi [X] (Inactive) [ 04/Jul/12 ]
A Padova nessuna SL5 bisogna scratare quelle che ci sono ma quello faccio presto e' tutta la documentazione e i
test che mi repoccupano di piu'.
Il site info def e' legato gia' a questo task sia SL5 che SL6
su SL6 i SANITY CHECK ce ne sono parecchi FAIL ora appendo tutto in ordine:
file allegati SL5:
siteinfoSL5.tgz (contiene site-info.def, user.conf, group.conf e conf vo)
tstorm-sanity-cert-29.log (e' il log che deriva dal lancio dei sanity check quello che viene messo in tmp)
namespaceCert-29.xml (namespace.xml della macchine cert-29.pd.infn.it)
file SL6:
siteinfoSL6.tgz (contiene site-info.def, user.conf, group.conf e conf vo)
tstorm-sanity-cert-41.log (e' il log che deriva dal lancio dei sanity check quello che viene messo in tmp)
namespaceCert-41.xml (namespace.xml della macchine cert-41.pd.infn.it)
Comment by Sergio Traldi [X] (Inactive) [ 04/Jul/12 ]
Attendo news su cosa fare per sanity check e per lancio di tstorm da UI.
Per scratch e configure faccio io domani sia SL5 che SL6.
Ciao
Sergio
Comment by Elisabetta Ronchieri [ 04/Jul/12 ]
Il problema e' il seguente: la versione che stai usando di tstorm non ripristina la cond iniziale per il .def, quindi
rieseguendo i test n volte aumentano sempre i valori di:
STORM_TESTERSEUEMIEU_ONLINE_SIZE=140348156
STORM_DTEAM_ONLINE_SIZE=14669444
STORM_INFNGRID_ONLINE_SIZE=1530494588
STORM_TESTERSEUEMIEU_NO_VOMS_ONLINE_SIZE=13399384
e di conseguenza la size nel namespace.xml.
Dovresti per entrambe le versioni partire da dei volori piu' umani per la SIZE, tipo 4. Considera che tali valori
esprimono GB per cui il valore attuale e' un po' elevato.
Cambiato il .def rigira yaim prima di reiseguire i test. La volta successiva non ci saranno fallimenti.
Ovviamente questo impatta solo i sanity test.
Comment by Sergio Traldi [X] (Inactive) [ 04/Jul/12 ]
Ok grazie, sto rirunnando.
Ciao
Sergio
Comment by Sergio Traldi [X] (Inactive) [ 04/Jul/12 ]
Ciao per SL5 tutto bene.
Per SL6 ho ancora un po' di fail vedere file allegato:
tstorm_1341416989.0.log
....
OK
test_gluetwo_endpoint (tstorm.tests.deployment.regression.gluetwo_ldapquery.GluetwoLdapTest) ... ok
---------------------------------------------------------------------Ran 1 test in 0.001s
OK
test_backend_server_status
(tstorm.tests.deployment.regression.service_configuration.RegressionConfigurationTest) ... FAIL
======================================================================
FAIL: test_backend_server_status
(tstorm.tests.deployment.regression.service_configuration.RegressionConfigurationTest)
---------------------------------------------------------------------Traceback (most recent call last):
File "/root/tstorm/usr/lib/python2.4/site-packages/tstorm/tests/deployment/regression/service_configuration.py",
line 41, in test_backend_server_status
self.assert_(sr_result['status'] == 'PASS')
AssertionError
---------------------------------------------------------------------Ran 1 test in 0.527s
FAILED (failures=1)
test_backend_logrotate_file
(tstorm.tests.deployment.regression.service_configuration.RegressionConfigurationTest) ... ok
---------------------------------------------------------------------Ran 1 test in 0.040s
OK
test_backend_gridhttps (tstorm.tests.deployment.regression.service_configuration.RegressionConfigurationTest)
... FAIL
======================================================================
FAIL: test_backend_gridhttps
(tstorm.tests.deployment.regression.service_configuration.RegressionConfigurationTest)
---------------------------------------------------------------------Traceback (most recent call last):
File "/root/tstorm/usr/lib/python2.4/site-packages/tstorm/tests/deployment/regression/service_configuration.py",
line 108, in test_backend_gridhttps
self.assert_(sr_result['status'] == 'PASS')
AssertionError
---------------------------------------------------------------------Ran 1 test in 0.537s
FAILED (failures=1)
test_yaim_version_file (tstorm.tests.deployment.regression.service_configuration.RegressionConfigurationTest)
... ok
---------------------------------------------------------------------Ran 1 test in 3.798s
OK
test_size_in_namespace_file
(tstorm.tests.deployment.regression.service_configuration.RegressionConfigurationTest) ... ok
---------------------------------------------------------------------Ran 1 test in 0.051s
OK
test_gridhttps_plugin_links
(tstorm.tests.deployment.regression.service_configuration.RegressionConfigurationTest) ... ok
---------------------------------------------------------------------Ran 1 test in 0.092s
OK
test_backend_server_name_status
(tstorm.tests.deployment.regression.service_configuration.RegressionConfigurationTest) ... FAIL
======================================================================
FAIL: test_backend_server_name_status
(tstorm.tests.deployment.regression.service_configuration.RegressionConfigurationTest)
----------------------------------------------------------------------
Traceback (most recent call last):
File "/root/tstorm/usr/lib/python2.4/site-packages/tstorm/tests/deployment/regression/service_configuration.py",
line 238, in test_backend_server_name_status
self.assert_(sr_result['status'] == 'PASS')
AssertionError
---------------------------------------------------------------------Ran 1 test in 0.427s
FAILED (failures=1)
test_mysql_storage_space_update
(tstorm.tests.deployment.regression.service_configuration.RegressionConfigurationTest) ... ok
---------------------------------------------------------------------Ran 1 test in 131.313s
OK
test_mysql_connector_java_links
(tstorm.tests.deployment.regression.service_configuration.RegressionConfigurationTest) ... ok
---------------------------------------------------------------------Ran 1 test in 0.083s
OK
Comment by Doina Cristina Duma [ 04/Jul/12 ]
great!!!!!!!!!!!!!!
Grazie mille!!!!
Comment by Sergio Traldi [X] (Inactive) [ 04/Jul/12 ]
Qui si trova tutta la doc che finora sono riuscito a produrre:
https://wiki.italiangrid.it/twiki/bin/view/IGIRelease/Task30816
Tutti i link aggiornati sono OK, quelli mancanti vediamo domani.
I test sui 2 StoRM SL5 e SL6 sono tutti OK.
come dicevo manca sanity check del SL6 e da testare i regression nuovi, dove possibile se non sono gia' stati
inseriti nella testsuite (cosa che non credo).
Ciao
Sergio
Comment by Elisabetta Ronchieri [ 04/Jul/12 ]
Guardo il motivo degli errori su sl6.
Eli
Comment by Michele Dibenedetto [ 04/Jul/12 ]
Sergio, i nuovi test non sono stati inseriti nella testsuite ma sono descritti nel testplan. Per sapere quali sono ti
basta guardare sul nostro bug tracker quali sono i bachi fixati in questa versione:
https://storm.cnaf.infn.it:8443/redmine/projects/storm/issues?fixed_version_id=25&set_filter=1&status_id=o
e per tutti quelli che hanno il campo "Associated Test" a "yes" (questa volta tutti) puoi trovarne il test associato
nel testplan facendo una ricerca usando l'url dell'issue come chiave
Michele
Comment by Sergio Traldi [X] (Inactive) [ 05/Jul/12 ]
Ciao Michele, stavo provando a testare il:
https://storm.cnaf.infn.it:8443/redmine/issues/269
Provavo on il comando:
[traldi@cert-25 tstorm]$ srm-reserve-space -guaranteed_size=20 -retention_policy=volatile srm://cert29.pd.infn.it:8444/srm/managerv2?SFN=/testers.eu-emi.eu/a1341478936.0
Thu Jul 05 11:29:21 CEST 2012: java.lang.IllegalArgumentException
ma come vedi mi dice java.lang.IllegalArgumentException
Sicuramente sbaglio qulacosa io, mi sapresti dare il comando usato da voi di esempio?
Sergio
Comment by Michele Dibenedetto [ 05/Jul/12 ]
Stai usando il client di dCache immagino, e gli hai trovato un bug...usa il nostro, funziona
clientSRM ReserveSpace -e httpg://omii004-vm03.cnaf.infn.it:8444 -d expiringSpaceToken -r 0,0 -a 1000000 -c
30
-d: nome logico da dare allo spazio
-r: tipo di spazio (retention policy=replica,accessLatency=online)
-a: dimensione in byte
-c: lifetime in secondi (non obbligatorio)
per info:
clientSRM --help
clientSRM ReserveSpace -help
Michele
Comment by Doina Cristina Duma [ 05/Jul/12 ]
ciao,
allora la descrizione dice "not existing space alias".
Questo nella tua risposta è = "expiringSpaceToken" ?
Comment by Michele Dibenedetto [ 05/Jul/12 ]
"not existing space alias" = un alias che non è associato a nessuno spazio --> non era stata fatta precedentemente
una ReserveSpace su quello stesso alias.
"expiringSpaceToken" è una stringa qualunque non usata precedentemente
Michele
Comment by Sergio Traldi [X] (Inactive) [ 05/Jul/12 ]
Ciao,
ok ora provo invece per il bug 289:
https://storm.cnaf.infn.it:8443/redmine/issues/289
Se setto queste variabili nel site info def, ovviamente piu' tutte le altre che c'erano gia':
STORM_TEST_FSTYPE="gpfs"
STORM_TEST_ONLINE_SIZE=724
STORM_TEST_VONAME=dteam
STORM_TEST_ROOT="/storage/test"
Quando parte il backend si incazza di brutto e mi fa uscire tutte quete cosette:
14:36:02.999 - INFO [main] - NAMESPACE : Inizializating ...
14:36:02.999 - INFO [main] - +++++++++++++++++++++++
14:36:02.999 - INFO [main] - Production Mode
14:36:02.999 - INFO [main] - +++++++++++++++++++++++
14:36:03.385 - INFO [main] - Namespace Document is valid with Schema
14:36:03.528 - INFO [main] - ############## REFRESHING NAMESPACE CONFIGURATION CACHE :
start ###############
14:36:03.768 - ERROR [main] - Native code library 'libgpfsapi_interface.so' failed to load: /usr/lib64/stormbackend-server/libgpfsapi_interface.so: libgpfs.so: cannot open shared object file: No such file or directory
14:36:03.768 - INFO [main] - Java VM searched for 'libgpfsapi_interface.so'in java.library.path:
/usr/lib64/storm-backend-server/
14:36:03.768 - INFO [main] - Add the library location to the environment variable LD_LIBRARY_PATH or to
the Java property java.library.path
14:36:03.773 - ERROR [main] - Unable to instantiate the FS Driver. Wrong target.
java.lang.reflect.InvocationTargetException
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) [na:1.6.0_31]
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:39)
[na:1.6.0_31]
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:27)
[na:1.6.0_31]
at java.lang.reflect.Constructor.newInstance(Constructor.java:513) [na:1.6.0_31]
at it.grid.storm.namespace.model.VirtualFS.makeFSInstance(VirtualFS.java:331) [storm-backendserver.jar:1.10.0-1]
at it.grid.storm.namespace.model.VirtualFS.setFSDriver(VirtualFS.java:147) [storm-backend-server.jar:1.10.01]
at it.grid.storm.namespace.config.xml.XMLNamespaceParser.buildVFSs(XMLNamespaceParser.java:383)
[storm-backend-server.jar:1.10.0-1]
at it.grid.storm.namespace.config.xml.XMLNamespaceParser.refreshCache(XMLNamespaceParser.java:253)
[storm-backend-server.jar:1.10.0-1]
at
it.grid.storm.namespace.config.xml.XMLNamespaceParser.refreshCachedData(XMLNamespaceParser.java:203
[storm-backend-server.jar:1.10.0-1]
at it.grid.storm.namespace.config.xml.XMLNamespaceParser.<init>(XMLNamespaceParser.java:134) [stormbackend-server.jar:1.10.0-1]
at it.grid.storm.namespace.NamespaceDirector.initializeDirector(NamespaceDirector.java:116) [storm-backendserver.jar:1.10.0-1]
at it.grid.storm.StoRM.<init>(StoRM.java:120) [storm-backend-server.jar:1.10.0-1]
at it.grid.storm.StoRMCommandServer.main(StoRMCommandServer.java:535) [storm-backendserver.jar:1.10.0-1]
Caused by: java.lang.UnsatisfiedLinkError: Native code library 'libgpfsapi_interface.so' failed to load:
/usr/lib64/storm-backend-server/libgpfsapi_interface.so: libgpfs.so: cannot open shared object file: No such file
or directory
at it.grid.storm.filesystem.swig.gpfsapi_interfaceJNI.<clinit>(gpfsapi_interfaceJNI.java:48) [storm-backendserver.jar:1.10.0-1]
at it.grid.storm.filesystem.swig.gpfs.<init>(gpfs.java:58) [storm-backend-server.jar:1.10.0-1]
... 13 common frames omitted
14:36:03.780 - ERROR [main] - Namespace Configuration ERROR in VFS definition, please check it.
it.grid.storm.namespace.NamespaceException: Unable to instantiate the FS Driver.
at it.grid.storm.namespace.model.VirtualFS.makeFSInstance(VirtualFS.java:340) [storm-backendserver.jar:1.10.0-1]
at it.grid.storm.namespace.model.VirtualFS.setFSDriver(VirtualFS.java:147) [storm-backend-server.jar:1.10.01]
at it.grid.storm.namespace.config.xml.XMLNamespaceParser.buildVFSs(XMLNamespaceParser.java:383)
[storm-backend-server.jar:1.10.0-1]
at it.grid.storm.namespace.config.xml.XMLNamespaceParser.refreshCache(XMLNamespaceParser.java:253)
[storm-backend-server.jar:1.10.0-1]
at
it.grid.storm.namespace.config.xml.XMLNamespaceParser.refreshCachedData(XMLNamespaceParser.java:203
[storm-backend-server.jar:1.10.0-1]
at it.grid.storm.namespace.config.xml.XMLNamespaceParser.<init>(XMLNamespaceParser.java:134) [stormbackend-server.jar:1.10.0-1]
at it.grid.storm.namespace.NamespaceDirector.initializeDirector(NamespaceDirector.java:116) [storm-backendserver.jar:1.10.0-1]
at it.grid.storm.StoRM.<init>(StoRM.java:120) [storm-backend-server.jar:1.10.0-1]
at it.grid.storm.StoRMCommandServer.main(StoRMCommandServer.java:535) [storm-backendserver.jar:1.10.0-1]
Caused by: java.lang.reflect.InvocationTargetException
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) [na:1.6.0_31]
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:39)
[na:1.6.0_31]
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:27)
[na:1.6.0_31]
at java.lang.reflect.Constructor.newInstance(Constructor.java:513) [na:1.6.0_31]
at it.grid.storm.namespace.model.VirtualFS.makeFSInstance(VirtualFS.java:331) [storm-backendserver.jar:1.10.0-1]
... 8 common frames omitted
Caused by: java.lang.UnsatisfiedLinkError: Native code library 'libgpfsapi_interface.so' failed to load:
/usr/lib64/storm-backend-server/libgpfsapi_interface.so: libgpfs.so: cannot open shared object file: No such file
or directory
at it.grid.storm.filesystem.swig.gpfsapi_interfaceJNI.<clinit>(gpfsapi_interfaceJNI.java:48) [storm-backendserver.jar:1.10.0-1]
at it.grid.storm.filesystem.swig.gpfs.<init>(gpfs.java:58) [storm-backend-server.jar:1.10.0-1]
... 13 common frames omitted
14:36:03.791 - ERROR [main] - VFS 'TEST-FS' pointed by RULE : 'test-maprule' DOES NOT EXISTS.
14:36:03.814 - INFO [main] - ############## REFRESHING NAMESPACE CONFIGURATION CACHE :
end ###############
14:36:03.815 - INFO [main] - Namespace checking VFSs ..
14:36:03.816 - INFO [main] - VFSs are well-defined.
14:36:03.816 - ERROR [main] - ERROR in NAMESPACE - MAP RULE 'test-maprule' point a UNKNOWN
VFS 'TEST-FS'!
14:36:03.816 - ERROR [main] - ERROR in NAMESPACE - APP RULE 'test-rule' point a UNKNOWN VFS
'TEST-FS'!
14:36:03.816 - INFO [main] - Namespace check. Checking of the existence of the needed Local group ...
14:36:03.816 - INFO [main] - All local groups are defined.
14:36:03.816 - WARN [main] - Namespace does not semantically valid!, so no load performed!
14:36:03.816 - ERROR [main] - ????????????????????????????????????
14:36:03.816 - ERROR [main] - ???? NAMESPACE does not VALID ????
14:36:03.816 - ERROR [main] - ????????????????????????????????????
14:36:03.817 - ERROR [main] - Please see the log.
Ciao
Sergio
Comment by Sergio Traldi [X] (Inactive) [ 05/Jul/12 ]
Ahhh non ho GPFS io.
Ciao
Sergio
Comment by Michele Dibenedetto [ 05/Jul/12 ]
eh eh...
Comunque c'era un errore nella definizione di quel test che ho corretto stamattina, scarica la versione aggiornata
del testplan dal nostro sito.
Michele
Comment by Sergio Traldi [X] (Inactive) [ 05/Jul/12 ]
Ciao Mikel,
ho riscaricato il file:
http://storm.forge.cnaf.infn.it/_media/documentation/storm-testplan.-.emi-2_update1.pdf
3 volte per sicurezza, ma trovo sempre la versione:
1.3.0
Document version:
1.10.0
EMI Component Version:
June 29, 2012
Date:
Sto scaricando da un posto errato?
Ciao
Sergio
Comment by Sergio Traldi [X] (Inactive) [ 05/Jul/12 ]
Ciao a tutti,
tutto quello che sono riuscito a fare e' qui:
https://wiki.italiangrid.it/twiki/bin/view/IGIRelease/Task30816
Consiste in:




install e configure SL5 -> OK
update SL5 e reconfigure -> OK
sanity chcek su SL5 sia install da zero che update -> OK
running testsuite su SL5 sia install da zero che update -> OK



install e configure SL6 -> OK
sanity check SL6 -> FAILED (Elisabetta dovrebbe verificare e capire il perche')
running test suite su SL6 -> OK

verifiche dei regression. Per problemi di tempo non ho verificato che sulla versione di produzione c'era
l'errore e su quella nuova no, ho solo verificato che su quella nuova non ci fossero errori.
ATTENZIONE:



i bug 288 e 289 non sono riuscito a verificarli sono quelli su gpfs (e non ho avuto ultime ricettine del
nuovo testplan)
la feature 250 idem dovrei aere 2 istanze di gridftp in load balancing cosa che non ho.
il BUG 270 per SL6 e' NOT PASSED:
[root@cert-41 tstorm]# su - dteam001
[dteam001@cert-41 ~]$ find /etc/storm/ -readable ! -type d | grep -v "web.xml" | grep -v "log4j"
Ciao
Sergio
Comment by Michele Dibenedetto [ 05/Jul/12 ]
Ciao, allora,
il 288 non richiede gpfs
il 289 ha la ricettina per chi non ha gpfs (GPFS not available workflow)
il sanity check su sl6 fallisce per un bug in tstorm (cerca tomcat5 quando invece su sl6 è isntallato tomcat6)
il 270 aveva un errore (e quello che ho aggiornato di cui parlavo prima):
find /etc/storm/ -perm /o+r ! -type d | grep -v "web.xml" | grep -v "log4j"
per il 250: non è necessario avere 2 gridftp che vedano lo stesso filesystem. E' sufficiente che siano disponibili e
che il backend li gestisca come pool, puoi usare uno del testbed EMI o uno del nostro testbed se vuoi, tanto non
dovrai mai fare trasferimenti ma solo farti dare i turl
Michele
Comment by Doina Cristina Duma [ 06/Jul/12 ]
270:
a me funzionano tutti i due commandi:
[dteam001@cert-41 ~]$ find /etc/storm/ -readable ! -type d | grep -v "web.xml" | grep -v "log4j"
[dteam001@cert-41 ~]$ echo $?
1
[dteam001@cert-41 ~]$ find /etc/storm/ -perm /o+r ! -type d | grep -v "web.xml" | grep -v "log4j"
[dteam001@cert-41 ~]$ echo $?
1
288 (SL6):
[root@cert-41 ~]# ll /usr/lib64/storm-backend-server/libgpfsapi_interface.so
- 1 root root 942533 Jun 28 15:17 /usr/lib64/storm-backend-server/libgpfsapi_interface.so
[root@cert-41 ~]# ldd /usr/lib64/storm-backend-server/libgpfsapi_interface.so | grep libgpfs.so
ldd: warning: you do not have execution permission for `/usr/lib64/storm-backend-server/libgpfsapi_interface.so
libgpfs.so => not found
[root@cert-41 ~]# chmod u+x /usr/lib64/storm-backend-server/libgpfsapi_interface.so
[root@cert-41 ~]# ll /usr/lib64/storm-backend-server/libgpfsapi_interface.so
- 1 root root 942533 Jun 28 15:17 /usr/lib64/storm-backend-server/libgpfsapi_interface.so
[root@cert-41 ~]# ldd /usr/lib64/storm-backend-server/libgpfsapi_interface.so | grep libgpfs.so
libgpfs.so => not found
288 (SL5):
[root@cert-29 ~]# ldd /usr/lib64/storm-backend-server/libgpfsapi_interface.so | grep libgpfs.so
ldd: warning: you do not have execution permission for `/usr/lib64/storm-backend-server/libgpfsapi_interface.so
libgpfs.so => not found
[root@cert-29 ~]# ldd /usr/lib64/storm-backend-server/libgpfsapi_interface.so
ldd: warning: you do not have execution permission for `/usr/lib64/storm-backend-server/libgpfsapi_interface.so
linux-vdso.so.1 => (0x00007ffff79fd000)
libgpfs.so => not found
libstdc+.so.6 => /usr/lib64/libstdc+.so.6 (0x00002af25f635000)
libm.so.6 => /lib64/libm.so.6 (0x00002af25f935000)
libgcc_s.so.1 => /lib64/libgcc_s.so.1 (0x00002af25fbb8000)
libc.so.6 => /lib64/libc.so.6 (0x00002af25fdc7000)
/lib64/ld-linux-x86-64.so.2 (0x00000035fb400000)
quindi non va o non va senza GPFS - Ci dai i risultati che hai avuto te?
per il 289, potresti Sergio riportava che il test provato era:
1. mettere nel siteinfo.def:
STORM_TEST_FSTYPE="gpfs"
STORM_TEST_ONLINE_SIZE=724
STORM_TEST_VONAME=dteam
STORM_TEST_ROOT="/storage/test"
non abbiamo trovato come si fa settare il "BackEnd service logging to DEBUG", abbiamo messo
STORM_FE_LOG_LEVEL="DEBUG"
2. se cambiato siteinfo.def si presume che deve essere reconfigurato - cosa fatta con il risultato quel lungo mess
d'errore
3. da questo punto non si puo andare avanti con quello che è nel testplan perche non si puo fare stop, di qualcosa
che non va
BTW il commando al punto 4. non viene tagliato
quindi come si doveva fare?
Comment by Michele Dibenedetto [ 06/Jul/12 ]
Occhio a leggere la definizione di PASS dei test:
270:
a me funzionano tutti i due commandi:
[dteam001@cert-41 ~]$ find /etc/storm/ -readable ! -type d | grep -v "web.xml" | grep -v "log4j"
[dteam001@cert-41 ~]$ echo $?
1
[dteam001@cert-41 ~]$ find /etc/storm/ -perm /o+r ! -type d | grep -v "web.xml" | grep -v "log4j"
[dteam001@cert-41 ~]$ echo $?
1
PASS : the test is passed if at step 1 return code is 1.
288
[root@cert-41 ~]# ldd /usr/lib64/storm-backend-server/libgpfsapi_interface.so | grep libgpfs.so
ldd: warning: you do not have execution permission for `/usr/lib64/storm-backend-server/libgpfsapi_interface.so
libgpfs.so => not found
PASS : the test is passed if at step 1 return code is 0.
289
1. nel siteinfo.def:
STORM_TEST_FSTYPE="gpfs"
STORM_TEST_ONLINE_SIZE=724
STORM_TEST_VONAME=dteam
STORM_TEST_ROOT="/storage/test"
non abbiamo trovato come si fa settare il "BackEnd service logging to DEBUG" -->
https://twiki.cern.ch/twiki/bin/view/EMI/StoRMPTServiceReferenceCard
2. se cambiato siteinfo.def si presume che deve essere reconfigurato - cosa fatta con il risultato quel lungo mess
d'errore --> VA BENE
3. da questo punto non si puo andare avanti con quello che è nel testplan perche non si puo fare stop, di qualcosa
che non va --> certo che si può, ricorda che queste sono istruzioni di cheating per chi non soddisfa i requisiti del
test (avere GPFS)
dopo aver configurato con yaim, aver stoppato il servizio, aver cancellato il file di log e messo a debug il logging
modificate il namespace.xml come spiegato nella descrizione del test, fate lo start e poi la ricerca nel log.
Ho solo un dubbio, nella service reference card si spiega come mettere a debug il log modificando una property
dell'appender di default di storm. In realtà subito sopra questo appender c'è un altro appender commentato che è
configurato per essere anche lui un logger di default per il servizio ma formatta il log in maniera diversa. Se
seguendo la reference card non trovate nel log quanto cercato con la grep decommentate l'appender commentato
e commentate l'altro
Michele
Comment by Doina Cristina Duma [ 06/Jul/12 ]
Occhio che la stessa cosa ho detto anch'io per 270
288 - ok scusa non abbiamo verificato l'exit code
forse è meglio che ci sentiamo per la frase:
"dopo aver configurato con yaim, aver stoppato il servizio, aver cancellato il file di log e messo a debug il
logging modificate il namespace.xml come spiegato nella descrizione del test, fate lo start e poi la ricerca nel
log."
ma se ti diciamo che "dopo aver configurato con yaim" - non si configura!! esce con error?
cosa facciamo ignoriamo?
Comment by Sergio Traldi [X] (Inactive) [ 06/Jul/12 ]
Ciao Michele,
allora faccio un minimo di chiarezza. Fino a ieri quando provavo a riconfigurare usando yaim usando queste 4
variabili:
STORM_TEST_FSTYPE="gpfs"
STORM_TEST_ONLINE_SIZE=724
STORM_TEST_VONAME=dteam
STORM_TEST_ROOT="/storage/test"
yaim terminava succesfully ma il backend era STOPPED e non partiva in nessun modo, oggi invece dopo la
riconfigurazione funziona, forse perche' Cristina toccando qualcosa per verificare 288 ha sbloccato la situazione.
Ad ogni modo sia che io metta nel file:/etc/storm/backend-server/logging.xml
questo:
<logger name="it.grid.storm" additivity="false">
<level value="DEBUG" />
<appender-ref ref="PROCESS" />
</logger>
OPPURE:
<logger name="it.grid.storm" additivity="false">
<level value="DEBUG" />
<appender-ref ref="DEBUGGING" />




Riconfigurato
Stoppato Backend
Cancellato log file
Startato backend
Il gerp mi esce vuoto:
[root@cert-29 ~]# grep NamespaceFSAssociationCheck.getMountPointFSTypeBestmatch
/var/log/storm/storm-backend.log
PS: Dicevi che c'era una nuova versione del testplan ma come ti dicevo al link:
http://storm.forge.cnaf.infn.it/_media/documentation/storm-testplan.-.emi-2_update1.pdf
trovo sempre quella "vecchia" del 29 giugno e non quella del 4 o 5 luglio.
Comment by Michele Dibenedetto [ 06/Jul/12 ]
aprendo il link che hai postato io scarico quella nuova, occhio al caching del browser. Comunque la descrizione
del test diventa questa:
given a Storage Area SA1 declared as gpfs by setting YAIM variable STORM_SA1_FSTYPE to ’gpfs’ and with
a Storage Area Root pointing to a link setting YAIM variable STORM_SA1_ROOT to a link but using posix
driver specifying it.grid.storm.filesystem.swig.posixfs and
it.grid.storm.filesystem.MockSpaceSystem as SA1 filesystem-driver and spacesystemdriver respectively in
namespace.xml verify that setting BackEnd service logging to DEBUG and restarting the service storm-
backend.log reports during NamespaceFSvalidation performs the computation of Storage Area Root mount poin
for the real folder
Se vuoi dare un occhio a come l'ho fatta io nella precert della 1.8.3:
http://storm.forge.cnaf.infn.it/repository/internal/precertification/1.8.3/testNotInTstorm.log
Michele
Comment by Doina Cristina Duma [ 06/Jul/12 ]
con wget va meglio
Per le mie modifiche
l'unica cosa in più che ho fato su cert-41 è:
[root@cert-41 ~]# chmod u+x /usr/lib64/storm-backend-server/libgpfsapi_interface.so
[root@cert-41 ~]# ll /usr/lib64/storm-backend-server/libgpfsapi_interface.so
- 1 root root 942533 Jun 28 15:17 /usr/lib64/storm-backend-server/libgpfsapi_interface.so
Comment by Michele Dibenedetto [ 06/Jul/12 ]
Non era necessario, iol test ha successo anche senza quella acl:
[root@omii004-vm03 ~]# ldd /usr/lib64/storm-backend-server/libgpfsapi_interface.so | grep libgpfs.so
ldd: warning: you do not have execution permission for `/usr/lib64/storm-backend-server/libgpfsapi_interface.so
libgpfs.so => not found
[root@omii004-vm03 ~]# echo $?
0
Comment by Sergio Traldi [X] (Inactive) [ 06/Jul/12 ]
Ciao Michele,
2 ultime cose e poi va tutto bene, nel testplan bug 289 nella descrizione dopo la modifica delle 2 variabili YAIM
metti che bisogna riconfigurare e dopo la riconfigurazione modificare il namespace.xml specifying ..... (diver
posix)
Io ho fatto cosi:
https://wiki.italiangrid.it/twiki/bin/view/IGIRelease/Task30816#Bug_289_NamespaceFSvalidation_ch
e funziona.
Altra cosa SOLO per SL6 quando vien su il backend esce:
[root@cert-41 ~]# service storm-backend-server start
/etc/init.d/storm-backend-server: line 200: /usr/java/latest/bin/java: No such file or directory
Bootstrapping storm-backend-server [ OK ]
effettivamente io non ho quella directory ma il backend usa in SL6 openjdk in /usr/bin/java e comunque tutto
funziona bene, sara' solo da controllare lo script di startup. Ad ogni modo e' un dettaglio.
Ciao
Sergio
Comment by Sergio Traldi [X] (Inactive) [ 06/Jul/12 ]
Ciao,
per SL6 ho modificato 2 cose e ho copletato i sanity check:
Script di avvio del backend linea 169:
da JAVA=$JAVA_HOME/usr/bin
a JAVA=$JAVA_HOME
la mia JAVA_HOME e' settata gia' sull'eseguibile (anche se non dovrebbe) nel mio siteinfo.def io ho:
[root@cert-41 tstorm]# grep JAVA ../siteinfo/site-info.def
JAVA_LOCATION="/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64"
Mi sono permesso di modificare un file della Testssuite, in /root/tstorm/usr/lib/python2.4/sitepackages/tstorm/tests/deployment/regression/service_configuration.py linea 112
al posto di tomcat5 ho messo tomcat6.
Tutti sanity check sono OK.
Preparo il test report e certification report.
Cristina o Michele mi servirebbero i VCS tag e gli Etics Configuration name
Comment by Michele Dibenedetto [ 06/Jul/12 ]
per 289: va bene.
il problema java sl6: hai settato la JAVA_HOME in yaim come dice la sysadmin guide per SL6?
Comment by Sergio Traldi [X] (Inactive) [ 06/Jul/12 ]
e invece poi Michele mi servirebbero se sono necessari (Cristina puo' confermare) gli unit test lanciati tramite
eclipse o come l'altra volta. Grazie
Comment by Michele Dibenedetto [ 06/Jul/12 ]
Non puoi modificare lo script di avvio...
Non hai trovato la variabile yaim da settare nella doc?
per la modifica del test OK
la conf etics è emi-storm_R_1_8_3_1 , i tag li pruoi prendere da li:
vcsroot + / + tag
Michele
Comment by Sergio Traldi [X] (Inactive) [ 06/Jul/12 ]
Ok si vero, ora ho settato e ripristinato script di avvio.
Sto riconfigurando, ma credo sia tutto ok.
Avevo settato JAVA_LOCATION ma non era corretto, ora si.
Ciao e grazie
Comment by Sergio Traldi [X] (Inactive) [ 06/Jul/12 ]
Ultima precisazione, ho seguito la doc e per SL6 dice di settare la JAVA_LOCATION NON la JAVA_HOME a
JAVA_LOCATION="/usr/lib/jvm/java"
e cosi' ho fatto:
[root@cert-41 ~]# grep JAVA siteinfo/site-info.def
JAVA_LOCATION="/usr/lib/jvm/java/"
Ho riconfigurato e dopo la riconfigurazione pero' ho sempre:
[root@cert-41 ~]# service storm-backend-server status
/etc/init.d/storm-backend-server: line 200: /usr/bin/java/bin/java: Not a directory
storm-backend-server (pid 491) is RUNNING [ OK ]
StoRM funziona lo stesso ma in quel caso un sanity Chek fallirebbe.
Altra anomalia ogni volta che rirunno yaim mi viene modificato il site-info.def e incrementano i valori di
ONLINE_SIZE
STORM_TESTERSEUEMIEU_ONLINE_SIZE=14
STORM_DTEAM_ONLINE_SIZE=10
STORM_INFNGRID_ONLINE_SIZE=8
STORM_TESTERSEUEMIEU_NO_VOMS_ONLINE_SIZE=10
Ciao
Sergio
Comment by Michele Dibenedetto [ 06/Jul/12 ]
Io quel problema su JAVA non l'ho avuto, sei sicuro di aver rimesso a posto il file di init dopo averlo
modificato?ripristina quello presente nell'rpm e fai restart del BE. Controlla anche di non avere in environment l
variabile JAVA_HOME o JAVA_LOCATION a un valore sbagliato (anche se avviando il servizio con service
queste var non dovrebbero avere alcun effetto)
il problema delle var yaim si verifica ogni volta che lanci yaim o ogni volta che lanci tstorm?
Unit test:
http://storm.forge.cnaf.infn.it/repository/internal/precertification/1.10.0/UnitTest.log
Michele
Comment by Sergio Traldi [X] (Inactive) [ 06/Jul/12 ]
Ciao,
avevo ovviamente gia' ripristinato il file di init.
Allora effettivamente nell'enviroment avevo JAVA_HOME e JAVA_LOCATION settate, le ho unset e ora non
c'e' piu' il problema.
OK
Hai ragione non dopo conf yaim che ma dopo il lancio di tstorm. Quindi niente di preoccupante. Scusa ma avevo
fatto le cose in serie e non capivo quali dei 2 ora ho fatto prove piu' con calma.
Ho colpletato tutta la wiki:
https://wiki.italiangrid.it/twiki/bin/view/IGIRelease/Task30816
compresi i test e certification report, fatemi sapere se va tutto bene.
Ciao
Sergio
Comment by Michele Dibenedetto [ 06/Jul/12 ]
Static code analisys:
http://etics-repository.cern.ch/repository/reports/id/7eca7697-34f0-4319-93130d3efb36abd6/sl5_x86_64_gcc412EPEL/-/reports/reportOverallMetrics.html
Comment by Michele Dibenedetto [ 06/Jul/12 ]
in https://wiki.italiangrid.it/twiki/pub/IGIRelease/Task30816/StoRMEMI2Update1_Certification_Report_Task30816.txt
i valori da specificare devono essere scelti tra quelli presenti nel template tra quadre ([]) ed essere messi le
quadre
Esempio:
[ Tested ] --> Yes
Comment by Sergio Traldi [X] (Inactive) [ 06/Jul/12 ]
Fatte le aggiunte e correzioni richieste.
File riuploadati.
Ciao
Sergio
Comment by Michele Dibenedetto [ 06/Jul/12 ]
https://wiki.italiangrid.it/twiki/pub/IGIRelease/Task30816/StoRM-EMI2Update1_Test_Report_Task30816.txt
Clean Installation - PASS on SL5, PASS on SL6 --> PASS
Upgrade Installation - PASS on SL5 --> PASS
ecc
https://wiki.italiangrid.it/twiki/pub/IGIRelease/Task30816/StoRMEMI2Update1_Certification_Report_Task30816.txt
12.1. static code analysis: [ NA ] --> Yes
Michele
Comment by Doina Cristina Duma [ 24/Jul/12 ]
rilasciato con EMI 2 Update 1 (20.07.2012)
Generated at Thu Jun 01 03:47:45 CEST 2017 using JIRA 6.3.15#6346sha1:dbc023dd75cecacf443c4b235f66124b15f5c5fe.