Pilot Factory

From Atlmiwiki

Contents

La pilot factory

il servizio attualmente risiede su atlfarm007, nella directory /home/rebatto/pilotfactory_test Esistono 3 files usati per configurare i pilots:

factory.conf

file generale, non soggetto solitamente a modifiche sostanziali

sites.conf

elenco dei siti serviti dalla factory, in cui si trovano i CE cui vengono sottomessi i pilot jobs Es:

[DEFAULT]
pilotDepth = 50
status = ok
transferringLimit = 1000
type = LCG

[INFN-ROMA1]
env = "MY_QUEUE_NAME=autodetect","SITE_NAME=INFN-ROMA1"
args = -s INFN-ROMA1

[INFN-MILANO-ATLASC]
#env = "MY_QUEUE_NAME=autodetect","PILOT_HTTP_SOURCES=http://atlfarm007.mi.infn.it/pilotcode/pilot3-custom.tgz"
env = "MY_QUEUE_NAME=autodetect"
args = -s INFN-MILANO-ATLASC

[INFN-MILANO]
env = "MY_QUEUE_NAME=autodetect"
args = -s INFN-MILANO

[INFN-T1]
env = "MY_QUEUE_NAME=autodetect","SITE_NAME=INFN-T1"
args = -s INFN-T1
pilotDepth = 150

il parametro status può essere usato per segnalare alla factory il downtime di un sito, che verrà ignorato. Per mettere in drain un sito, lasciare status=ok e immettere pilotDepth=0 (numero di pilot totali da accodare)

backends.conf

elenco dei wms utilizzati per la sottomissione Es:

[DEFAULT]
executable = runpilot3-script-stub.sh
pilotTar = pilot3-svn.tgz
inputSandboxBaseURL = gsiftp://atlfarm007.mi.infn.it:2811/home/rebatto/pilotfactory_test/inputsandbox
delegationId = davidr
outputDir = /home/rebatto/joboutput
#myProxy = myproxy.cnaf.infn.it
myProxy = myproxy.to.infn.it
maxCollectionSize = 200
enabled = True
enableDashboard = True
isStatusProvider = True


[WMS-CERN-105]
type = LCG
wmproxy = https://wms105.cern.ch:7443/glite_wms_wmproxy_server
lbserver = lb106.cern.ch:9000
maxJobs = 5000
enabled = False

[WMS-CNAF-001]
type = LCG
wmproxy = https://wms001.cnaf.infn.it:7443/glite_wms_wmproxy_server
lbserver = lb004.cnaf.infn.it:9000
maxJobs = 0
isStatusProvider = False

[WMS-CNAF-016]
type = LCG
wmproxy = https://wms016.cnaf.infn.it:7443/glite_wms_wmproxy_server
lbserver = lb004.cnaf.infn.it:9000
maxJobs = 3000

per consentire l'uso di un wms, enabled=True. Per mettere in drain un wms, maxJobs=0


La pilot factory viene eseguita in background tramite il comando screen, dall'utente rebatto. Per interrompere la factory, occorre killare il processo contenente il comando python -c "from PilotFactory import PilotFactory pf = PilotFactory() pf.submissionCycle(120, 180)" preferibilmente durante un ciclo di sleep (stato rilevabile dai messaggi di log) lo script runfactory.sh farà ripartire il processo automaticamente, leggendo le nuove configurazioni Il log della factory è disponibile a questo link