Page tree
Skip to end of metadata
Go to start of metadata

You are viewing an old version of this page. View the current version.

Compare with Current View Page History

« Previous Version 7 Next »

Krótki opis usługi

Usługa zapewnia zdalny dostęp do plików danych ekperymentów HEP na serwerach dyskowych w Polsce i na świecie z wykorzystaniem protokołów bezpośredniego dostępu, w chwili obecnej jest to protokół xrootd. Jest to rodzimy protokół dostępu do plików popularnego środkowiska analizy danych fizycznych o nazwie ROOT dzięki któremy analiza może przebiegać bezpośrednio na danych pobieranych z serwerów gridowych bez konieczności wstępnego kopiowania plików na dyski lokalne.

Aktywowanie usługi

Dostęp w trybie odczytu do archiwów danych HEP jest możłiwy z dowolnego komputera z zainstalowanym środowiskiem ROOT. Także serwery dyskowe eksperymentów na LHC znajdujące się w Polsce mają skonfigurowaną łączność zarówno przy pomocy narzędzi gridu WLCG jak i przy pomocy protokołu xrootd. Dodatkowo w ośrodku Cyfronet udostępniono zasoby dyskowe z możliwością zapisu przez użytkowników PLGrid. Autoryzacja dostępu następuje przy pomocy certyfikatu gridowego z aktywnym rozszerzeniem voms eksperymentu do którego danych chcemy dotrzeć. Aby móc korzystać z tych usług na serwerach w Polsce należy mieć założone konto w Portalu PL-Grid i aktywować usługi:

  1. Dostęp do klastra w ośrodku obliczeniowym (np. REEF, ZEUS)
  2. Dostęp do UI w ośrodku obliczeniowym (np. Cyfronet, ICM, PCSS)
  3. Platforma dziedzinowa HEPGrid: Dostęp do archiwów danych HEP
  4. Platforma dziedzinowa HEPGrid: Dostęp z zapisem do lokalnego archiwum HEP PLGrid

Usługi aktywuje się w Portalu Użytkownika, zgodnie z przykładem.

Ograniczenia w korzystaniu

Dostęp do zasobów archiwów z zapisem powinien odbywać się maszyn polskich ośrodków gridowych. Również ze względu na ograniczenia komputerowych sieci przesyłowych obecnie zalecamy odczyt plików tylko z maszyn roboczych klastra obliczeniowego lokalnego dla serwerów dyskowych. Zarówno dostęp zdalny do plików na świecie jak i nielokalny odczyt z serwerów w Polsce jest dosyć wolny. W najbliższym czasie przewidujemy prace nad optymalizacją dostępu sieciowego pomiędzy ośrodkami w Polsce. Przewidujemy także w niedługim czasie znaczną poprawę szybkości łaczności sieciowej z zagranicą.

Pierwsze kroki

W eksperymencie ATLAS rozwijana jest metoda dostępu do plików danych przy pomocy ścieżki globalnej, która jest konwertowana do ścieżki lokalnej dla konkretnego serwera danych dzięki funkcjom usługi FAX. Pozwala to na dostęp do plików bez informacji o konkretnym serwerze przechowującym ten plik.

The xrootd access plugins have been installed on DPM servers at Polish Tier2 sites at Cyfronet and PSNC. Until FAX is fully operational one can use direct access to files available on these sites using this xrootd protocol which is fast an reliable.

To get a path to any files on srm:

  1. setup environment
    export ATLAS_LOCAL_ROOT_BASE=/cvmfs/atlas.cern.ch/repo/ATLASLocalRootBase
    source ${ATLAS_LOCAL_ROOT_BASE}/user/atlasLocalSetup.sh
    localSetupFAX
  2. find site name of a dataset replica
    dq2-ls -r "dataset name"
  3. get path to files on srm
    dq2-ls -fp -L "site name" "dataset name"
  4. replace srm prefix by xrootd prefix
    CYFRONET: root://dpm.cyf-kr.edu.pl:1094/
    PSNC: root://se.reef.man.poznan.pl:1094/
  5. Example:
    dq2-ls -fp -L CYFRONET-LCG2_DATADISK user.ivukotic.xrootd.cyfronet-lcg2
    srm://dpm.cyf-kr.edu.pl/dpm/cyf-kr.edu.pl/home/atlas/atlasdatadisk/rucio/user/ivukotic/9b/43/user.ivukotic.xrootd.cyfronet-lcg2-1M
    convert ->
    root://dpm.cyf-kr.edu.pl:1094//dpm/cyf-kr.edu.pl/home/atlas/atlasdatadisk/rucio/user/ivukotic/9b/43/user.ivukotic.xrootd.cyfronet-lcg2-1M
    (note // after :1094)

To get a path to files from registered datasets:

  1. setup environment
    export ATLAS_LOCAL_ROOT_BASE=/cvmfs/atlas.cern.ch/repo/ATLASLocalRootBase
    source ${ATLAS_LOCAL_ROOT_BASE}/user/atlasLocalSetup.sh
    localSetupFAX
  2. check site where dataset replica exists
    dq2-ls -r "dataset name"
  3. set STORAGEPREFIX according to site you want to access
    CYFRONET: export STORAGEPREFIX=root://dpm.cyf-kr.edu.pl:1094
    PSNC: export STORAGEPREFIX=root://se.reef.man.poznan.pl:1094
    Global: export STORAGEPREFIX=root://atlas-xrd-eu.cern.ch:1094 (may not work yet)
  4. get file paths
    dq2-list-files -g "dataset name"
    convert them adding manuallY $STORAGEPREFIX
  5. Example:
    export STORAGEPREFIX=root://dpm.cyf-kr.edu.pl:1094
    for f in `dq2-list-files -g user.ivukotic.xrootd.cyfronet-lcg2`; do echo $STORAGEPREFIX$f'; done

To use a file in ROOT:

  • setup environment
    localSetupFAX
  • TFile::Open("xrootdpath")

Zaawansowane użycie

Ewentualnie jako osobny podrozdział.

Gdzie szukać dalszych informacji?

Strony zewnętrzne (jeśli są), odnośnik do helpdesku lub strony dokumentacji o pomocy.

Można też dodać sekcję "Co dalej?" ze wskazaniem (odnośnikiem) do dalszej części dokumentacji, o ile jest wymagana.

 

 

 

  • No labels