Page tree
Skip to end of metadata
Go to start of metadata

You are viewing an old version of this page. View the current version.

Compare with Current View Page History

« Previous Version 8 Next »

Krótki opis usługi

Usługa zapewnia zdalny dostęp do plików danych ekperymentów HEP na serwerach dyskowych w Polsce i na świecie z wykorzystaniem protokołów bezpośredniego dostępu. W chwili obecnej jest to protokół xrootd. Jest to rodzimy protokół dostępu do plików popularnego środkowiska analizy danych fizycznych o nazwie ROOT. Dzięki temu analizę można wykonywać bezpośrednio na danych pobieranych z serwerów gridowych bez konieczności wstępnego kopiowania plików na dyski lokalne. Dostęp w trybie odczytu do archiwów danych HEP na świecie jest możłiwy z dowolnego komputera z zainstalowanym środowiskiem ROOT. Autoryzacja dostępu następuje przy pomocy certyfikatu gridowego z aktywnym rozszerzeniem voms wirtualnej organizacji (eksperymentu) do której danych chcemy dotrzeć.

Aktywowanie usługi

Serwery dyskowe eksperymentów LHC znajdujące się w Polsce mają skonfigurowaną łączność zarówno przy pomocy protokołów m.in. srm i gridftp gridu WLCG (do zdalnego kopiowania plików przy pomocy narzędzi gLite) jak i przy pomocy protokołu xrootd (do kopiowania i do dostępu bezpośredniego). Dodatkowo w ośrodku Cyfronet udostępnione są wydzielone zasoby dyskowe z możliwością zapisu przez użytkowników zarejestrowanych w PLGrid.  Aby móc korzystać z tych usług na serwerach w Polsce należy mieć założone konto w Portalu PL-Grid i aktywować usługi:

  1. Dostęp do klastra w ośrodku obliczeniowym (np. REEF, ZEUS)
  2. Dostęp do UI w ośrodku obliczeniowym (np. Cyfronet, ICM, PCSS)
  3. Platforma dziedzinowa HEPGrid: Dostęp do archiwów danych HEP
  4. Platforma dziedzinowa HEPGrid: Dostęp z zapisem do lokalnego archiwum HEP PLGrid

Usługi aktywuje się w Portalu Użytkownika, zgodnie z przykładem.

Ograniczenia w korzystaniu

Dostęp do zasobów archiwów z zapisem wymaga użycia certiyfikatu proxy dla VO: vo.plgrid.pl. Najłatwiej można to wykonać z maszyn polskich ośrodków gridowych. Również ze względu na ograniczenia komputerowych sieci przesyłowych obecnie zalecamy odczyt plików tylko z maszyn roboczych klastra obliczeniowego lokalnego dla serwerów dyskowych. Zarówno dostęp zdalny do plików na świecie jak i nielokalny odczyt z serwerów w Polsce jest dosyć wolny. W najbliższym czasie przewidujemy prace nad optymalizacją dostępu sieciowego pomiędzy ośrodkami w Polsce. Przewidujemy także w niedługim czasie znaczną poprawę szybkości łaczności sieciowej z zagranicą.

Pierwsze kroki

Organizacja plików w katalogach jest specyficzna dla poszczególnych eksperymentów a przeszukiwanie katalogów dyskowych w celu znalezienia poszukiwanego pliku jest nieefektywne. Z tego powodu zakładamy że użytkownik zna (lub potrafi skonstruować) pełną ścieżkę dostępu do pliku który go interesuje. W takim wypadku pozostaje:

  1. utworzyć proxy certyfikatu autoryzacji
    voms-proxy-init -voms (VO organizacji, np. atlas)
  2. zapewnić dostęp do środowiska ROOT analizy danych i narzędzi zdalnego kopiowania. W PLGrid środowisko oprogramowania konfiguruje się przy pomocy narzędzia o nazwie module (patrz https://kdm.cyfronet.pl/portal/Modules). Przykładowe użycie:
    module avail
    module add tools/root/5.34
  3. Do kopiowania plików służy polecenie xrdcp

W eksperymencie ATLAS rozwijana jest metoda dostępu do plików danych przy pomocy ścieżki globalnej, która jest konwertowana do ścieżki lokalnej dla konkretnego serwera danych dzięki funkcjom usługi FAX. Pozwala to na dostęp do plików bez informacji o konkretnym serwerze przechowującym ten plik.

The xrootd access plugins have been installed on DPM servers at Polish Tier2 sites at Cyfronet and PSNC. Until FAX is fully operational one can use direct access to files available on these sites using this xrootd protocol which is fast an reliable.

To get a path to any files on srm:

  1. setup environment
    export ATLAS_LOCAL_ROOT_BASE=/cvmfs/atlas.cern.ch/repo/ATLASLocalRootBase
    source ${ATLAS_LOCAL_ROOT_BASE}/user/atlasLocalSetup.sh
    localSetupFAX
  2. find site name of a dataset replica
    dq2-ls -r "dataset name"
  3. get path to files on srm
    dq2-ls -fp -L "site name" "dataset name"
  4. replace srm prefix by xrootd prefix
    CYFRONET: root://dpm.cyf-kr.edu.pl:1094/
    PSNC: root://se.reef.man.poznan.pl:1094/
  5. Example:
    dq2-ls -fp -L CYFRONET-LCG2_DATADISK user.ivukotic.xrootd.cyfronet-lcg2
    srm://dpm.cyf-kr.edu.pl/dpm/cyf-kr.edu.pl/home/atlas/atlasdatadisk/rucio/user/ivukotic/9b/43/user.ivukotic.xrootd.cyfronet-lcg2-1M
    convert ->
    root://dpm.cyf-kr.edu.pl:1094//dpm/cyf-kr.edu.pl/home/atlas/atlasdatadisk/rucio/user/ivukotic/9b/43/user.ivukotic.xrootd.cyfronet-lcg2-1M
    (note // after :1094)

To get a path to files from registered datasets:

  1. setup environment
    export ATLAS_LOCAL_ROOT_BASE=/cvmfs/atlas.cern.ch/repo/ATLASLocalRootBase
    source ${ATLAS_LOCAL_ROOT_BASE}/user/atlasLocalSetup.sh
    localSetupFAX
  2. check site where dataset replica exists
    dq2-ls -r "dataset name"
  3. set STORAGEPREFIX according to site you want to access
    CYFRONET: export STORAGEPREFIX=root://dpm.cyf-kr.edu.pl:1094
    PSNC: export STORAGEPREFIX=root://se.reef.man.poznan.pl:1094
    Global: export STORAGEPREFIX=root://atlas-xrd-eu.cern.ch:1094 (may not work yet)
  4. get file paths
    dq2-list-files -g "dataset name"
    convert them adding manuallY $STORAGEPREFIX
  5. Example:
    export STORAGEPREFIX=root://dpm.cyf-kr.edu.pl:1094
    for f in `dq2-list-files -g user.ivukotic.xrootd.cyfronet-lcg2`; do echo $STORAGEPREFIX$f'; done

To use a file in ROOT:

  • setup environment
    localSetupFAX
  • TFile::Open("xrootdpath")

Zaawansowane użycie

Ewentualnie jako osobny podrozdział.

Gdzie szukać dalszych informacji?

Strony zewnętrzne (jeśli są), odnośnik do helpdesku lub strony dokumentacji o pomocy.

Można też dodać sekcję "Co dalej?" ze wskazaniem (odnośnikiem) do dalszej części dokumentacji, o ile jest wymagana.

 

 

 

  • No labels