Krótki opis usługi

Usługa zapewnia zdalny dostęp do plików danych ekperymentów HEP na serwerach dyskowych w Polsce i na świecie z wykorzystaniem protokołów bezpośredniego dostępu. W chwili obecnej jest to protokół xrootd. Jest to rodzimy protokół dostępu do plików popularnego środkowiska analizy danych fizycznych o nazwie ROOT. Dzięki temu analizę można wykonywać bezpośrednio na danych pobieranych z serwerów gridowych bez konieczności wstępnego kopiowania plików na dyski lokalne. Dostęp w trybie odczytu do archiwów danych HEP na świecie jest możłiwy z dowolnego komputera z zainstalowanym pełnym środowiskiem ROOT. Autoryzacja dostępu następuje przy pomocy certyfikatu gridowego z aktywnym rozszerzeniem voms wirtualnej organizacji (eksperymentu) do której danych chcemy dotrzeć.

Druga część usługi o nazwie "Dostęp z zapisem do lokalnego archiwum HEP PLGrid" to archiwum lokalne HEP w którym można przechowywać wyniki bieżącej analizy na zasobach PLGrid. Różni się ona od pierwszej części ze względu na dodatkową możliwość wykonywania operacji zapisu (pierwsza część działająca na oficjalnych zasobach eksperymentów daje tylko prawo do odczytu). Zasoby archiwum HEP PLGrid są udostępniane w wielkości i na przeciąg czasu określony we wniosku jaki należy złożyć do administratorów usługi.

Aktywowanie usługi

Serwery dyskowe eksperymentów LHC znajdujące się w Polsce mają skonfigurowaną łączność zarówno przy pomocy protokołów m.in. srm i gridftp gridu WLCG (do zdalnego kopiowania plików przy pomocy narzędzi gLite) jak i przy pomocy protokołu xrootd (do kopiowania i do dostępu bezpośredniego). Dodatkowo w ośrodku Cyfronet udostępnione są wydzielone zasoby dyskowe z możliwością zapisu przez użytkowników zarejestrowanych w PLGrid.  Aby móc korzystać z tych usług na serwerach w Polsce należy mieć założone konto w Portalu PL-Grid i aktywować usługi:

  1. Dostęp do klastra w ośrodku obliczeniowym (np. REEF, ZEUS)
  2. Dostęp do UI w ośrodku obliczeniowym (np. Cyfronet, ICM, PCSS)
  3. Platforma dziedzinowa HEPGrid: Dostęp do archiwów danych HEP
  4. Platforma dziedzinowa HEPGrid: Dostęp z zapisem do lokalnego archiwum HEP PLGrid

Usługi aktywuje się w Portalu Użytkownika, zgodnie z przykładem.

Ograniczenia w korzystaniu

Dostęp do zasobów archiwów z zapisem wymaga użycia certiyfikatu proxy dla VO: vo.plgrid.pl. W zasadzie przeznaczony jest tylko do pracy z maszyn roboczych PLGrid i tylko na nich można w sposób prosty aktywować odpowiednią wersję proxy certyfikatu. Również ze względu na ograniczenia komputerowych sieci przesyłowych obecnie zalecamy odczyt plików tylko z maszyn roboczych klastra obliczeniowego lokalnego dla serwerów dyskowych. Zarówno dostęp zdalny do plików na świecie jak i nielokalny odczyt z serwerów w Polsce jest dosyć wolny. W przyszłości przewidujemy prace nad optymalizacją dostępu sieciowego pomiędzy ośrodkami w Polsce oraz poprawę szybkości łaczności sieciowej z zagranicą.

Pierwsze kroki

Organizacja plików w katalogach jest specyficzna dla poszczególnych eksperymentów a przeszukiwanie katalogów dyskowych w celu znalezienia poszukiwanego pliku jest nieefektywne. Z tego powodu zakładamy że użytkownik zna (lub potrafi skonstruować) pełną ścieżkę dostępu do pliku który go interesuje. Poniżej podajemy metody wyszukiwania plików dla poszczególnych eksperymentów HEP.

Dostęp z odczytem pliku gdy znamy ścieżkę:

  1. utworzyć proxy certyfikatu autoryzacji
    voms-proxy-init -voms (VO organizacji, np. atlas)
  2. zapewnić dostęp do środowiska ROOT analizy danych i narzędzi zdalnego kopiowania. W PLGrid środowisko oprogramowania konfiguruje się przy pomocy narzędzia o nazwie module (patrz https://kdm.cyfronet.pl/portal/Modules).
    module add tools/root/5.34.18 #(moduł pakietu ROOT z wkompilowanym protokołem xrootd)
  3. Do kopiowania plików na dysk lokalny służy polecenie xrdcopy (lub starsza wersja xrdcp), np dla pliku Atlasa.
    xrdcopy root://dpm.cyf-kr.edu.pl:1094//dpm/cyf-kr.edu.pl/home/atlas/atlasdatadisk/rucio/user/ivukotic/9b/43/user.ivukotic.xrootd.cyfronet-lcg2-1M /tmp/xrdcopy.test
  4. Dostęp bezpośredni do pliku z aplikacji w środowisku ROOT
    TFile *file = TFile::Open("root://dpm.cyf-kr.edu.pl:1094//dpm/cyf-kr.edu.pl/home/atlas/atlasdatadisk/rucio/user/ivukotic/14/c4/group.test.hc.NTUP_SUSY-Root530.root")

Archiwum lokalne HEP PLGrid ma prostą strukturę katalogów. Podstawowa ścieżka dostępu/zapisu to /dpm/cyf-kr.edu.pl/home/vo.plgrid.pl/plggheparch/. Poniżej powinny być tworzone podkatalogi użytkowników zgodne z nazwą ich konta w PLGrid, np. /dpm/cyf-kr.edu.pl/home/vo.plgrid.pl/plggheparch/aolszewski/test.xroot.

Dostęp z odczytem pliku jest taki sam jak opisany wyżej. Trzeba tylko aktywować proxy z voms vo.plgrid.pl:

  1. utworzyć proxy certyfikatu autoryzacji
    voms-proxy-init -voms vo.plgrid.pl
  2. jak wyżej

Zapis pliku w lokalnym archiwum HEP PLGrid wymaga na razie użycia osobnego narzędzia z pakietu gLite. Jest to konieczne dla zapewnienia dostępu do zarezerwowanych zasobów oznaczonych przez spacetoken PLGGHEPARCH.

  1. utworzyć proxy certyfikatu autoryzacji
    voms-proxy-init -voms vo.plgrid.pl
  2. skopiować plik z dysku lokalnego do archiwum (podkatalogi są tworzone automatycznie), np.
    lcg-cp --vo vo.plgrid.pl --dst PLGGHEPARCH  file://`pwd`/user.ivukotic.xrootd.cyfronet-lcg2-1M srm://dpm.cyf-kr.edu.pl/dpm/cyf-kr.edu.pl/home/vo.plgrid.pl/plggheparch/aolszewski/test.xrootd

Zaawansowane użycie

ATLAS

W eksperymencie ATLAS rozwijana jest metoda dostępu do plików danych przy pomocy ścieżki globalnej, która jest konwertowana do ścieżki lokalnej dla konkretnego serwera danych dzięki funkcjom usługi FAX. Pozwala to na dostęp do plików bez informacji o ścieżce dostępu na konkretnym serwerze przechowującym ten plik, a nawet bez informacji który serwer przechowuje plik jeżeli zapytanie zostanie skierowane do serwera z funkcją przekierowania.

W PLGrid pliki Atlasa przechowywane są na serwerach DPM w ośrodkach ACK Cyfronet i PSNC w Poznaniu. Użytkownicy mogą korzystać z plików już zapisanych na niich lub używać usługi Datri do replikacji zestawów danych do przestrzeni SCRATCHDISK na tych serwerach. Poniżej podaję metody wyszukiwania/tworzenia ścieżek plików z zestawów danych Atlasa.

Tworzenie ścieżki dostępu dla zarejestrowanych zestawów danych (datasets) przy pomocy narzędzi DQ2:

  1. utworzyć proxy certyfikatu autoryzacji
    voms-proxy-init -voms atlas
  2. ustawić środowisko narzędzi DQ2
    export ATLAS_LOCAL_ROOT_BASE=/cvmfs/atlas.cern.ch/repo/ATLASLocalRootBase
    source ${ATLAS_LOCAL_ROOT_BASE}/user/atlasLocalSetup.sh
    localSetupFAX
  3. sprawdź który ośrodek przechowuje poszukiwany zestaw danych
    dq2-ls -r "nazwa zestawu danych"
  4. zdefinuj STORAGEPREFIX zgodnie ze ścieżką dostępu serwera który chcesz używać
    CYFRONET: export STORAGEPREFIX=root://dpm.cyf-kr.edu.pl:1094
    PSNC: export STORAGEPREFIX=root://se.reef.man.poznan.pl:1094
    Dowolny ośrodek na świecie (serwer przekierowujący): export STORAGEPREFIX=root://atlas-xrd-eu.cern.ch:1094
  5. otrzymanie listy ścieżek do plików z zestawu danych
    dq2-list-files -gp "nazwa zestawu danych"
  6. Przykład:
    export STORAGEPREFIX=root://dpm.cyf-kr.edu.pl:1094
    dq2-list-files -gp user.ivukotic.xrootd.cyfronet-lcg2

Tworzenie ścieżki do plików przez prostą zamianę prefixu protokołu dostępu srm:

  1. ustawienie środowiska (jak wyżej)
  2. zamiana prefixu srm:// na prefix root:// dla protokołu xrootd
    CYFRONET: root://dpm.cyf-kr.edu.pl:1094/
    PSNC: root://se.reef.man.poznan.pl:1094/
  3. Dla dowolnej ścieżki w/g protokołu srm, np otrzymanej przy pomocy narzędzia DQ2:
    dq2-ls -fp -L CYFRONET-LCG2_DATADISK user.ivukotic.xrootd.cyfronet-lcg2
  4. Przykład zamiany:
    srm://dpm.cyf-kr.edu.pl/dpm/cyf-kr.edu.pl/home/atlas/atlasdatadisk/rucio/user/ivukotic/9b/43/user.ivukotic.xrootd.cyfronet-lcg2-1M
    zamienić na ->
    root://dpm.cyf-kr.edu.pl:1094//dpm/cyf-kr.edu.pl/home/atlas/atlasdatadisk/rucio/user/ivukotic/9b/43/user.ivukotic.xrootd.cyfronet-lcg2-1M
    (uwaga na podwójny // po :1094)

Gdzie szukać dalszych informacji?

Dalsze informacje o metodach używania dostępu xrootd w Atlasie są pod adresem https://twiki.cern.ch/twiki/bin/view/AtlasComputing/AtlasXrootdSystems

Strona projektu XROOTD: http://xrootd.org/index.html