Skip to end of metadata
Go to start of metadata

Krótki opis usługi

Usługa zapewnia zdalny dostęp do plików danych eksperymentów HEP na serwerach dyskowych w Polsce i na świecie z wykorzystaniem protokołów bezpośredniego dostępu. W chwili obecnej jest to protokół xrootd. Jest to rodzimy protokół dostępu do plików popularnego środowiska analizy danych fizycznych o nazwie ROOT. Dzięki temu analizę można wykonywać bezpośrednio na danych pobieranych z serwerów gridowych bez konieczności wstępnego kopiowania plików na dyski lokalne. Dostęp w trybie odczytu do archiwów danych HEP na świecie jest możliwy z dowolnego komputera z zainstalowanym pełnym środowiskiem ROOT. Autoryzacja dostępu następuje przy pomocy certyfikatu gridowego z aktywnym rozszerzeniem voms wirtualnej organizacji (eksperymentu) do której danych chcemy dotrzeć.

Druga część usługi o nazwie "Dostęp z zapisem do lokalnego archiwum HEP PLGrid" to archiwum lokalne HEP, w którym można przechowywać wyniki bieżącej analizy na zasobach PLGrid. Różni się ona od pierwszej części ze względu na dodatkową możliwość wykonywania operacji zapisu (pierwsza część działająca na oficjalnych zasobach eksperymentów daje tylko prawo do odczytu). Zasoby archiwum HEP PLGrid są udostępniane w wielkości i na przeciąg czasu określony we wniosku, jaki należy złożyć do administratorów usługi.

Aktywowanie usługi

Serwery dyskowe eksperymentów LHC znajdujące się w Polsce mają skonfigurowaną łączność zarówno przy pomocy protokołów (m.in.) srm i gridftp gridu WLCG (do zdalnego kopiowania plików przy pomocy narzędzi gLite) jak i przy pomocy protokołu xrootd (do kopiowania i do dostępu bezpośredniego). Dodatkowo w ośrodku Cyfronet udostępnione są wydzielone zasoby dyskowe z możliwością zapisu przez użytkowników zarejestrowanych w PLGrid.  Aby móc korzystać z tych usług na serwerach w Polsce, należy mieć założone konto w Portalu PL-Grid i aktywować usługi:

  1. Dostęp do klastra w ośrodku obliczeniowym (np. ZEUS)
  2. Dostęp do UI w ośrodku obliczeniowym (np. Cyfronet)
  3. Platforma dziedzinowa HEPGrid: Dostęp do archiwów danych HEP
  4. Platforma dziedzinowa HEPGrid: Dostęp z zapisem do lokalnego archiwum HEP PLGrid

Usługi aktywuje się w Portalu Użytkownika, zgodnie z opisem. Przed wystąpieniem o dostęp z zapisem do lokalnego archiwum HEP należy skontaktować się mailem z kierownikiem tego zespołu pod adresem Andrzej.Olszewski@ifj.edu.pl z krótkim uzasadnieniem celu rezerwacji przestrzeni, jej wielkości i czasu trwania. Uzyskanie dostępu trwa zwykle kilka dni.

Ograniczenia w korzystaniu

Dostęp do zasobów archiwów z zapisem wymaga użycia certyfikatu proxy dla VO: vo.plgrid.pl. W zasadzie przeznaczony jest tylko do pracy z maszyn roboczych PLGrid i tylko na nich można w sposób prosty aktywować odpowiednią wersję proxy certyfikatu. Również ze względu na ograniczenia komputerowych sieci przesyłowych obecnie zalecamy odczyt plików tylko z maszyn roboczych klastra obliczeniowego lokalnego dla serwerów dyskowych. Zarówno dostęp zdalny do plików na świecie, jak i nielokalny odczyt z serwerów w Polsce jest dosyć wolny. W przyszłości przewidujemy prace nad optymalizacją dostępu sieciowego pomiędzy ośrodkami w Polsce oraz zwiększenie wydajności transferów zagranicznych.

Pierwsze kroki

Organizacja plików w katalogach jest specyficzna dla poszczególnych eksperymentów, a przeszukiwanie katalogów dyskowych w celu znalezienia poszukiwanego pliku jest nieefektywne. Z tego powodu zakładamy, że użytkownik zna (lub potrafi skonstruować) pełną ścieżkę dostępu do interesującego go pliku. Poniżej podajemy metody wyszukiwania plików dla poszczególnych eksperymentów HEP.

Dostęp z odczytem pliku, gdy znamy ścieżkę:

  1. Utwórz proxy certyfikatu autoryzacji
    voms-proxy-init -voms (VO organizacji, np. atlas)
  2. Udostępnij środowisko ROOT analizy danych i narzędzi zdalnego kopiowania. W PLGrid środowisko oprogramowania konfiguruje się przy pomocy narzędzia o nazwie module (patrz https://kdm.cyfronet.pl/portal/Modules).
    module add tools/root/5.34.18 (moduł pakietu ROOT z wkompilowanym protokołem xrootd)
  3. Do kopiowania plików na dysk lokalny służy polecenie xrdcopy (lub starsza wersja xrdcp), np dla pliku Atlasa.
    xrdcopy root://dpm.cyf-kr.edu.pl:1094//dpm/cyf-kr.edu.pl/home/atlas/atlasdatadisk/rucio/user/ivukotic/9b/43/user.ivukotic.xrootd.cyfronet-lcg2-1M /tmp/xrdcopy.test
  4. Dostęp bezpośredni do pliku z aplikacji w środowisku ROOT
    TFile *file = TFile::Open("root://dpm.cyf-kr.edu.pl:1094//dpm/cyf-kr.edu.pl/home/atlas/atlasdatadisk/rucio/user/ivukotic/14/c4/group.test.hc.NTUP_SUSY-Root530.root")

Archiwum lokalne HEP PLGrid ma prostą strukturę katalogów. Podstawowa ścieżka dostępu/zapisu to /dpm/cyf-kr.edu.pl/home/vo.plgrid.pl/plggheparch/. Poniżej powinny być tworzone podkatalogi użytkowników zgodne z nazwą ich konta w PLGrid, np. /dpm/cyf-kr.edu.pl/home/vo.plgrid.pl/plggheparch/aolszewski/test.xroot.

Dostęp z odczytem pliku jest taki sam jak opisany wyżej. Trzeba tylko aktywować proxy z voms vo.plgrid.pl:

  1. Utwórz proxy certyfikatu autoryzacji
    voms-proxy-init -voms vo.plgrid.pl
  2. jak wyżej

Zapis pliku w lokalnym archiwum HEP PLGrid wymaga na razie użycia osobnego narzędzia z pakietu gLite. Jest to konieczne dla zapewnienia dostępu do zarezerwowanych zasobów oznaczonych przez spacetoken PLGGHEPARCH. Należy kolejno:

  1. Utwórz proxy certyfikatu autoryzacji
    voms-proxy-init -voms vo.plgrid.pl
  2. Kopiuj pliki z dysku lokalnego do archiwum (podkatalogi są tworzone automatycznie), np.
    lcg-cp --vo vo.plgrid.pl --dst PLGGHEPARCH  file://`pwd`/user.ivukotic.xrootd.cyfronet-lcg2-1M srm://dpm.cyf-kr.edu.pl/dpm/cyf-kr.edu.pl/home/vo.plgrid.pl/plggheparch/aolszewski/test.xrootd

Zaawansowane użycie

ATLAS

W eksperymencie ATLAS rozwijana jest metoda dostępu do plików danych przy pomocy ścieżki globalnej, która jest konwertowana do ścieżki lokalnej dla konkretnego serwera danych dzięki funkcjom usługi FAX. Pozwala to na dostęp do plików bez informacji o ścieżce dostępu na konkretnym serwerze przechowującym ten plik, a nawet bez informacji, który serwer przechowuje plik, jeżeli zapytanie zostanie skierowane do serwera z funkcją przekierowania.

W PLGrid pliki Atlasa przechowywane są na serwerze DPM w ośrodku ACK Cyfronet . Użytkownicy mogą korzystać z plików już zapisanych na nich lub używać usługi R2D2 request do replikacji zestawów danych do przestrzeni SCRATCHDISK na tych serwerach. Poniżej podane są metody wyszukiwania/tworzenia ścieżek plików z zestawów danych Atlasa.

Tworzenie ścieżki dostępu dla zarejestrowanych zestawów danych (datasets) przy pomocy narzędziA Rucio:

  1. Utwórz proxy certyfikatu autoryzacji
    voms-proxy-init -voms atlas
  2. Wstaw środowisko narzędzi DQ2
    export ATLAS_LOCAL_ROOT_BASE=/cvmfs/atlas.cern.ch/repo/ATLASLocalRootBase
    source ${ATLAS_LOCAL_ROOT_BASE}/user/atlasLocalSetup.sh
    localSetupFAX
  3. Sprawdź, który ośrodek (rse) przechowuje poszukiwany zestaw danych
    rucio list-dataset-replicas "nazwa zestawu danych"
  4. Otrzymanie listy ścieżek do plików z zestawu danych
     rucio list-file-replicas --rse "rse name" --protocols root "nazwa datasetu"
    Przykład:
    rucio list-file-replicas --rse CYFRONET-LCG2_DATAPDISK --protocols root user.ivukotic.xrootd.cyfronet-lcg2

Gdzie szukać dalszych informacji?

Informacje o centralnych zasobach Atlasa w Polsce i ich konfigurowaniu: http://nz11-agh1.ifj.edu.pl/do/view/AtlasTier2/CyfronetWeb

Dalsze informacje o metodach używania dostępu xrootd w Atlasie: https://twiki.cern.ch/twiki/bin/view/AtlasComputing/AtlasXrootdSystems

Strona projektu XROOTD: http://xrootd.org/index.html

 

  • No labels