Usługa Powszechnej Archiwizacji - PLATON

Krótki opis usługi

Usługa Powszechnej Archiwizacji – Platon, jest adresowana do polskiego środowiska naukowego i służy do składowania kopi zapasowych i archiwalnych dużych wolumenów danych. W przypadku użytkowników portalu PL-Grid, wgrane dane są utrzymywane w dwóch kopiach, w rozproszonych geograficznie ośrodkach KDM. Użytkownik korzysta z usługi przez protokół sftp lub GridFTP. Dostęp do usługi możliwy jest z poziomu jednego z punktów dostępowych PL-Grid (tj. z UI). Podobnie jak w PL-Grid, w PLATON-ie serwery pozwalające na dostęp do usługi, nazywane są punktami dostępowymi. Punkty dostępowe PLATON są rozmieszczone w tych samych ośrodkach co punkty dostępowe PL-Grid. Każdy punkt dostępowy PLATON, dostarcza tej samej usługi składowania danych, dlatego, pomijając kwestie wydajnościowe, bez znaczenia jest za pośrednictwem którego z punktów dostępowych PLATON, użytkownik korzysta z usługi. Punkty dostępowe PLATON składują dane użytkowników w punktach składowania. Lokalizacja punktów składowania danych również pokrywa się z lokalizacją punktów dostępowych PL-Grid. Docelowe punkty składowania danych są wybierane przez inteligentne algorytmy realizowane przez punkty dostępowe. Przy wyborze punktu składowania danych, uwzględnia się takie parametry jak lokalizacja użytego punktu dostępowego PLATON oraz chwilowa dostępność docelowych lokalizacji. Dane użytkowników portalu PL-Grid są replikowane w trybie asynchronicznym, tj. gdy użytkownik wgrywa plik, najpierw trafia on do najbliższego punktu składowania danych, a następnie, gdy wgrywanie się zakończy to w tzw. tle, tworzona jest jego kopia w innej lokalizacji. Głównym celem rozproszenia geograficznego danych jest zwiększenie bezpieczeństwa i dostępności danych, jednak przy świadomym wykorzystaniu tego mechanizmu, może on podnosić również wydajność. Istotną cechą systemu jest fizyczny sposób składowania danych. Dane użytkowników, ostatecznie trafiają na bibliotekę taśmową, dlatego późniejsza próba dostępu do danych może się wiązać nawet z kilku minutowym opóźnieniem związanym z pracą tzw. robota ładującego taśmy oraz z oczekiwaniem na dostęp do wolnego (tj. nie zajętego przez inne taśmy) czytnika taśm. Jest to właściwość która dość jasno determinuje przeznaczenie i scenariusze wykorzystania usługi (tworzenie archiwów i kopii zapasowych, składowanie dużych plików, rzadki odczyt danych).

Aktywowanie usługi

Aktywacja usługi odbywa się standardowo, poprzez portal PL-Grid. W zakładce „Moje Konto”, rozwijamy grupę usług „Usługi dostępu do danych”, a następnie, dla pozycji „Usługa Powszechnej Archiwizacji” klikamy odnośnik „Aplikuj o usługę”.

Usługa zostanie aktywowana w przeciągu dwóch godzin.

Gdy usługa zostanie aktywowana, to dostęp do niej będzie możliwy z poziomu serwerów dostępowych PL-Grid.

Ograniczenia w korzystaniu

Z usługi PLATON, korzysta się za pośrednictwem typowych programów klienckich obsługujących protokół sftp lub GridFTP. Ponieważ, do uwierzytelniania, usługa używa certyfikatów (w przypadku protokołu GridFTP) i kluczy (w przypadku protokołu sftp) to przed aktywowaniem usługi, najpierw, z poziomu portalu PL-Grid, należy wygenerować certyfikat SimpleCA. Jest to istotne, ponieważ certyfikat ten i powiązane z nim klucze, automatycznie będą dostępne na serwerach dostępowych PL-Grid.

Dostęp do usługi (czyli do punktów dostępowych PLATON) możliwy jest tylko z poziomu serwerów dostępowych PL-Grid. Zakres wykorzystania usługi ograniczony jest do składowania kopii zapasowych i archiwów. Mimo, że dzięki programowi sshfs, przestrzeń dostępną w ramach usługi, można podmontować w lokalnym katalogu, to nie należy korzystać z dostarczonej w ten sposób przestrzeni jak z typowego dysku sieciowego (nie wgrywamy dużej ilości małych plików, nie edytujemy plików otwartych bezpośrednio z tej przestrzeni, nie pozwalamy aplikacjom obliczeniowym umieszczać bezpośrednio w tej przestrzeni, końcowych lub pośrednich plików wynikowych).

Wyjściowo, maksymalny rozmiar przestrzeni którą może wykorzystać pojedynczy użytkownik wynosi 100GB. W przypadku zapotrzebowania na większą przestrzeń należy zwrócić się z wnioskiem o zwiększenie limitu.

Pierwsze kroki

Programy klienckie

Dostęp do usługi może się odbywać tylko z poziomu serwerów dostępowych PL-Grid, za pośrednictwem typowych programów klienckich obsługujących protokoły sftp i gridftp (program sftp, sshfs i globus-url-copy). Programy klienckie łączą się z jednym z pięciu punktów dostępowych PLATON. Do uwierzytelniania użytkowników, usługa używa certyfikatów lub kluczy. Dostępność potrzebnych do uwierzytelnienia certyfikatów lub kluczy zapewniana jest przez infrastrukturę PL-Grid (dokładnie przez wirtualny system plików keyfs).

Schemat integracji usługi z PL-Grid

Poniższy rysunek przedstawia punkty dostępowe oraz lokalizacje składowania danych PLATON i umiejscawia je w kontekście infrastruktury PL-Grid.

Na powyższym rysunku widać, że zarówno punkty dostępowe PLATON jak i docelowe lokalizacje, w których, za pośrednictwem tych punktów dostępowych, składowane są dane, znajdują się w tych samych ośrodkach co serwery dostępowe PL-Grid. Lokalizacja i wybór węzłów składowania są dla użytkownika przezroczyste. Najczęściej, jeśli będzie to możliwe, pliki będą składowane w lokalizacji najbliższej w stosunku do użytego punktu dostępowego PLATON. Druga kopia pliku jest tworzona w lokalizacji wybieranej wg wewnętrznych algorytmów systemu.

Punkty dostępowe PLATON

Z usługi PLATON można korzystać za pośrednictwem dowolnego punktu dostępowego PLATON, jednak dla zwiększenia wydajności systemu, zaleca się by był to punkt dostępowy najbliższy wykorzystywanemu serwerowi dostępowemu PL-Grid. Poniższa tabela przedstawia punkty dostępowe PLATON w zestawieniu z najbliższymi serwerami dostępowymi PL-Grid.

Tabela: Punkty dostępowe PLATON

Katalog domowy użytkownika

W usłudze PLATON, dostępnej dla użytkowników portalu PL-Grid, każdy użytkownik ma swój katalog domowy. Prawo dostępu do tego katalogu ma tylko jego właściciel (tj. użytkownik dla którego katalog został utworzony).

Katalogi domowe użytkowników w usłudze PLATON znajdują się w katalogu /home/kmd/plgrid-portal/users.

Programy takie jak sfpt czy sshfs, domyślnie realizują dostęp do katalogu domowego, więc w przpypadku tych programów nie ma potrzeby jawnego podawania ścieżki do katalogu domowego.

Korzystając z protokołu GridFTP i programu klienckiego globus-url-copy, wymagane będzie jawne podanie pełnej ścieżki do katalogu domowego (przykład w dalszej części opisu).

Katalog domowy grupy

Każdej grupie roboczej istniejącej w ramach projektu PL-Grid, po stronie usługi PLATON, odpowiada tzw. katalog domowy grupy. Katalog ten ma taką samą nazwę jak nazwa grupy i jest umiejscowiony w katalogu nadrzędnym /home/kmd/plgrid-portal/groups. Prawa dostępu do katalogu domowego grupy mają tylko użytkownicy należący do tej grupy. Przynależność do danej grupy wynika z logiki portalu PL-Grid. Usługa PLATON nie zarządza relacjami między użytkownikami a grupami a jedynie je honoruje.

UWAGA: Domyślnie, prawo zapisu i odczytu do katalogu domowego grupy każdy kto należy do danej grupy. Należy jednak pamiętać, że nowo tworzone katalogi mają ustawione prawa dostępu na rwxr-xr-x, natomiast nowo tworzone pliki na rw-r--r--, oraz że grupa do której należą nowo tworzone katalogi i pliki to zawsze grupa o nazwie plgrid-portal. Oznacza to, że jeśli chcemy żeby inni użytkownicy danej grupy mieli prawa zapisu do danych wgranych do katalogu domowego grupy to trzeba odpowiednio zmodyfikować atrybuty plików i katalogów (albo zmieniamy grupę do której należą pliki i katalogi, albo ustawiamy prawo co zapisu dla wszystkich). Zarówno klienci sftp jak i GridFTP pozwalają na wykonanie takiej operacji.

Dostęp do usługi przez program sftp

Procedura dostępu do usługi poprzez program sftp:

1. Logujemy się na jeden z serwerów dostępowych PL-Grid.
    

2. Używając jednego z punktów dostępowych PLATON (patrz tabela Punkty dostępowe PLATON) oraz klucza dostarczanego przez keyfs i dostępnego pod ścieżką /mnt/keyfs/users/<username>/.globus/userkey.pem, nawiązujemy połączenie z usługą:
   
   sftp -o IdentityFile=/mnt/keyfs/users/<username>/.globus/userkey.pem <platon_access_node>
   
   gdzie,
   
   -o IdentityFile to parametr wskazujący klucz prywatny użytkownika,
   
   <username> to nazwa użytkownika PL-Grid,
   
   <platon_access_node> to nazwa punktu dostępowego PLATON
   
   UWAGA: Klucz prywatny użytkownika jest chroniony hasłem ustawionym z poziomu portalu PL-Grid. Program sftp, podczas uwierzytelniania w usłudze, poprosi nas o podanie tego hasła.
   
   

3. Po poprawnym uwierzytelnieniu, program sftp dostarcza standardowego interfejsu w postaci tekstowej konsoli sftp. Domyślnie, bezpośrednio po uzyskaniu dostępu, zdalnym katalogiem roboczym jest katalog domowy użytkownika. Do wyświetlenia listy dostępnych komend służy polecenie help.

Dostęp do usługi przez program sshfs

Program sshfs pozwala na podmontowanie w lokalnym katalogu zasobu dostępnego poprzez protokół sftp. Przykładowa procedura użycia tego programu wygląda następująco:

1. Logujemy się na jeden z serwerów dostępowych PL-Grid.
    

2. W katalogu domowym (na serwerze dostępowym PL-Grid) zakładamy katalog pomocniczy, do którego następnie podmontujemy przestrzeń udostępnianą przez usługę PLATON.
   
   mkdir platon-backup
   
   

3. Używając jednego z punktów dostępowych usługi PLATON (patrz tabela Punkty dostępowe PLATON) oraz klucza dostarczonego przez keyfs i dostępnego pod ścieżką /mnt/keyfs/users/<username>/.globus/userkey.pem, montujemy przestrzeń wystawianą przez usługę w lokalnym katalogu (w tym przypadku w katalogu platon-backup):
   
   sshfs -o IdentityFile=/mnt/keyfs/users/<username>/.globus/userkey.pem <platon_access_node>:. platon-backup
   
   gdzie,
   
   -o IdentityFile to parametr wskazujący ścieżkę do klucza prywatnego użytkownika,
   
   <username> to nazwa użytkownika PL-Grid,
   
   <platon_access_node> to nazwa punktu dostępowego usługi PLATON
   
   UWAGA: Klucz prywatny użytkownika jest chroniony hasłem ustawionym z poziomu portalu PL-Grid. Program sftp, podczas uwierzytelniania w usłudze, poprosi nas o podanie tego hasła.
   
   

4. Po poprawnym zakończeniu powyższego polecenia, przestrzeń udostępniana przez usługę PLATON powinna być dostępna na serwerze dostępowym PL-Grid w katalogu domowym użytkownika w podkatalogu platon-backup.

Dostęp do usługi przez program globus-url-copy

Dostęp do usługi PLATON poprzez protoków GridFTP zapewnia program globus-url-copy. Przykładowy scenariusz użycia może wyglądać tak:

1. Logujemy się na jeden z serwerów dostępowych PL-Grid.
    

2. Korzystając z certyfikatu i klucza wystawionego przez keyfs, generujemy tzw. certyfikat proxy, używany przez GridFTP do uwirzytelniania użytkowników:
   
   grid-proxy-init
   
   UWAGA: Powyższe polecenie generuje certyfikat proxy bazując na pliku z certyfikatem i kluczem prywatnym użytkownika. Lokalizacja plików z certyfikatem i kluczem, jest ustalana na podstawie wartości zmiennych środowiskowych X509_USER_CERT i X509_USER_KEY, które na węźle dostępowym PL-Grid są automatycznie tak ustawiane żeby wskazywały odpowiednie pliki w wirtualnym systemie plików keyfs.
   
   

3. Domyślnie certyfikat proxy ma ważność 12 godzin. Po wygaśnięciu certyfikatu należy wygenerować nowy. Do sprawdzenia czasu ważności certyfikatu proxy służy polecenie grid-proxy-info.
   
   

4. Do kopiowania plików służy komenda globus-url-copy. Przykładowe przekopiowanie pliku z serwera dostępowego PL-Grid do usługi PLATON może wyglądać tak:
   
   globus-url-copy file:///etc/issue gsiftp://<platon_access_node>/home/kmd/plgrid-portal/users/<username>/test
   
   gdzie,
   
   file:///etc/issue to URL do lokalnego pliu /etc/issue,
   
   <platon_access_node> to adres jednego z punktów dostępowych PLATON,
   
   <username> to nazwa użytkownika PL-Grid