Usługa Powszechnej Archiwizacji - PLATON

Krótki opis usługi

Usługa Powszechnej Archiwizacji – Platon, jest adresowana do polskiego środowiska naukowego i służy do składowania kopi zapasowych i archiwalnych dużych wolumenów danych. W przypadku użytkowników portalu PL-Grid, wgrane dane są utrzymywane w dwóch kopiach, w rozproszonych geograficznie ośrodkach KDM. Użytkownik korzysta z usługi przez protokół sftp lub GridFTP. Dostęp do usługi możliwy jest z poziomu jednego z punktów dostępowych PL-Grid (tj. z UI). Podobnie jak w PL-Grid, w PLATON-ie serwery pozwalające na dostęp do usługi, nazywane są punktami dostępowymi. Punkty dostępowe PLATON są rozmieszczone w tych samych ośrodkach co punkty dostępowe PL-Grid. Każdy punkt dostępowy PLATON, dostarcza tej samej usługi, dlatego pomijając kwestie wydajnościowe, bez znaczenia jest z którego punktu dostępowego użytkownik korzysta w danej chwili. Za pośrednictwem punktów dostępowych, dane ostatecznie strafiają do punktów składowania. Lokalizacja punktów składowania danych również pokrywa się z lokalizacją punktów dostępowych PL-Grid. Docelowe punkty składowania danych są wybieranae przez inteligentne algorytmy realizowae przez punkty dostępowe. Przy wyborze punktu składowania danych, uwzględnia się takie parametry jak lokalizacja użytego punktu dostępowego PLATON oraz chwilowa dostępność docelowych lokalizacji. Dane użytkowników portalu PL-Grid replikowane są w trybie asynchronicznym, tj. gdy użytkownik wgrywa plik, najpierw trafia on do najbliższego punktu przechowywania danych, a następnie, gdy wgrywanie się zakończy to w tzw. tle, tworzona jest jego kopia w innej lokalizacji. Głównym celem rozproszenia geograficznego danych jest zwiększenie bezpieczeństwa i dostępności danych, jednak przy świadomym wykorzystaniu tego mechanizmu, może on podnosić również wydajność. Istotną cechą systemu jest fizyczny sposób składowania danych. Dane użytkowników, ostatecznie trafiają na bibliotekę taśmową, dlatego późniejsza próba dostępu do danych może się wiązać nawet z kilku minutowym opóźnieniem związanym z pracą tzw. robota ładującego taśmy oraz z oczekiwaniem na dostęp do wolnego (tj. nie zajętego przez inne taśmy) czytnika. Jest to właściwość kóta dość jasno determinuje przeznaczenie i scenariusze wykorzystania usługi (tworzenie archiwów i kopii zapasowych, składowanie dużych plików, rzadki odczyt danych).

Aktywowanie usługi

Aktywacja usługi odbywa się standardowo, poprzez portal PL-Grid. W zakładce „Moje Konto”, rozwijamy grupę usług „Usługi dostępu do danych”, a następnie, dla pozycji „Usługa Powszechnej Archiwizacji” klikamy odnośnik „Aplikuj o usługę”.

Usługa zostanie aktywowana w przeciągu dwóch godzin.

Gdy usługa zostanie aktywowana, to dostęp do niej będzie możliwy z poziomu serwerów dostępowych PL-Grid.

Ograniczenia w korzystaniu

Z usługi PLATON, korzysta się za pośrednictwem typowych programów klienckich obsługujących protokół sftp lub GridFTP. Ponieważ, do uwierzytelniania, usługa używa certyfikatów (w przypadku protokołu GridFTP) i kluczy (w przypadku protokołu sftp) to przed aktywowaniem usługi, najpierw, z poziomu portalu PL-Grid, należy wygenerować certyfikat SimpleCA. Jest to istotne, ponieważ certyfikat ten i powiązane z nim klucze, automatycznie będą dostępne na serwerach dostępowych PL-Grid.

Dostęp do usługi (czyli do punktów dostępowych PLATON) możliwy jest tylko z poziomu serwerów dostępowych PL-Grid. Zakres wykorzystania usługi ograniczony jest do składowania kopii zapasowych i archiwów. Mimo, że dzięki programowi sshfs, przestrzeń dostępną w ramach usługi, można podmontować w lokalnym katalogu, to nie należy korzystać z dostarczonej w ten sposób przestrzeni jak z typowego dysku sieciowego (nie wgrywamy dużej ilości małych plików, nie edytujemy plików otwartych bezpośrednio z tej przestrzeni, nie pozwalamy aplikacjom obliczeniowym umieszczać bezpośrednio w tej przestrzeni, końcowych lub pośrednich plików wynikowych).

Wyjściowo, maksymalny rozmiar przestrzeni którą może wykorzystać pojedynczy użytkownik wynosi 100GB. W przypadku zapotrzebowania na większą przestrzeń należy zwrócić się z wnioskiem o zwiększenie limitu.

Pierwsze kroki

Programy klienckie

Dostęp do usługi może się odbywać tylko z poziomu serwerów dostępowych PL-Grid, za pośrednictwem typowych programów klienckich obsługujących protokoły sftp i gridftp (program sftp, sshfs i globus-url-copy). Programy klienckie łączą się z jednym z pięciu punktów dostępowych PLATON. Do uwierzytelniania użytkowników, usługa używa certyfikatów lub kluczy. Dostępność potrzebnych do uwierzytelnienia certyfikatów lub kluczy zapewniana jest przez infrastrukturę PL-Grid (dokładnie przez wirtualny system plików keyfs).

Schemat integracji usługi z PL-Grid

Poniższy rysunek przedstawia punkty dostępowe oraz lokalizacje składowania danych PLATON i umiejscawia je w kontekście infrastruktury PL-Grid.

Na powyższym rysunku widać, że zarówno punkty dostępowe PLATON jak i docelowe lokalizacje, w których, za pośrednictwem tych punktów dostępowych, składowane są dane, znajdują się w tych samych ośrodkach co serwery dostępowe PL-Grid. Lokalizacja i wybór węzłów składowania są dla użytkownika przezroczyste. Najczęściej, jeśli będzie to możliwe, pliki będą składowane w lokalizacji najbliższej w stosunku do użytego punktu dostępowego PLATON. Druga kopia pliku jest tworzona w lokalizacji wybieranej wg wewnętrznych algorytmów systemu.

Punkty dostępowe PLATON

Z usługi PLATON można korzystać za pośrednictwem dowolnego punktu dostępowego PLATON, jednak dla zwiększenia wydajności systemu, zaleca się by był to punkt dostępowy najbliższy wykorzystywanemu serwerowi dostępowemu PL-Grid. Poniższa tabela przedstawia punkty dostępowe PLATON w zestawieniu z najbliższymi serwerami dostępowymi PL-Grid.

Tabela: Punkty dostępowe PLATON

Katalog domowy użytkownika

W usłudze PLATON, dostępnej dla użytkowników portalu PL-Grid, każdy użytkownik ma swój katalog domowy. Prawo dostępu do tego katalogu ma tylko jego właściciel (tj. użytkownik dla którego katalog został utworzony).

Katalogi domowe użytkowników w usłudze PLATON znajdują się w katalogu /home/kmd/plgrid-portal/users.

Programy takie jak sfpt czy sshfs, domyślnie realizują dostęp do katalogu domowego, więc w przpypadku tych programów nie ma potrzeby jawnego podawania ścieżki do katalogu domowego.

Korzystając z protokołu GridFTP i programu klienckiego globus-url-copy, wymagane będzie jawne podanie pełnej ścieżki do katalogu domowego (przykład w dalszej części opisu).

Katalog domowy grupy

Każdej grupie roboczej istniejącej w ramach projektu PL-Grid, po stronie usługi PLATON, odpowiada tzw. katalog domowy grupy. Katalog ten ma taką samą nazwę jak nazwa grupy i jest umiejscowiony w katalogu nadrzędnym /home/kmd/plgrid-portal/groups. Prawa dostępu do katalogu domowego grupy mają tylko użytkownicy należący do tej grupy. Przynależność do danej grupy wynika z logiki portalu PL-Grid. Usługa PLATON nie zarządza relacjami między użytkownikami a grupami a jedynie je honoruje.

UWAGA: Domyślnie, prawo zapisu i odczytu do katalogu domowego grupy każdy kto należy do danej grupy. Należy jednak pamiętać, że nowo tworzone katalogi mają ustawione prawa dostępu na rwxr-xr-x, natomiast nowo tworzone pliki na rw-r--r--, oraz że grupa do której należą nowo tworzone katalogi i pliki to zawsze grupa o nazwie plgrid-portal. Oznacza to, że jeśli chcemy żeby inni użytkownicy danej grupy mieli prawa zapisu do danych wgranych do katalogu domowego grupy to trzeba odpowiednio zmodyfikować atrybuty plików i katalogów (albo zmieniamy grupę do której należą pliki i katalogi, albo ustawiamy prawo co zapisu dla wszystkich). Zarówno klienci sftp jak i GridFTP pozwalają na wykonanie takiej operacji.

Dostęp do usługi przez program sftp

bla bla bla

Zaawansowane użycie

Ewentualnie jako osobny podrozdział.

Gdzie szukać dalszych informacji?

Strony zewnętrzne (jeśli są), odnośnik do helpdesku lub strony dokumentacji o pomocy.