Dostęp do danych - usługa PLG Data

TGopisać usługę, najlepiej w dwóch językach 

Krótki opis usługi

Usługa PLG-Data pozwala, za pośrednictwem przeglądarki Web, zarządzać swoimi zbiorami danych, zgromadzonymi na zasobach dyskowych Infrastruktury PL-Grid. Dzięki niej, posługując się swoim zestawem informacji uwierzytelniających (może to być para login-hasło do Infrastruktury PL-Grid, lub certyfikat p12 załadowany w przeglądarce) można oglądać, pobierać, dodawać, usuwać, współdzielić lub zmieniać nazwy swoich plików i katalogów. Usługa jest zabezpieczona szyfrowanym protokołem HTTPS (na odcinku połączenia komputera użytkownika z portalem usługi) oraz protokołem GridFTP, pomiędzy portalem usługi oraz klastrem obliczeniowym. Zastosowanie tych technik pozwala użytkownikom korzystać z niej w sposób bezpieczny oraz, z punktu widzenia innych współużytkowników Infrastruktury PL-Grid, ogranicza ich możliwości do zakresu przyznanego przez operatorów zasobów PL-Grid. Innymi słowy, osoba korzystająca z usługi PLG-Data nie nabywa żadnych uprawnień w dostępie do zbiorów danych, poza tymi, które i tak posiada i może wykorzystać na inne sposoby (zdalne narzędzia SSH, SCP itp.).

Adres usługi:

https://data.plgrid.pl/

Usługa przeznaczona jest dla wszystkich użytkowników zarejestrowanych w Portalu PL-Grid, którzy posiadają aktywne konto na docelowym klastrze obliczeniowym (patrz notka powyżej), oraz chcieliby zarządzać własnymi plikami zdalnie za pośrednictwem przeglądarki. Przy wykorzystaniu mechanizmu zespołów PL-Grid, usługa ta także pozwala w prosty sposób współdzielić np. wyniki badań z innymi współpracownikami w obrębie tych danych grup bądź instytutów.

Aktywowanie usługi

Aby móc użyć usługi PLG-Data, należy spełnić kilka warunków:

1. posiadać konto PL-Grid - w celu otrzymania takiego konta (bezpłatnego dla wszystkich polskich naukowców i ich zagranicznych współpracowników), trzeba udać się na stronę Portalu PL-Grid a następnie należy złożyć wniosek elektroniczny
2. usługa, ze swej istoty, ma sens tylko w przypadku posiadanie konta użytkownika na wybranym klastrze obliczeniowym; po uzyskaniu potwierdzania dostępu do PL-Grid, należy w Portalu Pl-Grid, w zakładce Moje Konto, poprosić o aktywację usługi "Dostęp do klastra ZEUS" - dostęp ten powinien zostać, po kilku minutach, przyznany automatycznie
3. w tej samej zakładce Moje konto, należy w lewym górnym rogu wygenerować swój własny certyfikat SimpleCA. W oparciu o ten certyfikat następuje efekt delegacji uprawnień użytkownika, dzięki któremu usługa PLG-Data będzie mogła na działać na naszym koncie klastra (tzw. mechanizm X.509 proxy certificates); więcej danych odnośnie tworzenia i użytkowania certyfikatów znajduje się w odpowiedniej sekcji podręcznika użytkownika; należy zapamiętać hasło klucza, które podaliśmy tworząc certyfikat SimpleCA
4. uzyskawszy potwierdzenie dostępu do klastra Zeus (m.in. powinno ono przyjść pocztą elektroniczną na nasz adres), należy w tym samym panelu Moje Konto, nieco niżej w sekcji Usługi dostępu do danych, aktywować usługę "PLG-Data: mini-usługa do zarządzania plikami na klastrze"; również w tym przypadku aktywacja powinna nastąpić automatycznie, z ewentualnym opóźnieniem kilku minut.
   

Jeśli powyższe kroki zakończyły się pomyślnie, usługa PLG-Data powinna być dostępna. Należy odwiedzić stronę usługi: https://data.plgrid.pl, gdzie będzie możliwe zalogowanie się z wykorzystaniem wyżej opisanych mechanizmów bezpieczeństwa (kliknij obrazek aby uzyskać powiększenie i krótkie wyjaśnienie):

Nie zawsze, niestety, pierwsze logowanie do usługi się powiedzie (głównie ze względu na złożony mechanizm delegacji uprawnień). Jeśli na którymś etapie (krok 2 i krok 3) logowania do OpenID PL-Grid, pojawił się komunikat, lub w kroku 4 usługa PLG-Data przywitała Cię komunikatem czerwonym, prosimy o:

1. (w pierwszej kolejności) upewnienie jest jeszcze raz, że wszystkie warunki wymienione na początku tej instrukcji (aktywne konto PL-Grid, aktywna usługa Zeus, aktywna usługi PLG-Data, posiadanie certyfikatu SimpleCA) zostały spełnione,
2. skontaktowanie się z nami poprzez system HelpDesk (zgłoszenie trafi do kolejki administratorów usługi PLG-Data - po jego otrzymaniu skontaktujemy się z Tobą w celu uzyskania dalszych wyjaśnień i rozwiązania problemu).

Pierwsze kroki

Spójrz na górną belkę ekranu powitalnego usługi PLG-Data. Po lewej stronie znajduje się menu skrótów, po prawej informacje o Tobie, przełącznik języka oraz przycisk wylogowania się.

Menu skrótów zawiera zawsze zazwyczaj kilka elementów. W przypadku użytkowników klastra Zeus, pierwsze trzy skróty to:

• Home: twój osobisty katalog domowy
• Storage: twój katalog przeznaczony na długoterminowe przechowywanie plików
• Scratch: twój katalog roboczy przeznaczony na tymczasowe dane ulotne.

Rozdział instrukcji użytkownika Infrastruktury PL-Grid poświęcony przechowywaniu danych zawiera dokładne informacje odnośnie przeznaczenia poszczególnych katalogów, charakteru plików jakie powinny być w nich przechowywane, limitów objętości etc.

Dalsze pozycje menu skrótów, ich etykiety i kolejność, zależą od zestawu zespołów PL-Grid, do których należysz. Jeśli jesteś pierwszą osobą w twoim zespole badawczym, która korzysta z Infrastruktury PL-Grid, czas zostać pionierem i, korzystając z instrukcji, założyć w Portalu PL-Grid wasz zespół oraz zaprosić do niego twoich współpracowników .

Kliknięcie na którejkolwiek pozycji z menu skrótów przeniesie Cię do wskazanego miejsca w strukturze katalogów klastra obliczeniowego (wrócimy do tego za chwilkę).

Prawa część górnej belki z kolei zawiera informacje o Tobie, uzyskane przez usługę PLG-Data z serwera OpenID PL-Grid.  Możesz je obejrzeć najeżdżając kursorem myszy na sylwetkę człowieka. Poza twoimi imionami i nazwiskiem oraz loginem, możesz sprawdzić tutaj listę zespołów PL-Grid, do których należysz. Jeśli nie ma w tym zestawie twojego zespołu, a uważasz, że taki zespół został założony w Infrastrukturze PL-Grid i twoje konto zostało do niego przypisane, proszę zgłoś ten fakt operatorom PL-Grid - spróbują rozwiązać problem.

Przycisk PL|EN pozwala zmienić język z domyślnego języka polskiego, na angielski (tak, wiem, jeśli nie posługujesz się tym pierwszym to i tak nie dotarłaś/dotarłeś do tego miejsca instrukcji ).

Panel zawartości folderu

Praktycznie rzecz ujmując, jest to jedyny typ panelu (widoku) usługi PLG-Data. Jego zawartość zmienia się wraz ze zmianą aktualnej lokalizacji użytkownika, ale jego funkcjonalność pozostaje taka sama.

Mamy nadzieję, że większość informacji zawartych w panelu folderu, jak i operacji, które on umożliwia, jest dość oczywistych. Poniżej spróbujemy pokrótce je omówić.

Zawartość listy plików i folderów

Belka z zawartością folderu pokazuje Ci twoją aktualną lokalizację w drzewie katalogów klastra obliczeniowego. Rzecz jasna będzie inna w zależności od miejsca, gdzie się znajdujesz. Ułatwia orientację. Poszczególne elementy ścieżki (ang. path) są tutaj linkami i ich kliknięcie przeniesie Cię właśnie do tego folderu (uwaga: nie radzimy klikać skrótu PEOPLE - chyba, że chcesz poznać nazwy katalogów domowych wszystkich użytkowników klastra  - uprzedzamy, ta operacja zajmuję dłuższą chwilkę).

Lista poniżej zawiera zestaw dość oczywistych danych: nazwę zbioru, typ (czy jest to plik czy folder), jego wielkość (tak, w systemie plików Linux, który zarządza klastrem obliczeniowym, także foldery mają swój rozmiar, nie jest on jednak związany z objętością plików, które się w nich znajdują), datę ostatniej modyfikacji oraz zestaw uprawnień.

Jak się zapewne domyślasz, kliknięcie na nazwę folderu spowoduje przeniesienie Cię do widoku jego zawartości, natomiast kliknięcie nazwy pliku spowoduje rozpoczęcie operacji pobierania go na dysk twardy twojego komputera.

Operacje podstawowe

Zestaw akcji, które możesz wykonać korzystając z panelu zawartości folderu, to:

• zmiana aktualnego folderu lub pobranie pliku (poprzez kliknięcie na nazwę folderu bądź pliku)
• usunięcie pliku lub pustego folderu (pomarańczowy przycisk Usuń z prawej strony oraz potwierdzenie na czerwony przycisk z etykietą "Tak"); folder zawierający dalsze zbiory jest zabezpieczony przed takim usunięciem; akcję widać w pierwszym wierszu katalogu na powyższym obrazie
• zmiana nazwy pliku lub folderu (w wyniku kliknięcia ikony z lewej strony jego nazwy, wpisania nowej wartości i potwierdzenia zielonym przyciskiem lub klawiszem Enter); akcję widać w trzecim wierszu na powyższym obrazie
• dodanie nowego folderu (poprzez kliknięcie na zielonym przycisku Nowy folder w górnej belce widoku, wpisanie żądanej nazwy oraz zatwierdzenie jej)

Wiele z tych akcji może się nie powieść, ze względu na ograniczony zakres twoich uprawnień. Dla przykładu, zazwyczaj nie możesz zakładać nowych folderów w folderze, którego nie jesteś właścicielką/właścicielem, często nie możesz kasować plików nie należących do Ciebie, niektórych folderów nie możesz także odwiedzać. W każdym z tych przypadków otrzymasz czerwony komunikat, pochodzący wprost z serwera GridFTP nadzorującego operację, wyjaśniający, dlaczego dana akcja nie zakończyła się sukcesem. Poniżej przykład takiego komunikatu, pojawiający się przy próbie skasowania niepustego folderu.

Transfer nowych plików

Akcja ta pozwala Ci umieścić nowe pliki wewnątrz twoich folderów (lub w folderach zespołów, do których należysz) - pliki te umieszczasz tam poprzez załadowanie ich z dysku twojego komputera. Panel transferu plików otwierasz klikając na zielony przycisk Dodaj pliki w górnej części widoku zawartości folderu.

Transfer nowych plików w usłudze PLG-Data odbywa się w sposób nieblokujący (tj. "w tle"). Listę plików, które mają zostać przesłane, tworzysz klikając na niebieski przycisk Wskaż pliki. W zalażności od przeglądarki i systemu operacyjnego, których używasz, możesz wskazać od razu kilka plików (zamiast wielokrotnie klikać wspomniany przycisk) oraz, inna możliwość, możesz upuścić (tzw. drag and drop) wybrane pliki z dysku twojego komputera wprost na ekran zawartości folderu. W każdym z tych przypadków wybrane pliki pojawią się w liście (patrz obraz powyżej).

Kliknięcie niebieskiego przycisku Rozpocznij transfer powoduje rozpoczęcie przesyłania plików z twojego komputera na klaster. Prędkość przesyłu zależy od przepustowości łącza internetowego, jakim dysponujesz oraz (w pewnym stopniu) od aktualnego obciążenia serwera usługi PLG-Data. Postępy są uwidocznione poprzez zielone paski postępu (ogólny, powyżej, i dla każdego pliku osobno).

Zmiana uprawnień dostępu do pliku lub folderu

W systemie operacyjnym Linux, który zarządza uprawnieniami zbiorów twoich i wszystkich innych współużytkowników klastra, zaimplementowano odpowiedni mechanizm strzeżenia dostępu do plików i folderów. Serwery GridFTP oraz PLG-Data, które pośredniczą w dostępie do twoich zbiorów, respektują ten mechanizm (dokładniej: nie mają żadnej możliwości zignorowania tego mechanizmu ze względu na ich ograniczone uprawnienia). Jeśli nie znasz działania tego mechanizmu, artykuł w Wikipedii Ci go przybliży. Ogólnie jednak rzecz ujmując, jeśli nie chcesz wnikać w tę dość zawiłą materię, doradzamy nie zmienić praw dostępu do twoich plików, pozostawiając ich (względnie bezpieczne) wartości domyślne.

Zmiana praw dostępu do pliku lub folderu jest możliwa po kliknięciu szarej ikonki zlokalizowanej w lewej kolumnie listy. Pozwala ona zmienić dowolne z 9 uprawnień odczytu, zapisu i uruchamiania dla, odpowiednio, właściciela, grupy oraz wszystkich pozostałych użytkowników. Wpisanie znaku r, w bądź x przyznaje dane uprawnienia (odpowiednio: r-odczyt, w-zapis, x-uruchamianie) podczas kiedy wpisanie znaku - (myślnik) te uprawnienia likwiduje. Przykładowo, wektor uprawnień następującej postaci:

rw-rw-r--

pozwala właścicielowi (Tobie) plik odczytać oraz zmodyfikować (bądź usunąć). Także członkowie twojego zespołu będą mieli podobne uprawnienia. Natomiast każdy inny użytkownik klastra, tj. nie należący do twojego zespołu, będzie mógł plik odczytać (czyli pobrać na swój komputer) ale nie będzie go mógł zmodyfikować ani usunąć.

Zapraszamy do używania.

Coś nie działa albo chcesz więcej : prosimy o zgłoszenie w HelpDesku. Nie masz loginu PL-Grid a chcesz np. porozmawiać o współpracy: wyślij mail bezpośrednio na plgdata@helpdesk.plgrid.pl.

Usługa PLG-Data jest ochotniczą kontrybucją do zasobów usług PL-Grid, powstałą jako odzew na zgłoszone zapotrzebowanie użytkowników gridu dziedzinowego LifeScience. Ze względu jednak na ogólniejszy charakter usługi, nie ograniczamy dostępu do niej jedynie dla ludzi związanych z naszą dziedziną. Głównym autorem usługi jest Tomasz Gubała (ACK Cyfronet AGH, DICE), który stworzył ją wraz z pewną pomocą swoich przyjaciół . Życzymy szybkich transferów (danych, pieniężnymi się nie zajmujemy)!

Dziękuję: Marcinowi Radeckiemu (on wie za co) oraz Łukaszowi Flisowi i Tomkowi Bartyńskiemu (za pomoc z konfiguracją usługi). Oraz wszystkim osobom zaangażowanym w proces wdrażania usług w PL-Grid (you know who you are).