Podstawowe informacje

Infrastruktura PLGrid oferuje Użytkownikom m.in. zasoby dyskowe, służące przechowywaniu danych - trwałemu lub tymczasowemu.

Z zasobów można skorzystać bezpośrednio na klastrach PLGrid lub przez dedykowane aplikacje i platformy internetowe.

Najczęściej do przechowywania plików i dzielenia się nimi Użytkownicy wybierają przestrzenie danych na klastrach.

Przestrzenie danych na klastrach

Na klastrach PLGrid dostępne są minimum trzy przestrzenie danych.

Przestrzeń	Cel istnienia	Dostępne zasoby	Zmienna środowiskowa	Jak wejść do katalogu	Ograniczenia	Pozostałe informacje
Katalog domowy	Przestrzeń przeznaczona do przechowywania danych pomiędzy kolejnymi zadaniami obliczeniowymi. Zazwyczaj Użytkownik trafia do tego katalogu po zalogowaniu się na UI.	minimum 10 GB	`PLG_USER_STORAGE`	`cd $PLG_USER_STORAGE`	Dostępny dla Użytkownika	-
Dodatkowy katalog użytkownika	Opcjonalny (zależnie od ośrodka). Przeznaczenie jak katalogu domowego.	zależnie od ośrodka	`PLG_USER_STORAGE`2	`cd $PLG_USER_STORAGE`2	Dostępny dla Użytkownika	-
Katalog zespołu	Współdzielony w ramach zespołu realizującego grant przez członków zespołu.	limit początkowy - 1 GB w ramach grantu właściwego - zależnie od oferty ośrodka	`PLG_GROUPS_STORAGE` (wskazuje katalog nadrzędny)	`cd $PLG_GROUPS_STORAGE/zespol` (gdzie `zespol` oznacza ID zespołu rozpoczynające się od "plgg*")	Dostępny dla wszystkich członków zespołu	Wartość zmienna i renegocjowana w grancie właściwym. Ograniczenie ilości przechowywanych danych jest sumą limitu początkowego i ograniczeń wszystkich aktywnych grantów zespołu i zmienia się wraz ze statusem aktywności grantów.
Katalog roboczy Użytkownika (scratch)	Dostępny tylko w trakcie wykonywania zadania, na czas nie dłuższy niż limit najdłuższej kolejki. Zalecany do prowadzenia intensywnych operacji zapisu i odczytu.	zależnie od ośrodka	`PLG_USER_SCRATCH` lub `SCRATCH`	`cd $PLG_USER_SCRATCH` lub `cd $SCRATCH`	Dostępny dla Użytkownika	Może być także dostępny pod zmienną `PLG_USER_SCRATCH_SHARED` (jeśli przestrzeń współdzielona jest na wszystkich węzłach roboczych).
Katalog roboczy zespołu (scratch)	Opcjonalny (zależnie od ośrodka). Przeznaczenie jak katalogu roboczego Użytkownika.	w ramach grantu właściwego - zależnie od oferty ośrodka	`PLG_GROUPS_SCRATCH`	`cd $PLG_GROUPS_SCRATCH/zespol` (gdzie `zespol` oznacza ID zespołu rozpoczynające się od "plgg*")	Dostępny dla wszystkich członków zespołu	Wartość zmienna i renegocjowana w grancie właściwym. Może być także dostępny pod zmienną `PLG_GROUPS_SCRATCH`_SHARED (jeśli przestrzeń współdzielona jest na wszystkich węzłach roboczych).

Katalogi domowe oraz katalogi zespołu nie powinny być wykorzystywane do intensywnego zapisu i odczytu prowadzonego w trakcie obliczeń. Do tego służy scratch.

Przydatne informacje

Opis zasobów w ofercie PLGrid: www.plgrid.pl/oferta/zasoby_obliczeniowe/opis_zasobow/storage.

Wszystkie katalogi mogą być dostępne zarówno dla Użytkownika (przez UI), jak i dla zadań uruchamianych na węzłach obliczeniowych.

Wykorzystanie przestrzeni danych w grantach właściwych

Wykorzystywanie zasobów dyskowych możliwe jest począwszy od chwili aktywacji grantu i trwa do chwili wygaśnięcia bądź zablokowania grantu.
Dostęp do danych w katalogu zespołu mają wszyscy aktualni członkowie zespołu. Jest to dostęp pełny tj. możliwość odczytu i zapisu (usuwania) danych.
Katalog zespołu przeznaczony jest do przechowywania danych wszystkich grantów zespołu. Ewentualne konflikty w wykorzystaniu przestrzeni dyskowej rozwiązywane są przez kierownika zespołu.
Wykorzystywanie zasobów w ramach tzw. limitu początkowego jest możliwe od chwili założenia zespołu.

Przekroczenie limitów przestrzeni dyskowej

W przypadku przekroczenia limitu ilości danych zespół traci prawo zapisu danych w katalogu zespołu. Prawo odczytu i kasowania danych pozostaje.

W przypadku przekroczenia polegającego na przechowywaniu danych ponad limit mogą one zostać usunięte wg następującego scenariusza:

przekroczenie ponad 60 dni - odebranie praw do czytania (prawo do kasowania pozostaje)
przekroczenie ponad 120 dni - dane zostają bezpowrotnie usunięte (począwszy od najdawniej używanych).

Każdy etap wymaga wcześniejszego poinformowania kierownika zespołu w celu umożliwienia odpowiedniego zareagowania.

Przykład działania

Kilkoro użytkowników zakłada zespół w Portalu
1. Tworzony jest katalog zespołu oraz grupa systemowa zespołu
  1. Przeznaczenie katalogu: pliki wszystkich grantów zespołu
  2. Miejsce: PLG_GROUPS_STORAGE/ID_zespołu
  3. Prawa zapisu: odczyt i zapis (rw) dla grupy systemowej zespołu
  4. Quota: 1 GB, jeśli nie ma grantów lub suma wartości metryk z aktywnych grantów
  5. Katalog usuwany po 60 dniach od usunięcia zespołu.
Zespół uzyskuje grant obliczeniowy
1. Powiększana jest quota dostępna w katalogu zespołu
2. Quota: quota grupowa (dla całego zespołu) do wielkości sumy wszystkich aktualnie aktywnych grantów zespołu
Grant obliczeniowy zespołu kończy się
1. Zmniejszana jest quota dostępna w katalogu zespołu (w przypadku przekraczania quoty nie ma możliwości zapisu danych)