Skip to end of metadata
Go to start of metadata

Podstawowe informacje

Infrastruktura PLGrid oferuje Użytkownikom m.in. zasoby dyskowe, służące przechowywaniu danych - trwałemu lub tymczasowemu. 

Z zasobów można skorzystać bezpośrednio na klastrach PLGrid lub przez dedykowane aplikacje i platformy internetowe.

Najczęściej do przechowywania plików i dzielenia się nimi Użytkownicy wybierają przestrzenie danych na klastrach.

Przestrzenie danych na klastrach

Na klastrach PLGrid dostępne są minimum trzy przestrzenie danych.

 

PrzestrzeńCel istnieniaDostępne zasobyZmienna środowiskowaJak wejść do kataloguOgraniczeniaPozostałe informacje
Katalog domowy

Przestrzeń przeznaczona do przechowywania danych pomiędzy kolejnymi zadaniami obliczeniowymi.

Zazwyczaj Użytkownik trafia do tego katalogu po zalogowaniu się na UI.

minimum 10 GBPLG_USER_STORAGEcd $PLG_USER_STORAGEDostępny dla Użytkownika-
Dodatkowy katalog użytkownika

Opcjonalny (zależnie od ośrodka).

Przeznaczenie jak katalogu domowego.

zależnie od ośrodkaPLG_USER_STORAGE2cd $PLG_USER_STORAGE2Dostępny dla Użytkownika-
Katalog zespołu

Współdzielony w ramach zespołu realizującego grant przez członków zespołu.

limit początkowy - 1 GB

w ramach grantu właściwego - zależnie od oferty ośrodka

PLG_GROUPS_STORAGE

(wskazuje katalog nadrzędny)

cd $PLG_GROUPS_STORAGE/zespol

(gdzie zespol oznacza ID zespołu rozpoczynające się od "plgg*")

Dostępny dla wszystkich członków zespołu

Wartość zmienna i renegocjowana w grancie właściwym.

Ograniczenie ilości przechowywanych danych jest sumą limitu początkowego i ograniczeń wszystkich aktywnych grantów zespołu i zmienia się wraz ze statusem aktywności grantów.

Katalog roboczy Użytkownika (scratch)

Dostępny tylko w trakcie wykonywania zadania, na czas nie dłuższy niż limit najdłuższej kolejki.

Zalecany do prowadzenia intensywnych  operacji zapisu i odczytu.

 

zależnie od ośrodka

PLG_USER_SCRATCH

lub

SCRATCH 

 

cd $PLG_USER_SCRATCH

lub

cd $SCRATCH

Dostępny dla Użytkownika

Może być także dostępny pod zmienną PLG_USER_SCRATCH_SHARED 

(jeśli przestrzeń współdzielona jest na wszystkich węzłach roboczych).

Katalog roboczy zespołu (scratch)

Opcjonalny (zależnie od ośrodka).

Przeznaczenie jak katalogu roboczego Użytkownika.

w ramach grantu właściwego - zależnie od oferty ośrodka

PLG_GROUPS_SCRATCH


 

cd $PLG_GROUPS_SCRATCH/zespol

(gdzie zespol oznacza ID zespołu rozpoczynające się od "plgg*")

Dostępny dla wszystkich członków zespołu

Wartość zmienna i renegocjowana w grancie właściwym.

Może być także dostępny pod zmienną PLG_GROUPS_SCRATCH_SHARED

(jeśli przestrzeń współdzielona jest na wszystkich węzłach roboczych).

Katalogi domowe oraz katalogi zespołu nie powinny być wykorzystywane do intensywnego zapisu i odczytu prowadzonego w trakcie obliczeń. Do tego służy scratch.

Przydatne informacje

Opis zasobów w ofercie PLGrid: www.plgrid.pl/oferta/zasoby_obliczeniowe/opis_zasobow/storage.

Wszystkie katalogi mogą być dostępne zarówno dla Użytkownika (przez UI), jak i dla zadań uruchamianych na węzłach obliczeniowych.

Metryki grantowe związane z przechowywaniem plików (m. in. dopuszczalne przekroczenie limitu przestrzeni danych, maksymalny transfer danych, maksymalna częstość backupów), o które możemy wnioskować w trakcie składania grantu, opisane są w  osobnym rozdziale Podręcznika.

Wykorzystanie przestrzeni danych w grantach właściwych

  • Wykorzystywanie zasobów dyskowych możliwe jest począwszy od chwili aktywacji grantu i trwa do chwili wygaśnięcia bądź zablokowania grantu.
  • Dostęp do danych w katalogu zespołu mają wszyscy aktualni członkowie zespołu. Jest to dostęp pełny tj. możliwość odczytu i zapisu (usuwania) danych.
  • Katalog zespołu przeznaczony jest do przechowywania danych wszystkich grantów zespołu. Ewentualne konflikty w wykorzystaniu przestrzeni dyskowej rozwiązywane są przez kierownika zespołu.
  • Wykorzystywanie zasobów w ramach tzw. limitu początkowego jest możliwe od chwili założenia zespołu.

Przekroczenie limitów przestrzeni dyskowej

W przypadku przekroczenia limitu ilości danych zespół traci prawo zapisu danych w katalogu zespołu. Prawo odczytu i kasowania danych pozostaje.

W przypadku przekroczenia polegającego na przechowywaniu danych ponad limit mogą one zostać usunięte wg następującego scenariusza:

  1. przekroczenie ponad 60 dni - odebranie praw do czytania (prawo do kasowania pozostaje)
  2. przekroczenie ponad 120 dni - dane zostają bezpowrotnie usunięte (począwszy od najdawniej używanych). 

Każdy etap wymaga wcześniejszego poinformowania kierownika zespołu w celu umożliwienia odpowiedniego zareagowania.

Przykład działania

  1. Kilkoro użytkowników zakłada zespół w Portalu
    1. Tworzony jest katalog zespołu oraz grupa systemowa zespołu 
      1. Przeznaczenie katalogu: pliki wszystkich grantów zespołu
      2. Miejsce: PLG_GROUPS_STORAGE/ID_zespołu
      3. Prawa zapisu: odczyt i zapis (rw) dla grupy systemowej zespołu
      4. Quota: 1 GB, jeśli nie ma grantów lub suma wartości metryk z aktywnych grantów
      5. Katalog usuwany po 60 dniach od usunięcia zespołu.
  2. Zespół uzyskuje grant obliczeniowy
    1. Powiększana jest quota dostępna w katalogu zespołu
    2. Quota: quota grupowa (dla całego zespołu) do wielkości sumy wszystkich aktualnie aktywnych grantów zespołu
  3. Grant obliczeniowy zespołu kończy się
    1. Zmniejszana jest quota dostępna w katalogu zespołu (w przypadku przekraczania quoty nie ma możliwości zapisu danych)

 

  • No labels