Infrastruktura PLGrid oferuje Użytkownikom m.in. zasoby dyskowe, służące przechowywaniu danych - trwałemu lub tymczasowemu.
Z zasobów można skorzystać bezpośrednio na klastrach PLGrid lub przez dedykowane aplikacje i platformy internetowe.
Najczęściej do przechowywania plików i dzielenia się nimi Użytkownicy wybierają przestrzenie danych na klastrach.
Na klastrach PLGrid dostępne są minimum trzy przestrzenie danych.
Przestrzeń | Cel istnienia | Dostępne zasoby | Zmienna środowiskowa | Jak wejść do katalogu | Ograniczenia | Pozostałe informacje |
---|---|---|---|---|---|---|
Katalog domowy | Przestrzeń przeznaczona do przechowywania danych pomiędzy kolejnymi zadaniami obliczeniowymi. Zazwyczaj Użytkownik trafia do tego katalogu po zalogowaniu się na UI. | minimum 10 GB | PLG_USER_STORAGE | cd $PLG_USER_STORAGE | Dostępny dla Użytkownika | - |
Dodatkowy katalog użytkownika | Opcjonalny (zależnie od ośrodka). Przeznaczenie jak katalogu domowego. | zależnie od ośrodka | PLG_USER_STORAGE 2 | cd $PLG_USER_STORAGE 2 | Dostępny dla Użytkownika | - |
Katalog zespołu | Współdzielony w ramach zespołu realizującego grant przez członków zespołu. | limit początkowy - 1 GB w ramach grantu właściwego - zależnie od oferty ośrodka |
(wskazuje katalog nadrzędny) |
(gdzie | Dostępny dla wszystkich członków zespołu | Wartość zmienna i renegocjowana w grancie właściwym. Ograniczenie ilości przechowywanych danych jest sumą limitu początkowego i ograniczeń wszystkich aktywnych grantów zespołu i zmienia się wraz ze statusem aktywności grantów. |
Katalog roboczy Użytkownika (scratch) | Dostępny tylko w trakcie wykonywania zadania, na czas nie dłuższy niż limit najdłuższej kolejki. Zalecany do prowadzenia intensywnych operacji zapisu i odczytu. | zależnie od ośrodka |
lub
|
lub
| Dostępny dla Użytkownika | Może być także dostępny pod zmienną (jeśli przestrzeń współdzielona jest na wszystkich węzłach roboczych). |
Katalog roboczy zespołu (scratch) | Opcjonalny (zależnie od ośrodka). Przeznaczenie jak katalogu roboczego Użytkownika. | w ramach grantu właściwego - zależnie od oferty ośrodka |
|
(gdzie | Dostępny dla wszystkich członków zespołu | Wartość zmienna i renegocjowana w grancie właściwym. Może być także dostępny pod zmienną (jeśli przestrzeń współdzielona jest na wszystkich węzłach roboczych). |
Katalogi domowe oraz katalogi zespołu nie powinny być wykorzystywane do intensywnego zapisu i odczytu prowadzonego w trakcie obliczeń. Do tego służy scratch.
Opis zasobów w ofercie PLGrid: www.plgrid.pl/oferta/zasoby_obliczeniowe/opis_zasobow/storage.
Wszystkie katalogi mogą być dostępne zarówno dla Użytkownika (przez UI), jak i dla zadań uruchamianych na węzłach obliczeniowych.
Metryki grantowe związane z przechowywaniem plików (m. in. dopuszczalne przekroczenie limitu przestrzeni danych, maksymalny transfer danych, maksymalna częstość backupów), o które możemy wnioskować w trakcie składania grantu, opisane są w osobnym rozdziale Podręcznika.
W przypadku przekroczenia limitu ilości danych zespół traci prawo zapisu danych w katalogu zespołu. Prawo odczytu i kasowania danych pozostaje.
W przypadku przekroczenia polegającego na przechowywaniu danych ponad limit mogą one zostać usunięte wg następującego scenariusza:
Każdy etap wymaga wcześniejszego poinformowania kierownika zespołu w celu umożliwienia odpowiedniego zareagowania.