Astrofizyka: Środowisko gridowe dla projektu LOFAR

Krótki opis usługi

Usługa przeznaczona jest dla osób redukujących dane interferometryczne uzyskane za pomocą obserwacji wykonywanych interferometrem radiowym LOFAR (http://www.lofar.org/). Oferuje pomoc w przygotowaniu danych do redukcji (np. flagowanie), ich kalibracji, oraz wykonania map radiowych. Na usługę składają się dedykowane skrypty do optymalizacji poszczególnych kroków obliczeń oraz obsługa obliczeń wielowątkowych dla oprogramowania LOFAR.

Aktywowanie usługi

Aby móc skorzystać z usługi należy mieć aktywne konto w portalu PL-GRID. Należy następnie aktywować usługę "Środowisko gridowe dla projektu LOFAR" oraz zaaplikować o usługę dostępową "Dostęp do klastra ZEUS".

Pierwsze kroki

W środowisku obliczeniowym należy załadować moduł LOFARa:

module load apps/lofar/29388

oraz wykonać inicjalizację zmiennych:

. lofarinit.sh

Moduł ten ma w zależnościach między innymi moduły CASA core i Pythona.

Operacje na modułach

Operacje na modułach możliwe są tylko w środowisku obliczeniowym (nie na maszynach dostępowych - UI).

Uruchamianie (ładowanie) modułu. Pozwala na korzystanie z programów i bibliotek zainstalowanych w ramach modułu. W przeciwnym wypadku są niedostępne.

module load nazwa_modułu
Wyświetlanie listy załadowanych modułów:

module list

Wyświetlanie listy wszystkich dostępnych modułów (uwaga! długa lista, może potrwać; przerwanie Ctrl-C):

module avail

Informacje o module:

 module show nazwa_modułu

Środowisko obliczeniowe (kolejki):

Wszelkie obliczenia oraz używanie programów interaktywnych wykonywane jest w klastrze w ramach kolejek zadań określających priorytet i czas wykonania zadania. Bezpośrednio na maszynach dostępowych (UI, np. zeus) można wykonywać operacje plikowe: tworzenie, modyfikowanie, usuwanie plików i kartotek. Poprzez  środowisko UI możliwe jest też kopiowanie danych do i z klastra. UI pozwala też na wykonywanie niektórych bardziej złożonych operacji stricte plikowych, takich jak tworzenie i rozpakowywanie archiwów tar.

Dostępne jest kilka kolejek:
 * l_interactive do zadań wymagających interakcji, także grafika przez X,
 * l_test do zadań do 15 minut czasu wykonania (rzeczywistego).
 * l_prio do zadań szybkich do 1 godziny,
 * l_short do zadań do 3 godzin
 * l_long do zadań do 3 tygodni

W przypadku kolejek stricte obliczeniowych (l_prio, l_short) wskazane jest uruchamianie zadań poprzez skrypty PBS: 
qsub -q nazwa_kolejki nazwa_skryptu

Informacje o zadanich w danej kolejce, między innymi można odczytać numer zadania PBS_JOBID. 
qstat -q nazwa kolejki

Lista zadań podanego użytkownika:

qstat -u username

Zabijanie zadania:

qdel PBS_JOBID

Uruchamianie kolejek

 Uruchomiając zadanie w kolejce podaje się  liczbę wymaganych nodów i rdzeni na przykład 2 węzły po 12 rdzeni (wskazane jest używanie pełnych węzłów z maksymalną liczbą rdzeni, czyli 12) :

nodes=2:ppn=12

Można użyć bezpośrednio w linii poleceń, albo w skrypcie. Im więcej zażąda się nodów, tym dłuższy jest przeciętny czas uruchomienia zadania (nie wykonania).

Do testowania i oglądania wyników wskazane jest użycie kolejki trybu interaktywnego. Uruchomienie na jednym rdzeniu na trzy godziny: 
qsub -IX -q l_interactive -l nodes=1:ppn=1 -l walltime=03:00:00

Uruchomienie na 2 węzłach po 12 rdzeni z domyślnym czasem maksymalnym (3 godziny):
qsub -IX -q l_interactive -l nodes=2:ppn=12 

Zaawansowane użycie

Gdzie szukać dalszych informacji?

Strony zewnętrzne (jeśli są), odnośnik do helpdesku lub strony dokumentacji o pomocy.