Page History

Krótki opis usługi

Usługa przeznaczona jest dla osób redukujących dane interferometryczne uzyskane za pomocą obserwacji wykonywanych interferometrem radiowym LOFAR (http://www.lofar.org/). Usługa pomaga w przygotowaniu danych do redukcji (np. flagowanie), ich kalibracji, oraz wykonania map radiowych. Na usługę składają się dedykowane skrypty do optymalizacji poszczególnych kroków obliczeń oraz obsługa obliczeń wielowątkowych dla oprogramowania LOFAR.

Aktywowanie usługi

Aby móc skorzystać z usługi należy mieć aktywne konto w portalu PL-GRID. Aktywowanie usługi wymaga dostępu do klastra obliczeniowego ACK Cyfronet Zeus. Należy zatem w pierwszej kolejności zaaplikować o usługę dostępową "Dostęp do klastra ZEUS", a następnie aktywować usługę "Środowisko gridowe dla projektu LOFAR".

Pierwsze kroki

W środowisku obliczeniowym należy załadować moduł LOFAR:

...

w celu wyświetlenia aktualnie dostępnych wersji oprogramowania, a następnie stosownie zmodyfikować podaną wyżej ścieżkę polecenia module load.

Operacje na modułach

Operacje na modułach możliwe są tylko w środowisku obliczeniowym (nie na maszynach dostępowych - UI).

...

Informacje o module:

module show nazwa_modułu

Środowisko obliczeniowe (kolejki):

Wszelkie obliczenia oraz używanie programów interaktywnych wykonywane jest w klastrze w ramach kolejek zadań określających priorytet i czas wykonania zadania. Bezpośrednio na maszynach dostępowych (UI, np. zeus) można wykonywać operacje plikowe: tworzenie, modyfikowanie, usuwanie plików i kartotek. Poprzez  środowisko UI możliwe jest też kopiowanie danych do i z klastra. UI pozwala też na wykonywanie niektórych bardziej złożonych operacji stricte plikowych, takich jak tworzenie i rozpakowywanie archiwów tar.

...

qstat -u username

Przerwanie i usunięcie zadania:

qdel PBS_JOBID

Uruchamianie kolejek

Uruchomiając zadanie w kolejce podaje się  liczbę wymaganych nodów (węzłów obliczeniowych) i rdzeni na przykład 2 węzły po 12 rdzeni (wskazane jest używanie pełnych węzłów z maksymalną liczbą rdzeni, czyli 12) :

...

Można użyć bezpośrednio w linii poleceń, albo w skrypcie. Im więcej zażąda się nodów, tym dłuższy jest przeciętny czas uruchomienia zadania (nie wykonania). Do testowania i oglądania wyników wskazane jest użycie kolejki trybu interaktywnego. Uruchomienie na jednym rdzeniu na trzy godziny: 
qsub -IX -q l_interactive -l nodes=1:ppn=1 -l walltime=03:00:00 
Uruchomienie na 2 węzłach po 12 rdzeni z domyślnym czasem maksymalnym (3 godziny):
qsub -IX -q l_interactive -l nodes=2:ppn=12 

Zaawansowane użycie

1. Łączenie poszczególnych subbandów

...

Polecenie to wyświetla listę iteracji wraz z informacją, ile z nich zakończyło się sukcesem. Duża ilość zatrzymanych (kolumna stopped) iteracji w stosunku do poprawnie zakończonych (converged) oznacza zwykle, że źle dobrano parametry kalibracji.

Gdzie szukać dalszych informacji?

Dalszej pomocy, jak również informacji na temat praktycznego zastosowania oprogramowania do redukcji danych LOFAR, można szukać na stronach LOFAR:

• http://www.lofar.org/wiki/doku.php?id=start (konieczna rejestracja)
• http://www.lofar.org/
• http://www.astron.nl/radio-observatory/lofar/lofar-imaging-cookbook (podręczniki - przewodniki po redukcji danych interferometrycznych, aktualizowane co kilka miesięcy).

...