Infrastruktura QosCosGrid jest zestawem zintegrowanych, wysoce wydajnych usług i narzędzi dostępowych do zarządzania zasobami i zadaniami w wieloklastrowych i gridowych środowiskach obliczeniowych. QosCosGrid wspiera różne scenariusze dla aplikacji, w tym aplikacji równoległych dużej skali, aplikacji parametrycznych oraz złożonych aplikacji typu workflow. Usługi QosCosGrid umożliwiają logiczne scalenie zasobów obliczeniowych pochodzących z wielu klastrów w jeden rozproszony system obliczeniowy. Pozwala to na skrócenie czasu oczekiwania na przydział zasobów oraz na uruchamianie różnego typu zadań obliczeniowych o wymaganiach przekraczających możliwości pojedynczego klastra. Poprzez wykorzystanie zaawansowanych mechanizmów rezerwacji zasobów z wyprzedzeniem, usługi QosCosGrid gwarantują użytkownikowi wymaganą jakość usług obliczeniowych (ang. Quality of Service), w tym czas wykonania zadania. Usługi QosCosGrid zostały w pełni zintegrowane z infrastrukturą PL-Grid umożliwiając polskiemu środowisku naukowemu, dzięki dziedzinowym rozwiązaniom portalowym, intuicyjny i łatwy dostęp do zasobów polskiego gridu obliczeniowego.

Unikalna funkcjonalność usług QCG:

Logiczne scalanie zasobów obliczeniowych pochodzących z wielu klastrów w jeden rozproszony system obliczeniowy.
Skrócenie czasu oczekiwania na przydział zasobów oraz umożliwienie uruchamiania różnego typu zadań obliczeniowych o wymaganiach przekraczających możliwości pojedynczego klastra poprzez wykorzystanie (koalokację) wielu zasobów.
Gwarancja wymaganej jakości usług obliczeniowych (ang. Quality of Service), w tym czasu wykonania zadania poprzez wykorzystanie zaawansowanych mechanizmów rezerwacji zasobów z wyprzedzeniem.
Możliwość rezerwowania zasobów obliczeniowych i uruchamiania zadań na wcześniej zarezerwowanych zasobach.
Integracja ze środowiskami uruchomieniowymi: OpenMPI, ProActive, Muscle.
Wsparcie dla zadań hybrydowych MPI/OpenMP.
Możliwość definiowania złożonych zależności kolejnościowych pomiędzy zadaniami w eksperymentach typu workflow (z użyciem operatorów AND/OR i dowolnych stanów zadań).
Możliwość definiowania zadań parametrycznych jako części eksperymentu typu workflow.

Dostępne zasoby

Obecnie poprzez usługi QosCosGrid możliwy jest dostęp do zasobów następujących ośrodków obliczeniowych wchodzących w skład infrastruktury projektu PL-Grid:

PCSS - Poznańskie Centrum Superkomputerowo Sieciowe - klaster reef
WCSS - Wrocławskie Centrum Sieciowo Superkomputerowe - klaster supernova
Cyfronet AGH - Akademickie Centrum Komputerowe Cyfronet AGH - klaster Zeus
CI TASK - Centrum Informatyczne Trójmiejskiej Akademickiej Sieci Komputerowej -klaster galera plus
ICM - Interdyscyplinarne Centrum Modelowania Matematycznego UW - klaster hydra.

Nazwy klastrów obliczeniowych w poszczególnych ośrodkach do podania w opisie eksperymentu przy zlecaniu go do wykonania w konkretnym ośrodku.

Ośrodek	Klaser	Nazwa QCG
PCSS	reef	reef.man.poznan.pl
PCSS	inula	inula.man.poznan.pl
WCSS	supernova	nova.wcss.wroc.pl
Cyfronet AGH	zeus	zeus.cyfronet.pl
CI TASK	galera plus	galera.task.gda.pl
ICM	hydra	hydra.icm.edu.pl

Przed zleceniem zadania prosimy o zapoznanie się ze szczegółowym zestawieniem systemów obliczeniowych (HPC) oraz systemów składowania danych (storage) oferowanych w ramach Infrastruktury PL-Grid, a także z opisami konfiguracji kolejek udostępnianych użytkownikom w poszczególnych ośrodkach

Korzystanie z infrastruktury

Aby móc skorzystać z infrastruktury QosCosGrid należy:

aplikować o dostęp do infrastruktury QosCosGrid
skorzystać z wybranej metody dostępowej:
- ogólny klient tekstowy
- graficzne narzędzia dostępowe dla wybranych aplikacji

Aplikowanie o usługę

Aby móc skorzystać z zasobów projektu PL-Grid z wykorzystaniem usług dostępowych QosCosGrid konieczne jest wystąpienie o dostęp do infrastruktury QosCosGrid poprzez wykonanie prostej sekwencji kroków opisanych poniżej.

Kolejność kroków

Punkt pierwszy nie dotyczy zarejestrowanych użytkowników PL-Gridu.

Punkt drugi nie dotyczy natomiast osób, które posiadają już odpowiedni certyfikat

Rejestracja w Portalu PL-Grid.
Wystąpienie o certyfikat użytkownika PL-Grid.
Rejestracja certyfikatu w Portalu PL-Grid.
Aplikowanie o dostęp do infrastruktury QosCosGrid.
Po zaakceptowaniu Państwa zgłoszenia przez administratora usługi w ośrodku obliczeniowym wchodzącym w skład infrastruktury PL-Grid można zacząć korzystać z zasobów danego ośrodka wybierając dowolną metodę dostępową (klient tekstowy, graficzne narzędzia dla wybranych aplikacji).

1. Rejestracja

Aby zostać użytkownikiem PL-Gridu należy zarejestrować się w Portalu PL-Grid. Opis procedury można znaleźć „Podręczniku użytkownika”, w rozdziale: Zakładanie konta w portalu PL-Grid

2. Wystąpienie o certyfikat

Do korzystania z zasobów projektu PL-Gridu wymagane jest posiadanie certyfikatu osobistego, który poświadcza tożsamość użytkownika.

Certyfikat taki mogą wystawić użytkownikom PL-Gridu dwa centra certyfikacji (ang. Certification Authority, CA):

Simple CA (http://plgrid-sca.wcss.wroc.pl),
Polish Grid CA (http://www.man.poznan.pl/plgrid-ca).

Certyfikaty wystawiane przez Simple CA są łatwiejsze do uzyskania, jednak respektowane tylko w ramach infrastruktury PL-Grid. Tożsamość osoby będącej użytkownikiem PL-Gridu nie musi już być dodatkowo weryfikowana.

Certyfikaty podpisywane przez Polish Grid CA są trudniejsze do uzyskania, jednak mogą być respektowane także w infrastrukturze europejskiej, poza PL-Gridem. Tożsamość użytkownika PL-Grid musi być dodatkowo zweryfikowana przez jeden z Urzędów Rejestracji Polish Grid CA (ang. Registration Authority, RA).

Dokładny opis procedury znaleźć można w rozdziale: Aplikowanie o certyfikat.

3. Rejestracja certyfikatu w PL-Gridzie

Po uzyskaniu certyfikatu, kolejnym krokiem jest jego rejestracja w Portalu PL-Grid. Opis czynności można znaleźć w sekcji podręcznika: Rejestracja certyfikatu w przeglądarce.

4. Aplikowanie o Globalny dostęp do infrastruktury QosCosGrid

Aby uzyskać dostęp do infrastruktury QosCosGrid należy aplikować o odpowiednią usługę za pośrednictwem Portalu. W sekcji Usługi globalne zakładki Moje konto znajduje się lista usług. Wybrać należy odnośnik Aplikuj o usługę widoczny przy pozycji Globalny dostęp QosCosGrid.

PLGrid Dokumentacja > Uruchamianie zadań przez QosCosGrid > qcg_dostep.png

Klient tekstowy

Dostęp do infrastruktury QCG możliwy jest z dowolnego komputera, na którym zainstalowany jest klient usługi QCG-Broker (będącej częścią infrastruktury QCG), służący do zlecania i kontrolowania zadań na poziomie całego gridu. Dla wygody użytkowników uruchomiona została maszyna dostępowa do infrastruktury QCG z zainstalowaną wersją klienta dla użytkowników PL-Grid.

Klient tekstowy do infrastruktury PL-Grid dostępny jest w dwóch wersjach:

SimpleClient (rekomendowany) - zestaw prostych poleceń wzorowanych na poleceniach systemu kolejkowego,
AdvancedClient - ogólny klient oferujący dostęp do całej funkcjonalności infrastruktury QCG.

Formaty opisu zadań

Każdy eksperyment obliczeniowy, zlecany do wykonania na infrastrukturze QosCosGrid, musi być opisany przez dokument w formacie XML, zwany później „opisem zadania”. Infrastruktura QCG akceptuje opisy zadań wyrażone w:

języku QCG-JobProfile zdefiniowanym formalnie przez schemat XML - QCG-JobProfile.
języku JSDL (Job Submission Description Language) z rozszerzeniem HPC Basic Profile.
języku QCG-Simple - prosty opis w postaci pliku tekstowego, w którym każda linia może zawierać dyrektywę interpretowaną przez system QCG. Uproszczony opis przeznaczony jest do zlecania najczęściej wykonywanych zadań, nie oferuje jednak dostępu do całej funkcjonalności systemy (brak wsparcia dla kaskad zadań (ang. workflow) i zadań parametrycznych (ang. parameter sweep)).

Zmienne opisu zadania

W opisie zadania możliwe jest użycie następujących zmiennych:

HOSTNAME - nazwa hosta (klastra) na jakim uruchomione zostało zadanie,
HOME - katalog domowy użytkownika,
TASK_DIR - katalog roboczy zadania,
JOB_ID - identyfikator eksperymentu,
TASK_ID - identyfikator zadania,
USER_DN - DN (Distinguished Name) użytkownika (identyfikator użytkownika widoczny w certyfikacie, w formacie PEM, np. /C=PL/O=GRID/O=PSNC/CN=Tomasz Piontek)
PROCESS_GROUP - identyfikator grupy procesów.

Maszyna dostępowa QCG

Dla wygody użytkowników klient usługi QCG-Broker zainstalowany został na ogólnodostępnej (dla użytkowników infrastruktury QCG) maszynie.
Adres maszyny: qcg.man.poznan.pl
Typ dostępu: ssh
Użytkownik i hasło są takie same jak w portalu PL-Grid.
Jednocześnie, maszyna dostępowa QCG udostępnia przestrzeń dyskową poprzez protokół gridFTP. Przestrzeń ta może być wykorzystana zarówno do przechowywania plików wejściowych, jak i wyników eksperymentów.

Logowanie: ssh <plguser>@qcg.man.poznan.pl
np.

ssh plgpiontek@qcg.man.poznan.pl

Po zalogowaniu przed pierwszym użyciem klienta konieczna jest konfiguracja środowiska użytkownika zgodnie z wytycznymi opisanymi na maszynie dostępowej.

Przed użyciem klienta QCG konieczne jest ustawienie środowiska wykonawczego wykonując polecenie: module load qcg

module load qcg

Graficzne narzędzia dostępowe

Dostęp do infrastruktury QosCosGrid możliwy jest również z wykorzystaniem dedykowanych narzędzi graficznych ułatwiających przeprowadzenie eksperymentu obliczeniowego oraz interpretacji wyników.

PLGrid Dokumentacja > Uruchamianie zadań przez QosCosGrid > nano.png

Kontakt

Kontakt: qcg@plgrid.pl
Zgłaszanie problemów: http://helpdesk.plgrid.pl