Infrastruktura QosCosGrid

Infrastruktura QosCosGrid jest zestawem zintegrowanych, wysoce wydajnych usług i narzędzi dostępowych do zarządzania zasobami i zadaniami w wieloklastrowych i gridowych środowiskach obliczeniowych. QosCosGrid wspiera różne scenariusze dla aplikacji, w tym aplikacji równoległych dużej skali, aplikacji parametrycznych oraz złożonych aplikacji typu workflow. Usługi QosCosGrid umożliwiają logiczne scalenie zasobów obliczeniowych pochodzących z wielu klastrów w jeden rozproszony system obliczeniowy. Pozwala to na skrócenie czasu oczekiwania na przydział zasobów oraz na uruchamianie różnego typu zadań obliczeniowych o wymaganiach przekraczających możliwości pojedynczego klastra. Poprzez wykorzystanie zaawansowanych mechanizmów rezerwacji zasobów z wyprzedzeniem, usługi QosCosGrid gwarantują użytkownikowi wymaganą jakość usług obliczeniowych (ang. Quality of Service), w tym czas wykonania zadania. Usługi QosCosGrid zostały w pełni zintegrowane z infrastrukturą PL-Grid umożliwiając polskiemu środowisku naukowemu, dzięki dziedzinowym rozwiązaniom portalowym, intuicyjny i łatwy dostęp do zasobów polskiego gridu obliczeniowego.

Zalety korzystania z usług dostępowych QCG

prostota i intuicyjność korzystania (polecenia qcg-*)
prosty format opisu zadań,
dostęp do wszystkich zasobów infrastruktury PL-Grid z jednego miejsca,
nowatorska funkcjonalność,
powiadamiania o stanie zadania poprzez pocztę (e-mail) lub z wykorzystaniem komunikatora (Jabber - protoków XMMP),
stabilność,
rozszerzalność.
pełne wsparcie przez grupę twórców usług QCG.

Usugi QCG tworzone są w ramach projektu PL Grid PLUS przez grupę progrmistów z Poznańskiego Centrum Suprkomputerowo-Sieciowego.

Unikalna funkcjonalność usług QCG

Wsparcie dla zadań interaktywnych.
Możliwość "podłączania się" interaktywną sesją do wcześniej uruchomionych zadań.
Gwarancja wymaganej jakości usług obliczeniowych (ang. Quality of Service), w tym czasu wykonania zadania poprzez wykorzystanie zaawansowanych mechanizmów rezerwacji zasobów z wyprzedzeniem.
Logiczne scalanie zasobów obliczeniowych pochodzących z wielu klastrów w jeden rozproszony system obliczeniowy.
Skrócenie czasu oczekiwania na przydział zasobów oraz umożliwienie uruchamiania różnego typu zadań obliczeniowych o wymaganiach przekraczających możliwości pojedynczego klastra poprzez wykorzystanie (koalokację) wielu zasobów.
Możliwość rezerwowania zasobów obliczeniowych i uruchamiania zadań na wcześniej zarezerwowanych zasobach.
Integracja ze środowiskami uruchomieniowymi: OpenMPI, ProActive, Muscle.
Wsparcie dla zadań hybrydowych MPI/OpenMP.
Możliwość definiowania złożonych zależności kolejnościowych pomiędzy zadaniami w eksperymentach typu workflow (z użyciem operatorów AND/OR i dowolnych stanów zadań).
Możliwość definiowania zadań parametrycznych jako części eksperymentu typu workflow.

Dostępne zasoby

Obecnie poprzez usługi QosCosGrid możliwy jest dostęp do zasobów następujących ośrodków obliczeniowych wchodzących w skład infrastruktury projektu PL-Grid:

PCSS - Poznańskie Centrum Superkomputerowo Sieciowe - klaster reef, inula
WCSS - Wrocławskie Centrum Sieciowo Superkomputerowe - klaster supernova
Cyfronet AGH - Akademickie Centrum Komputerowe Cyfronet AGH - klaster Zeus
CI TASK - Centrum Informatyczne Trójmiejskiej Akademickiej Sieci Komputerowej -klaster galera plus
ICM - Interdyscyplinarne Centrum Modelowania Matematycznego UW - klaster hydra.

Nazwy klastrów obliczeniowych w poszczególnych ośrodkach do podania w opisie eksperymentu przy zlecaniu go do wykonania w konkretnym ośrodku.

Usługi QCG akceptują zarówno pełna nazwę jak i skórcony alias.

Ośrodek	Klaster	Pełna nazwa QCG	Krótki alias QCG
PCSS	reef	reef.man.poznan.pl	reef
PCSS	inula	inula.man.poznan.pl	inula
WCSS	supernova	nova.wcss.wroc.pl	nova
Cyfronet AGH	zeus	zeus.cyfronet.pl	zeus
CI TASK	galera plus	galera.task.gda.pl	galera
ICM	hydra	hydra.icm.edu.pl	hydra

Przed zleceniem zadania prosimy o zapoznanie się ze szczegółowymi informacjami dotyczącymi:

Korzystanie z infrastruktury

Aby móc skorzystać z infrastruktury QosCosGrid należy:

aplikować o dostęp do infrastruktury QosCosGrid
skorzystać z wybranej metody dostępowej:
- klient tekstowy
- graficzne narzędzia dostępowe dla wybranych aplikacji

Aplikowanie o usługę

Aby móc skorzystać z zasobów projektu PL-Grid z wykorzystaniem usług dostępowych QosCosGrid konieczne jest wystąpienie o dostęp do infrastruktury QosCosGrid poprzez wykonanie prostej sekwencji kroków.

Klient tekstowy

Dostęp do infrastruktury QCG możliwy jest z dowolnego komputera, na którym zainstalowany jest klient usługi QCG-Broker (będącej częścią infrastruktury QCG), służący do zlecania i kontrolowania zadań na poziomie całego gridu. Dla wygody użytkowników klient QCG zainstalowany został w infrastrukturze PL-Grid na kilku maszynach dostępowych do infrastruktury QCG.

Klient tekstowy QCG dla infrastruktury PL-Grid dostępny jest na wszystkich maszynach dostępowych w dwóch wersjach:

QCG-SimpleClient (rekomendowany) - zestaw prostych poleceń wzorowanych na poleceniach systemu kolejkowego,
QCG-AdvancedClient - ogólny klient oferujący dostęp do całej funkcjonalności infrastruktury QCG. Dla zaawansowanych użytkowników, w przypadku braku wymaganej funkcjonalności w QCG-SimpleClient.

Formaty opisu zadań

Każdy eksperyment obliczeniowy, zlecany do wykonania na infrastrukturze QosCosGrid, musi być opisany przez dokument w jednym z akceptowanych formatów, zwany później „opisem zadania”. Infrastruktura QCG akceptuje opisy zadań wyrażone w:

języku QCG-Simple (remomendowany dla QCG-SimpleClient) - prosty opis w postaci pliku tekstowego, w którym każda linia może zawierać dyrektywę interpretowaną przez system QCG. Uproszczony opis przeznaczony jest do zlecania najczęściej wykonywanych zadań, nie oferuje jednak dostępu do całej funkcjonalności systemy (brak wsparcia dla kaskad zadań (ang. workflow) i zadań parametrycznych (ang. parameter sweep)).
języku QCG-JobProfile zdefiniowanym formalnie przez schemat XML - QCG-JobProfile.
języku JSDL (Job Submission Description Language) z rozszerzeniem HPC Basic Profile.

Maszyny dostępowe QCG

Dla wygody użytkowników klient usługi QCG-Broker zainstalowany został na ogólnodostępnych (dla użytkowników infrastruktury QCG) maszynach.
Jednocześnie, maszyny dostępowa QCG udostępniają przestrzeń dyskową poprzez protokół gridFTP.Przestrzeń ta może być wykorzystana zarówno do przechowywania plików wejściowych, jak i wyników eksperymentów.

Użytkownik i hasło dla wszystkich maszyn dostępowych są takie same jak w portalu PL-Grid. Dostęp do maszyn QCG jest poprzez usługe SSH.

Logowanie: ssh <plguser>@maszyna.dostepowa
np.

ssh plgpiontek@qcg.man.poznan.pl

Lista maszyn dostępowych do infrastruktury QosCosGrid

Ośrodek	PCSS, Poznań	WCSS, Wrocław	Cyfronet, Kraków
Maszyna	qcg.man.poznan.pl	ui.plgrid.wcss.wroc.pl	zeus.cyfronet.pl
Port dostępowy	22	22	22
Komentarz	rekomendowana		brak możliwości uruchamiania zadań interaktywnych (qcg-interactive) i podłączania sie pod zadania (qcg-connect)
Zgłaszanie problemów	helpdesk.plgrid.pl helpdesk@plgrid.pl

Po zalogowaniu przed pierwszym użyciem klienta konieczna jest konfiguracja środowiska użytkownika zgodnie z wytycznymi opisanymi na maszynie dostępowej.

Do wyświetlenia informacji opisującej konfigurację środowiska wymaganą przed pierwszym uruchomieniem służy polecenie - qcg_how_to_start.

[qcg] /home/plgrid/plgpiontek/reef > qcg_how_to_start

Dostęp do infrastruktury QCG wymaga od użytkownika posiadania odpowiednich certyfikatów.

Infrastruktura QCG umożliwia dostęp do zasobów projektu PL-GRID na podstawie:

1) certyfikatów generowanych w portalu PL-GRID - Simple CA (format p12)

2) certyfikatów wystawionych przez "Polish Grid CA" (format PEM).

Konfiguracja środowiska QCG odbywa się poprzez jednokrotne wywołanie odpowiedniej wersji polecenia:

1) qcg_set_env plg<uzytkownik>.p12

2) qcg_set_env usercert.pem userkey.pem

Po ponownym zalogowaniu się poprawność konfiguracji można zweryfikowac poleceniem "qcg-client description".

Polecenie to powinno wyświtlić nazwe i wersję usługi QCG-Broker.

UWAGA: W przypadku posiadanie klucza certyfikatu w niewspieranym formacie konieczna jest jego konwersja poleceniami:

Jeżeli plik z kluczem prywatnym uzytkownika rozpoczyna sie linia: "-----BEGIN ENCRYPTED PRIVATE KEY-----" konieczne jest kownersja następującymi poleceniami.

1) Konwersja do właściwego formatu

openssl pkcs8 -in userkey.pem -out userkey_new.pem

2) Ponowne zabezpieczenie klucza hasłem:

openssl rsa -in userkey_new.pem -des3 -out userkey.pem

Po zakonczonym procesie konwersji i kodowania klucz powienien rozpoczynac sie nagłówkiem: "-----BEGIN RSA PRIVATE KEY-----"

PLGrid Dokumentacja > Uruchamianie zadań przez QosCosGrid > QCG-ui.png

Graficzne narzędzia dostępowe

Dostęp do infrastruktury QosCosGrid możliwy jest również z wykorzystaniem dedykowanych narzędzi graficznych ułatwiających przeprowadzenie eksperymentu obliczeniowego oraz interpretacji wyników:

QCG-Icon

PLGrid Dokumentacja > Uruchamianie zadań przez QosCosGrid > nano.png

Nanotechnology-Gateway

Kontakt

Kontakt: qcg@plgrid.pl
Zgłaszanie problemów: http://helpdesk.plgrid.pl