QCG-SimpleClient oferuje prosty, wzorowany na poleceniach systemu kolejkowego, interfejs do infrastruktury QCG.
Polecenia
- Zlecanie i kontrolowanie zadań
- qcg-cancel - anulowanie zadania
- qcg-clean - usunięcie katalogu roboczego zadnia
- qcg-connect - interaktywne "podłączenie" się do działającego zadania
- qcg-info - wyświetlenie szczegółowej informacji o danym zadaniu
- qcg-interactive - zlecenie zadania interaktywnego (zastąpione przez qcg-sub -I)
- qcg-list - wyświetlenie listy zleconych zadań wraz z informacjami o nich
- qcg-peek - podgląd wyjścia (stdout, stderr) aplikacji
- qcg-proxy - utworzenie certyfikatu proxy użytkownika
- qcg-refetch - ponowienie pobierania wyjściowych plików i katalogów zadania
- qcg-refresh_proxy - odświeżenie certyfikatu proxy użytkownika danego zadania
- qcg-sub - zlecenie zadania do wykonania na infrastrukturze QCG zgodnie z uproszczonym opisem
- Rezerwowanie zasobów i kontrola rezerwacji
- qcg-rcancel - anulowanie rezerwacji
- qcg-reserve - rezerwacja zasobów
- qcg-rinfo - wyświetlenie szczegółowej informacji o rezerwacji
- qcg-rlist - wyświetlenie listy rezerwacji wraz z informacjami o nich
Składnia poleceń
Wszystkie polecenia qcg-* wywołane z przełącznikiem -h/--help wyświetlają informacje o sposobie ich użycia.
qcg-<command> -h qcg-<command> --help
Zlecanie i kontrolowanie zadań
qcg-cancel
Anulowanie zadania
Cancel task(s)
usage: qcg-cancel [-h] [-v] JOBID[/TASKID] [JOBID[/TASKID]] ...
usage: qcg-client cancel_task [-h] [-v] JOBID[/TASKID] [JOBID[/TASKID]] ...
Options:
-h,--help display help message
-v,--version display version
Arguments:
JOBID identifier of the job
TASKID optional identifier of the task
The default identifier of task is 'task'
Polecenie umożliwia anulowanie listy zadań.
Lista zadań podawana jest w formacie JOBID[/TASKID], gdzie JOBID to identyfikator eksperymentu zwrócony przez polecenia qcg-sub, TASKID to opcjonalny identyfikator zadania w ramach eksperymentu. W przypadku braku identyfikatora przyjnowany jest domyślny - "task".
Zadania opisane przy pomocy formatu QCG-Simple nie wymagają podawania identyfikatora zadania, wystarczy tylko JOBID.
qcg-cancel J1363865127610__1345 qcg-cancel J1363865127610__1345/task qcg-cancel J1363865127610__1345 J1363865128119__5737
qcg-clean
Usunięcie katalogu roboczego zadnia, lub grupy zadań.
Clean task(s). Remove working directory
usage: qcg-clean [-h] [-v] JOBID[/TASKID] [JOBID[/TASKID]] ...
usage: qcg-client clean_task [-h] [-v] JOBID[/TASKID] [JOBID[/TASKID]] ...
Options:
-h,--help display help message
-v,--version display version
Arguments:
JOBID identifier of the job
TASKID optional identifier of the task
The default identifier of task is 'task'
Lista zadań podawana jest w formacie JOBID[/TASKID], gdzie JOBID to identyfikator eksperymentu zwrócony przez polecenia qcg-sub, TASKID to opcjonalny identyfikator zadania w ramach eksperymentu. W przypadku braku identyfikatora przyjmowany jest domyślny - "task".
Zadania opisane przy pomocy formatu QCG-Simple nie wymagają podawania identyfikatora zadania, wystarczy tylko JOBID.
qcg-clean J1363865127610__1345 qcg-clean J1363865127610__1345/task qcg-clean J1363865127610__1345 J1363865128119__5737
qcg-connect
Utworzenie z klienta QCG interaktywnej sesji w katalogu roboczym danego zadania.
Connect to the task. Open interactive terminal in the working directory of the task
usage: qcg-connect [-h] [-v] JOBID[/TASKID]
usage: qcg-client connect_to_tasks [-h] [-v] JOBID[/TASKID]
Options:
-h,--help display help message
-v,--version display version
Arguments:
JOBID identifier of the job
TASKID optional identifier of the task
The default identifier of task is 'task'
Identyfikator podawany jest w formacie JOBID[/TASKID], gdzie JOBID to identyfikator eksperymentu zwrócony przez polecenia qcg-sub, TASKID to opcjonalny identyfikator zadania w ramach eksperymentu. W przypadku braku identyfikatora przyjmowany jest domyślny - "task".
Zadania opisane przy pomocy formatu QCG-Simple nie wymagają podawania identyfikatora zadania, wystarczy tylko JOBID.
qcg-connect J1363865127610__1345 qcg-connect J1363865127610__1345/task
Podłączenie interaktywnej sesji do zadania możliwe jest tylko, gdy zdanie jest wykonywane (stan RUNNING).
qcg-info
Wyświetlenie szczegółowej informacji o danym zadaniu, lub zbiorze zadań.
Display information about task(s)
usage: qcg-info [-d] [-h] [-v] JOBID[/TASKID] [JOBID[/TASKID]] ...
usage: qcg-client task_info [-d] [-h] [-v] JOBID[/TASKID] [JOBID[/TASKID]] ...
Options:
-d,--description display user's job description
-h,--help display help message
-v,--version display version
Arguments:
JOBID identifier of the job
TASKID optional identifier of the task
The default identifier of task is 'task'
Lista zadań podawana jest w formacie JOBID[/TASKID], gdzie JOBID to identyfikator eksperymentu zwrócony przez polecenia qcg-sub, TASKID to opcjonalny identyfikator zadania w ramach eksperymentu. W przypadku braku identyfikatora przyjmowany jest domyślny - "task".
Zadania opisane przy pomocy formatu QCG-Simple nie wymagają podawania identyfikatora zadania, wystarczy tylko JOBID.
Opcjonalny przełącznik -d/--description definiuje czy ma być wyświetlony opis z jakim zlecone zostało zadnie. Domyślnie opis nie jest wyświetlany.
qcg-interactive
Polecenie qcg-interactive zastąpione zostało przez qcg-sub wywołane z przełącznikiem -I.
qcg-sub -I interactive.qcg
qcg-list
Wyświetlenie listy rezerwacji wraz z informacjami o nich.
Display information about tasks
usage: qcg-list [-C <period>] [-h] [-n <NOTE>] [-N] [-p <PURGED>] [-R] [-S <period>] [-s <status(es)>] [-v]
usage: qcg-client get_tasks [-C <period>] [-h] [-n <NOTE>] [-N] [-p <PURGED>] [-R] [-S <period>] [-s <status(es)>] [-v]
Options:
-C,--changed <period> changed in the period of time (not supported yet)
-h,--help display help message
-n,--note <NOTE> list elements with the given note
-N,--no-list do not display list
-p,--purged <PURGED> display whether the working directory is purged or
not (PURGED=true|false).
-R,--report display summary report.
-S,--submitted <period> submited in the period of time. If the status is
defined the default value of the period is 1 day.
-s,--status <status(es)> status(es) of the job. Lack of this option is
equivalent to requesting unterminated activities.
-v,--version display version
Polecenie wyświetla listę zadań użytkownika.
Opcja -C/--changed pozwala określić, że wyświetlone mają być zdania, których status zmienił się w zadanym okresie czasu. W ciągu ostatnich „liczba” dni („d”), godzin („h”), minut („m”).
Opcja -S/--submitted pozwala określić, że wyświetlone mają być zdania zlecone w zadanym okresie czasu. W ciągu ostatnich „liczba” dni („d”), godzin („h”), minut („m”).
Opcja -s/--status pozwala zawęzić listę wyświetlanych zadań do zadań w danym stanie. Możliwe jest podanie wielu stanów rozdzielonych przecinkiem.
Opcja -n/--note pozwala zawęzić listę zadań do tych posiadających określony opis (note). Możliwe jest podanie wyrażenia zawierającego % oznaczający dowolny ciąg znaków (np. "eksperyment nr %").
Opcja -N/--no-list powoduje pominięcie wyświetlania listy zadań. Stosowane w połączeniu z opcją -R do wyświetlania tylko statystyk.
Opcja -p/--purged określa czy wyświetlone mają być zadania, których katalog roboczy został usunięty czy nie.
Opcja -R/--report powoduje wyświetlenie statystyki zadań.
Statusy zadań:
- UNSUBMITTED – przetwarzanie zadania wstrzymane z powodu zależności kolejnościowych,
- UNCOMMITED - zadanie oczekuje na zatwierdzenie do przetwarzania,
- QUEUED – zadanie oczekuje w kolejce na przetwarzanie,
- PREPROCESSING – system przygotowuje środowisko uruchomieniowe dla zadania,
- PENDING – aplikacja w ramach danego zadania oczekuje na wykonanie w systemie kolejkowym,
- RUNNING – aplikacja użytkownika jest wykonywana w ramach zadania,
- STOPPED – aplikacja została zakończona, system nie rozpoczął jeszcze czynności związanych z kopiowaniem wyników i czyszczeniem środowiska wykonawczego,
- POSTPROCESSING – system wykonuje akcje mające na calu zakończenie zadania: kopiuje pliki/katalogi wynikowe, czyści środowisko wykonawcze, etc.,
- FINISHED – zadanie zostało zakończone,
- FAILED – błąd przetwarzania zadania,
- CANCELED – zadanie anulowane przez użytkownika.
Dla wygody użytkowników zamiast listy stanów możliwe jest podanie zdefiniowanych stałych:
- all - zadania we wszystkich stanach,
- terminated - zadania zakończone (FINISHED,FAILED,CANCELED)
- unterminated - zadania niezakończone (UNSUBMITED,UNCOMMITED,QUEUED,PREPROCESSING,PENDING,RUNNING,STOPPED,POSTPROCESSING).
Przełącznik -R włacza wyświetlenie reportu przedstawiającego liczbę zadań w każdym stanie.
qcg-list qcg-list -S 1d qcg-list -s failed qcg-list -S 1d -s all -R
Wyświetlane kolumny:
| Kolumna | Znaczenie |
|---|---|
JOB IDENTIFIER | Identyfikator zadania |
NOTE | Opis zadania (wartość dyrektywy #QCG note) |
SUBMISSION TIME | Czas zlecenia zadania |
START TIME | Czas rozpoczęcia zadania |
FINISH TIME | Czas zakończenia zadania |
STATUS | Status zadania |
HOSTNAME | Nazwa klastra/klastrów, na którym/których wykonuje się zadanie |
FLAGS | Flagi zadania: S - opis QCG-Simple X - opis QCG-JobProfile (XML) J - opis JSDL P - purged (usunięty katalog roboczy) UP - unpurged (nieusunięty katalog roboczy) |
| STATUS DESCRIPTION | Opis stanu (dodatkowy opis dla stanu FAILED) |
qcg-peek
Podgląd plku wyjściowego zadania.
Peek the output file(s)
usage: qcg-peek [-c <NUMBER>] [-f <FILE>] [-h] [-v] JOBID[/TASKID] [JOBID[/TASKID]] ...
usage: qcg-client peek_output [-c <NUMBER>] [-f <FILE>] [-h] [-v] JOBID[/TASKID] [JOBID[/TASKID]] ...
Options:
-c,--characters <NUMBER> number of characters
-f,--file <FILE> file to peek
-h,--help display help message
-v,--version display version
Arguments:
JOBID identifier of the job
TASKID optional identifier of the task
The default identifier of task is 'task'
Polecenie umożliwią podgląd pliku wyjściowego dla zadania, lub sbioru zadań.
Lista zadań podawana jest w formacie JOBID[/TASKID], gdzie JOBID to identyfikator eksperymentu zwrócony przez polecenia qcg-sub, TASKID to opcjonalny identyfikator zadania w ramach eksperymentu. W przypadku braku identyfikatora przyjmowany jest domyślny - "task".
Zadania opisane przy pomocy formatu QCG-Simple nie wymagają podawania identyfikatora zadania, wystarczy tylko JOBID.
Opcjonalny przełącznik -f/--file definiuje plik do podejrzenia. Lokalizacja brana jest względem katalogu roboczego zadania. Domyślnie polecenie pozwala wyświetlić zawartość stdout i stderr.
Opcjonalny przełącznik -c/--characters pozwala określić liczbę znaków jaka ma być wyświetlona.
qcg-peek J1363865127610__1345 qcg-peek -f output.txt J1363865127610__1345 qcg-peek -f output.txt -c 1000 J1363865127610__1345
qcg-proxy
Utworzenie certyfikatu proxy użytkownika.
Create user proxy usage: proxy_init [-h] [-v] Options: -h,--help display help message -v,--version display version
qcg-refetch
Ponowne pobrani plików wyjściowych aplikacji
Refetch output files
usage: qcg-refetch [-h] [-v] JOBID[/TASKID] [JOBID[/TASKID]] ...
usage: qcg-client stage_out [-h] [-v] JOBID[/TASKID] [JOBID[/TASKID]] ...
Options:
-h,--help display help message
-v,--version display version
Arguments:
JOBID identifier of the job
TASKID optional identifier of the task
The default identifier of task is 'task'
Lista zadań podawana jest w formacie JOBID[/TASKID], gdzie JOBID to identyfikator eksperymentu zwrócony przez polecenia qcg-sub, TASKID to opcjonalny identyfikator zadania w ramach eksperymentu. W przypadku braku indentyfikatora przyjnowany jest domyślny - "task".
Zadania opisane przy pomocy formatu QCG-Simple nie wymagają podawania identyfikatora zadania, wystarczy tylko JOBID.
qcg-refetch J1363865127610__1345 qcg-refetch J1363865127610__1345/task
qcg-refresh_proxy
Odświeżenie certyfikatu proxy danego zadnia.
Z każdym zleconym zadaniem związany jest certyfikat proxy użytkowniaka przekazywany do systemu w momencie zlecenia zadania. Każdy taki certyfikat proxy ma określony czas ważności.
W przypadku utraty ważności certyfikatu proxy danego zadania system nie będzie w stanie automatcznie dokonać transferu plików wyjściowych. Niemożliwe też będzie podłączenie się do zadania przy pomocy polecenia qcg-connect.
Czas ważności ceryfikatu danego zadania wyświetlany jest przez polecenia qcg-info.
Refresh proxy for the given job(s) usage: qcg-client refresh_proxy [-h] [-v] JOBID [JOBID] ... Options: -h,--help display help message -v,--version display version Arguments: JOBID identifier of the job
qcg-sub
Zlecenie zadania do wykonania na infrastrukturze QCG zgodnie z podanym opisem.
Rekomendowanym formatem opisu zadania jest format QCG-Simple.
Submit job(s) to the QCG infrastructure usage: qcg-sub [-D <DIRECTIVE>] [-h] [-I] [-J | -S | -X] [-R <NUMBER>] [-v] FILE [FILE] ... usage: qcg-client submit_job [-D <DIRECTIVE>] [-h] [-I] [-J | -S | -X] [-R <NUMBER>] [-v] FILE [FILE] ... Options: -D,--directive <DIRECTIVE> adds #QCG directives to the description -h,--help display help message -I,--interactive Interactive mode -J,--jsdl JSDL dialect -R,--repeat <NUMBER> repeat submission (only for testing) -S,--simple QCG Simple dialect -v,--version display version -X,--xml QCG XML dialect
Jako argumenty polecenie przyjmuje listę scieżek do plików zawierających opisy zadań.
qsg-sub akceptuje zadania opisane w jednym z nastepująch formatów: QCG-Simple (-S/--simple), QCG-JobProfile (-X/--xml) oraz JSDL (-J/--jsdl). Domyślnym formatem jest QCG-Simple (-S/--simple).
Zlecenie zadania interaktywnego wymaga podania przełącznika -I. W przypadku zlecenia zadania interaktywnego mozliwe jest podanie tylko jednego opisu zadania.
Przełącznik -R/--repeat umożliwia n-krotne zlecenie tego samego zadania. Każde zadanie ma ustawianą zmienną środowiskową QCG_TASK_INDEX kolejną wartość od 0 do n-1.
Przełącznik -D/--directive pozwala na definiowanie dyrektyw poza plikiem opisu zadania. Przydatne jest to, gdy np. chcemy zlecać jeden opis zadania modyfikując pewne dyrektywy. W takim przypadku opcja -D pozwala na uniknięcie konieczności modyfikowania pliku przed każdym zleceniem.
qcg-sub experiment.qcg qcg-sub -S file1.qcg file2.qcg file3.qcg qcg-sub -D "host=nova,walltime=PT10M" cfd.qcg
WAŻNE: Korzystając z polecenia qcg-sub można zlecić wykonanie dowolnej interaktywnej tekstowej aplikacji. Służy do tego przełącznik -I/--interactive.
Szczególnie częstym i użytecznym przypadkiem jest interaktywne uruchomienie konsoli poleceń umożliwiające np. kompilację oprogramowani na klastrze, do którego nie ma dostępu poprzez SSH.
W opisie zadania dla interaktywnego uruchomienia konsoli poleceń wystarczy podać nazwę klastra, na którym ma sie uruchomić konsola oraz podać scieżkę do preferowanego interpretera poleceń (np. bash).
#QCG host=inula.man.poznan.pl /bin/bash
W opisie zadania interaktywnego można korzystać również z innych dyrektyw QCG celem podania np. wymagań zasobowych dla zadania interaktywnego.
qcg-sub -I interactive.qcg
Rezerwowanie zasobów i kontrola rezerwacji
qcg-rcancel
Anulowanie rezerwacji zasobów.
Cancel reservation(s) usage: qcg-rcancel [-h] [-v] RESID [RESID] ... usage: qcg-client cancel_reservation [-h] [-v] RESID [RESID] ... Options: -h,--help display help message -v,--version display version Arguments: RESID identifier of the reservation
Argumentem polecenia jest lista identyfikatorów rezerwacji.
qcg-rcancel R1363180788689_RESERVATION_0172 qcg-rcancel R1363180788689_RESERVATION_0172 R1363252044299__9086
qcg-reserve
Rezerwacja zasobów zgodnie z podanym opisem.
Rekomendowanym formatem opisu zadania jest format QCG-Simple.
Dyrektywy QCG związane z rezerwacją zasobów: deadline, host, not-after, not-before, walltime, use-reservation, reservation, procs.
QCG nie wspiera na razie rezerwowania wezłów (dyrektywa nodes).
Create reservation(s) usage: qcg-reserve [-h] [-J | -S | -X] [-v] FILE [FILE] ... usage: qcg-client create_reservation [-h] [-J | -S | -X] [-v] FILE [FILE] ... Options: -h,--help display help message -J,--jsdl JSDL dialect -S,--simple QCG Simple dialect -v,--version display version -X,--xml QCG XML dialect Arguments: FILE Path to file with job description
Jako argumenty polecenie przyjmuje listę scieżek do plików zawierających opisy zadań.
qsg-reserve akceptuje zadania opisane w jednym z nastepująch formatów: QCG-Simple (-S/--simple), QCG-JobProfile (-X/--xml) oraz JSDL (-J/--jsdl). Domyślnym formatem jest QCG-Simple (-S/--simple).
qcg-reserve experiment.qcg qcg-reserve -S file1.qcg file2.qcg file3.qcg
qcg-rinfo
Wyświetlenie szczegółowej informacji o danej rezerwacji, lub zbiorze rezerwacji.
Display information about the given reservation(s) usage: qcg-rinfo [-d] [-D] [-h] [-v] RESID [RESID] ... usage: qcg-client reservation_info [-d] [-D] [-h] [-v] RESID [RESID] ... Options: -d,--description display user's job description -D,--qcg_description display QCG job description -h,--help display help message -v,--version display version Arguments: RESID identifier of the reservation
Lista zadań podawana jest w formacie JOBID[/TASKID], gdzie JOBID to identyfikator eksperymentu zwrócony przez polecenia qcg-sub, TASKID to opcjonalny identyfikator zadania w ramach eksperymentu. W przypadku braku indentyfikatora przyjnowany jest domyślny - "task".
Zadania opisane przy pomocy formatu QCG-Simple nie wymagają podawania identyfikatora zadania, wystarczy tylko JOBID.
Opcjonalny przełącznik -d/--description definiuje czy ma być wyświetlony opis z jakim zlecone zostało zadnie. Domyślnie opis nie jest wyświetlany.
Przełącznik -D/--qcg_description definiuje czy ma być wyświetlony opis w formacie QCG JobProfile.
qcg-rlist
Wyświetlenie listy rezerwacji wraz z informacjami o nich.
Display information about reservations
usage: qcg-rlist [-C <period>] [-h] [-n <NOTE>] [-N] [-R] [-S <period>] [-s <status(es)>] [-v]
usage: qcg-client get_reservations [-C <period>] [-h] [-n <NOTE>] [-N] [-R] [-S <period>] [-s <status(es)>] [-v]
Options:
-C,--changed <period> changed in the period of time (not supported yet)
-h,--help display help message
-n,--note list elements with the given note
-N,--no-list do not display list
-R,--report display summary report.
-S,--submitted <period> submited in the period of time. If the status is
defined the default value of the period is 1 day.
-s,--status <status(es)> status(es) of the job. Lack of this option is
equivalent to requesting unterminated activities.
-v,--version display version
Polecenie wyświetla listę rezerwacji użytkownika.
Opcja -C/--changed pozwala określić, że wyświetlone mają być rezerwacje, których status zmienił się w zadanym okresie czasu. W ciągu ostatnich „liczba” dni („d”), godzin („h”), minut („m”).
Opcja -S/--submitted pozwala określić, że wyświetlone mają być rezerwacje zlecone w zadanym okresie czasu. W ciągu ostatnich „liczba” dni („d”), godzin („h”), minut („m”).
Opcja -s/--status pozwala zawęzić listę wyświetlanych rezerwacji do tych w danym stanie. Możliwe jest podanie wielu stanów rozdzielonych przecinkiem.
Opcja -n/--note pozwala zawęzić listę rezerwacji do tych posiadających określony opis (note). Możliwe jest podanie wyrażenia zawierającego % oznaczający dowolny ciąg znaków (np. "eksperyment nr %").
Opcja -N/--no-list powoduje pominięcie wyświetlania listy rezerwacji. Stosowane w połączeniu z opcją -R do wyświetlania tylko statystyki.
Opcja -R/--report powoduje wyświetlenie statystyki rezerwacji.
Statusy rezerwacji:
- SUBMITTED - rezerwacje zlecona do wykonania,
- RESERVED - zasoby zarezerwowane, rezerwacja nieaktywna,
- ACTIVE - rezerwacja aktywna,
- FINISHED - rezerwacja zakończona,
- FAILED - rezerwacja zakońzona niepowodzeniem,
- CANCELED - rezerwacja anulowana.
Dla wygody użytkowników zamiast listy stanów możliwe jest podanie zdefiniowanych stałych:
- all - rezerwacje we wszystkich stanach,
- terminated - rezerwacje w stanach końcowych (FINISHED,FAILED,CANCELED)
- unterminated - rezerwacje niezakończone (SUBMITTED,ACTIVE,RESERVED).
Przełącznik -R włacza wyświetlenie reportu przedstawiającego liczbę rezerwacji w każdym stanie.
qcg-rlist qcg-rlist -S 1d qcg-rlist -s failed qcg-rlist -S 1d -s all -R
Overview
Content Tools