...
Infonote |
---|
Wszystkie Do poprawnego działania polecenia qcg-* wywołane z przełącznikiem -h/--help wyświetlają informacje o sposobie ich użycia. |
Code Block |
---|
qcg-<command> -h
qcg-<command> --help |
wymagają ważnego certyfikatu proxy użytkownika, który jest używany do potwierdzenia tożsamości użytkownika w infrastrukturze. Dla wygody użytkownika w przypadku braku ważnego certyfikatu proxy, lub jego zbyt krótkiej ważności, certyfikat jest automatycznie tworzony przy wywołaniu dowolnego polecenia qcg-*. W przypadku tworzenia certyfikatu użytkownik proszony jest o podanie hasła do certyfikatu, które zostało wybrane podczas generowania certyfikatu. Czas ważności tworzonego certyfiaktu proxy i jego minimalna ważność jest konfigurowalna. |
Info |
---|
Wszystkie polecenia qcg-* wywołane z przełącznikiem -h/--help wyświetlają informacje o sposobie ich użycia. |
Code Block |
---|
qcg-<command> -h
qcg-<command> --help |
...
Przykładowe wywołanie.
Code Block |
---|
qcg-list -F ""%-22I %-20N %-15T %-15X %-15E %-16S %-8H %-5F %-20D" -tT "dd.MM.yy HH:mm" |
Podgląd plku wyjściowego zadania.
...
Code Block |
---|
Refresh proxy for the given job(s) usage: qcg-client refresh_proxy [-h] [-v] JOBID [JOBID] ... Options: -h,--help display help message -v,--version display version Arguments: JOBID identifier of the job |
...
Polecenie wyświętlające informacje o zasobach dostępnych poprzez infrastrukturę QCG
Code Block |
---|
plgpiontek@client:~$ qcg-resources -h |
Ponowne zlecenie zadania do wykonania na infrastrukturze QCG na podstawie opisu innego wcześniej zleconego zadania. Zdanie do ponownego zlecenia określane jest poprzez podanie jego identyfikatora.
Code Block |
---|
Resubmit job(s) usage: qcg-client resubmit_job [-h] [-v] JOBID [JOBID] ... usage: qcg-resub [-h] [-v] JOBID [JOBID] ... Options: -h,--help display help message -v,--version display version Arguments: JOBID identifier of the job |
Zlecenie zadania do wykonania na infrastrukturze QCG zgodnie z podanym opisem.
Info |
---|
Rekomendowanym formatem opisu zadania jest format QCG-Simple. |
Code Block |
---|
Submit job(s) to the QCG infrastructure usage: qcg-sub [-D <DIRECTIVE>] [-h] [-I] [-J | -S | -X] [-R <NUMBER>] [-v] FILE [FILE] ... usage: qcg-client submit_job [-D <DIRECTIVE>] [-h] [-I] [-J | -S | -X] [-R <NUMBER>] [-v] FILE [FILE] ... Options: -D,--directive <DIRECTIVE> adds #QCG directives to the description -h,--help display help message -I,--interactive Interactive mode -J,--jsdl JSDL dialect -R,--repeat <NUMBER>Privides information about controlled resources repeat submission (only for testing) -S,--simple QCG Simple dialect -v,--version display version -X,--xml QCG XML dialect |
Jako argumenty polecenie przyjmuje listę scieżek do plików zawierających opisy zadań.
qsg-sub akceptuje zadania opisane w jednym z nastepująch formatów: QCG-Simple (-S/--simple), QCG-JobProfile (-X/--xml) oraz JSDL (-J/--jsdl). Domyślnym formatem jest QCG-Simple (-S/--simple).
Zlecenie zadania interaktywnego wymaga podania przełącznika -I. W przypadku zlecenia zadania interaktywnego mozliwe jest podanie tylko jednego opisu zadania.
Przełącznik -R/--repeat umożliwia n-krotne zlecenie tego samego zadania. Każde zadanie ma ustawianą zmienną środowiskową QCG_TASK_INDEX kolejną wartość od 0 do n-1.
Przełącznik -D/--directive pozwala na definiowanie dyrektyw (oddzielonych znakiem średnika) poza plikiem opisu zadania. Przydatne jest to, gdy np. chcemy zlecać jeden opis zadania modyfikując pewne dyrektywy. W takim przypadku opcja -D pozwala na uniknięcie konieczności modyfikowania pliku przed każdym zleceniem.
Code Block |
---|
qcg-sub experiment.qcg
qcg-sub -S file1.qcg file2.qcg file3.qcg
qcg-sub -D "host=nova;walltime=PT10M" cfd.qcg |
WAŻNE: Korzystając z polecenia qcg-sub można zlecić wykonanie dowolnej interaktywnej tekstowej aplikacji. Służy do tego przełącznik -I/--interactive.
Szczególnie częstym i użytecznym przypadkiem jest interaktywne uruchomienie konsoli poleceń umożliwiające np. kompilację oprogramowani na klastrze, do którego nie ma dostępu poprzez SSH.
W opisie zadania dla interaktywnego uruchomienia konsoli poleceń wystarczy podać nazwę klastra, na którym ma sie uruchomić konsola oraz podać scieżkę do preferowanego interpretera poleceń (np. bash).
Code Block |
---|
#QCG host=inula.man.poznan.pl
/bin/bash |
W opisie zadania interaktywnego można korzystać również z innych dyrektyw QCG celem podania np. wymagań zasobowych dla zadania interaktywnego.
Code Block |
---|
qcg-sub -I interactive.qcg
|
Możliwe jest pominięcie dyrektywy #QCG host w opisie zadania i podanie jej jako argument polecenia qcg-sub
Code Block |
---|
qcg-sub -I -D "host=inula" interactive.qcg
|
Anulowanie rezerwacji zasobów.
Code Block |
---|
Cancel reservation(s)
usage: qcg-rcancel [-h] [-v] RESID [RESID] ...
usage: qcg-client cancel_reservation [-h] [-v] RESID [RESID] ...
Options:
-h,--help display help message
-v,--version display version
Arguments:
RESID identifier of the reservation |
Argumentem polecenia jest lista identyfikatorów rezerwacji.
Code Block |
---|
qcg-rcancel R1363180788689_RESERVATION_0172
qcg-rcancel R1363180788689_RESERVATION_0172 R1363252044299__9086 |
Rezerwacja zasobów zgodnie z podanym opisem.
Info |
---|
Rekomendowanym formatem opisu zadania jest format QCG-Simple. Dyrektywy QCG związane z rezerwacją zasobów: deadline, host, not-after, not-before, walltime, use-reservation, reservation, procs. |
Code Block |
---|
Create reservation(s)
usage: qcg-reserve [-h] [-J | -S | -X] [-v] FILE [FILE] ...
usage: qcg-client create_reservation [-h] [-J | -S | -X] [-v] FILE [FILE] ...
Options:
-h,--help display help message
-J,--jsdl JSDL dialect
-S,--simple QCG Simple dialect
-v,--version display version
-X,--xml QCG XML dialect
Arguments:
FILE Path to file with job description |
Jako argumenty polecenie przyjmuje listę scieżek do plików zawierających opisy zadań.
qsg-reserve akceptuje zadania opisane w jednym z nastepująch formatów: QCG-Simple (-S/--simple), QCG-JobProfile (-X/--xml) oraz JSDL (-J/--jsdl). Domyślnym formatem jest QCG-Simple (-S/--simple).
Code Block |
---|
qcg-reserve experiment.qcg
qcg-reserve -S file1.qcg file2.qcg file3.qcg |
Wyświetlenie szczegółowej informacji o danej rezerwacji, lub zbiorze rezerwacji.
Code Block |
---|
Display information about the given reservation(s) usage: qcg-rinfo [-d] [-D] [-h] [-v] RESID [RESID] ... usage: qcg-client reservation_info [-d] [-D] [-h] [-v] RESID [RESID] ... Options: -d,--description display user's job description -D,--qcg_description display QCG job description -h,--help usage: qcg-client resources [-a <show_hidden>] [-h] [-m] [-n <PROPERTIES>] [-Q] [-q] [-R <RESOURCES>] [-s] [-u] [-V] [-v] display help message -v,--version display version Arguments: RESID identifier of the reservation |
Lista zadań podawana jest w formacie JOBID[/TASKID], gdzie JOBID to identyfikator eksperymentu zwrócony przez polecenia qcg-sub, TASKID to opcjonalny identyfikator zadania w ramach eksperymentu. W przypadku braku indentyfikatora przyjnowany jest domyślny - "task".
Zadania opisane przy pomocy formatu QCG-Simple nie wymagają podawania identyfikatora zadania, wystarczy tylko JOBID.
Opcjonalny przełącznik -d/--description definiuje czy ma być wyświetlony opis z jakim zlecone zostało zadnie. Domyślnie opis nie jest wyświetlany.
Przełącznik -D/--qcg_description definiuje czy ma być wyświetlony opis w formacie QCG JobProfile.
Wyświetlenie listy rezerwacji wraz z informacjami o nich.
Code Block |
---|
Display information about reservations usage: qcg-rlist [-C <period>] [-h] [-n <NOTE>] [-N] [-R] [-S <period>] [-s <status(es)>] [-v] usage: qcg-client get_reservations [-C <period>] [-h] [-n <NOTE>] [-N] [-R] [-S <period>] [-s <status(es)>] [-v] Options: -C,--changed <period> changed in the period of time (not supported yet) -h,--help display help message -n,--note list elements with the given note -N,--no-list do not display list -R,--report Options: -a,--applications <show_hidden> print information about applications -h,--help display summary report. -S,--submitted <period> display help message -m,--modules submited in the period of time. If the status is print information about modules -n,--nodes <PROPERTIES> print information about nodes -Q,--quiet defined the default value of the period is 1 day.quiet mode -sq,--statusqueues <status(es)> status(es)print information about queues -R,--resources <RESOURCES> List of thecomma job.separated Lacknames of this option is resources -s,--summary print summary information about the resource -u,--users equivalent to requesting unterminated activities. -v,--version display version |
Polecenie wyświetla listę rezerwacji użytkownika.
Opcja -C/--changed pozwala określić, że wyświetlone mają być rezerwacje, których status zmienił się w zadanym okresie czasu. W ciągu ostatnich „liczba” dni („d”), godzin („h”), minut („m”).
Opcja -S/--submitted pozwala określić, że wyświetlone mają być rezerwacje zlecone w zadanym okresie czasu. W ciągu ostatnich „liczba” dni („d”), godzin („h”), minut („m”).
Opcja -s/--status pozwala zawęzić listę wyświetlanych rezerwacji do tych w danym stanie. Możliwe jest podanie wielu stanów rozdzielonych przecinkiem.
Opcja -n/--note pozwala zawęzić listę rezerwacji do tych posiadających określony opis (note). Możliwe jest podanie wyrażenia zawierającego % oznaczający dowolny ciąg znaków (np. "eksperyment nr %").
Opcja -N/--no-list powoduje pominięcie wyświetlania listy rezerwacji. Stosowane w połączeniu z opcją -R do wyświetlania tylko statystyki.
Opcja -R/--report powoduje wyświetlenie statystyki rezerwacji.
Statusy rezerwacji:
Dla wygody użytkowników zamiast listy stanów możliwe jest podanie zdefiniowanych stałych:
Przełącznik -R włacza wyświetlenie reportu przedstawiającego liczbę rezerwacji w każdym stanie.
print information about users
-V,--version display version
-v,--vos print information about vos
|
Ponowne zlecenie zadania do wykonania na infrastrukturze QCG na podstawie opisu innego wcześniej zleconego zadania. Zdanie do ponownego zlecenia określane jest poprzez podanie jego identyfikatora.
Code Block |
---|
Resubmit job(s)
usage: qcg-client resubmit_job [-h] [-v] JOBID [JOBID] ...
usage: qcg-resub [-h] [-v] JOBID [JOBID] ...
Options:
-h,--help display help message
-v,--version display version
Arguments:
JOBID identifier of the job
|
Zlecenie zadania do wykonania na infrastrukturze QCG zgodnie z podanym opisem.
Info |
---|
Rekomendowanym formatem opisu zadania jest format QCG-Simple. |
Code Block |
---|
Submit job(s) to the QCG infrastructure
usage: qcg-sub [-D <DIRECTIVE>] [-h] [-I] [-J | -S | -X] [-R <NUMBER>] [-v] FILE [FILE] ...
usage: qcg-client submit_job [-D <DIRECTIVE>] [-h] [-I] [-J | -S | -X] [-R <NUMBER>] [-v] FILE [FILE] ...
Options:
-D,--directive <DIRECTIVE> adds #QCG directives to the description
-h,--help display help message
-I,--interactive Interactive mode
-J,--jsdl JSDL dialect
-R,--repeat <NUMBER> repeat submission (only for testing)
-S,--simple QCG Simple dialect
-v,--version display version
-X,--xml QCG XML dialect |
Jako argumenty polecenie przyjmuje listę scieżek do plików zawierających opisy zadań.
qsg-sub akceptuje zadania opisane w jednym z nastepująch formatów: QCG-Simple (-S/--simple), QCG-JobProfile (-X/--xml) oraz JSDL (-J/--jsdl). Domyślnym formatem jest QCG-Simple (-S/--simple).
Zlecenie zadania interaktywnego wymaga podania przełącznika -I. W przypadku zlecenia zadania interaktywnego mozliwe jest podanie tylko jednego opisu zadania.
Przełącznik -R/--repeat umożliwia n-krotne zlecenie tego samego zadania. Każde zadanie ma ustawianą zmienną środowiskową QCG_TASK_INDEX kolejną wartość od 0 do n-1.
Przełącznik -D/--directive pozwala na definiowanie dyrektyw (oddzielonych znakiem średnika) poza plikiem opisu zadania. Przydatne jest to, gdy np. chcemy zlecać jeden opis zadania modyfikując pewne dyrektywy. W takim przypadku opcja -D pozwala na uniknięcie konieczności modyfikowania pliku przed każdym zleceniem.
Code Block |
---|
qcg-sub experiment.qcg
qcg-sub -S file1.qcg file2.qcg file3.qcg
qcg-sub -D "host=bem;walltime=PT10M" cfd.qcg |
WAŻNE: Korzystając z polecenia qcg-sub można zlecić wykonanie dowolnej interaktywnej tekstowej aplikacji. Służy do tego przełącznik -I/--interactive.
Szczególnie częstym i użytecznym przypadkiem jest interaktywne uruchomienie konsoli poleceń umożliwiające np. kompilację oprogramowani na klastrze, do którego nie ma dostępu poprzez SSH.
W opisie zadania dla interaktywnego uruchomienia konsoli poleceń wystarczy podać nazwę klastra, na którym ma sie uruchomić konsola oraz podać scieżkę do preferowanego interpretera poleceń (np. bash).
Code Block |
---|
#QCG host=inula.man.poznan.pl
/bin/bash |
W opisie zadania interaktywnego można korzystać również z innych dyrektyw QCG celem podania np. wymagań zasobowych dla zadania interaktywnego.
Code Block |
---|
qcg-sub -I interactive.qcg
|
Możliwe jest pominięcie dyrektywy #QCG host w opisie zadania i podanie jej jako argument polecenia qcg-sub
Code Block |
---|
qcg-sub -I -D "host=inula" interactive.qcg
|
Anulowanie rezerwacji zasobów.
Code Block |
---|
Cancel reservation(s)
usage: qcg-rcancel [-h] [-v] RESID [RESID] ...
usage: qcg-client cancel_reservation [-h] [-v] RESID [RESID] ...
Options:
-h,--help display help message
-v,--version display version
Arguments:
RESID identifier of the reservation |
Argumentem polecenia jest lista identyfikatorów rezerwacji.
Code Block |
---|
qcg-rcancel R1363180788689_RESERVATION_0172
qcg-rcancel R1363180788689_RESERVATION_0172 R1363252044299__9086 |
Rezerwacja zasobów zgodnie z podanym opisem.
Info |
---|
Rekomendowanym formatem opisu zadania jest format QCG-Simple. Dyrektywy QCG związane z rezerwacją zasobów: deadline, host, not-after, not-before, walltime, use-reservation, reservation, procs. |
Code Block |
---|
Create reservation(s)
usage: qcg-reserve [-h] [-J | -S | -X] [-v] FILE [FILE] ...
usage: qcg-client create_reservation [-h] [-J | -S | -X] [-v] FILE [FILE] ...
Options:
-h,--help display help message
-J,--jsdl JSDL dialect
-S,--simple QCG Simple dialect
-v,--version display version
-X,--xml QCG XML dialect
Arguments:
FILE Path to file with job description |
Jako argumenty polecenie przyjmuje listę scieżek do plików zawierających opisy zadań.
qsg-reserve akceptuje zadania opisane w jednym z nastepująch formatów: QCG-Simple (-S/--simple), QCG-JobProfile (-X/--xml) oraz JSDL (-J/--jsdl). Domyślnym formatem jest QCG-Simple (-S/--simple).
Code Block |
---|
qcg-reserve experiment.qcg
qcg-reserve -S file1.qcg file2.qcg file3.qcg |
Wyświetlenie szczegółowej informacji o danej rezerwacji, lub zbiorze rezerwacji.
Code Block |
---|
Display information about the given reservation(s)
usage: qcg-rinfo [-d] [-D] [-h] [-v] RESID [RESID] ...
usage: qcg-client reservation_info [-d] [-D] [-h] [-v] RESID [RESID] ...
Options:
-d,--description display user's job description
-D,--qcg_description display QCG job description
-h,--help display help message
-v,--version display version
Arguments:
RESID identifier of the reservation |
Lista zadań podawana jest w formacie JOBID[/TASKID], gdzie JOBID to identyfikator eksperymentu zwrócony przez polecenia qcg-sub, TASKID to opcjonalny identyfikator zadania w ramach eksperymentu. W przypadku braku indentyfikatora przyjnowany jest domyślny - "task".
Zadania opisane przy pomocy formatu QCG-Simple nie wymagają podawania identyfikatora zadania, wystarczy tylko JOBID.
Opcjonalny przełącznik -d/--description definiuje czy ma być wyświetlony opis z jakim zlecone zostało zadnie. Domyślnie opis nie jest wyświetlany.
Przełącznik -D/--qcg_description definiuje czy ma być wyświetlony opis w formacie QCG JobProfile.
Wyświetlenie listy rezerwacji wraz z informacjami o nich.
Code Block |
---|
Display information about reservations
usage: qcg-rlist [-C <period>] [-c] [-F <format>] [-h] [-n <NOTE>] [-N] [-R] [-S <period>] [-s <status(es)>] [-T <format>] [-t] [-v]
usage: qcg-client get_reservations [-C <period>] [-c] [-F <format>] [-h] [-n <NOTE>] [-N] [-R] [-S <period>] [-s <status(es)>] [-T <format>] [-t] [-v]
Options:
-C,--changed <period> changed in the period of time
-c,--color Colorize output
-F,--format <format> columns format
-h,--help display help message
-n,--note <NOTE> list elements with the given note
-N,--no-list do not display list
-R,--report display summary report.
-S,--submitted <period> submited in the period of time. If the status is defined the default value of the period is 1 day.
-s,--status <status(es)> status(es) of the job. Lack of this option is equivalent to requesting unterminated activities.
-T,--time <format> time format
-t,--truncated display truncated identifiers
-v,--version display version |
Polecenie wyświetla listę rezerwacji użytkownika.
Opcja -C/--changed - pozwala określić, że wyświetlone mają być rezerwacje, których status zmienił się w zadanym okresie czasu. W ciągu ostatnich „liczba” dni („d”), godzin („h”), minut („m”).
Opcja -c/–color - koloruje linie zgodnie ze stanem rezerwacji
Opcja -F/–format - własny format wyświetlania lini
Opcja -n/--note - pozwala zawęzić listę rezerwacji do tych posiadających określony opis (note). Możliwe jest podanie wyrażenia zawierającego % oznaczający dowolny ciąg znaków (np. "eksperyment nr %").
Opcja -N/--no-list - powoduje pominięcie wyświetlania listy rezerwacji. Stosowane w połączeniu z opcją -R do wyświetlania tylko statystyki.
Opcja -R/--report - powoduje wyświetlenie statystyki rezerwacji.
Opcja -S/--submitted - pozwala określić, że wyświetlone mają być rezerwacje zlecone w zadanym okresie czasu. W ciągu ostatnich „liczba” dni („d”), godzin („h”), minut („m”).
Opcja -s/--status - pozwala zawęzić listę wyświetlanych rezerwacji do tych w danym stanie. Możliwe jest podanie wielu stanów rozdzielonych przecinkiem.
Opcja -T/--time - format wyświetlanego czasu
Opcja -t/--truncated - wyświetlenie listy "przyciętych" identyfikatorów.
Statusy rezerwacji:
Dla wygody użytkowników zamiast listy stanów możliwe jest podanie zdefiniowanych stałych:
Przełącznik -R włacza wyświetlenie reportu przedstawiającego liczbę rezerwacji w każdym stanie.
Code Block |
---|
qcg-rlist
qcg-rlist -S 1d
qcg-rlist -s failed
qcg-rlist -S 1d -s all -R |
Format wyświetlania dat
Użytkownik może zdefiniować przy wywołaniu polecenia lub w pliku konfiguracyjnym własny format wyświetlania dat.
H - godzina (00-23)
k - godzina (0-23)
M - minuty (00-59)
S - sekundy (00-59)
Domyślny format: "dd.MM.yy HH:mm"
Format wyświetlania kolumn:
Użytkownik może zdefiniować własny format wyświetlanych linii podając ciąg tekstowy definiujący ten format poprzez opcję polecenia lub plik konfiguracyjny).
W formacie użytkownik podaje kolumny, ich rozmiary i sposób wyrównywania wg następującego schematu:
Code Block |
---|
%[-]<WIDTH><COLUMN_ID> [ %[-]<WIDTH><COLUMN_ID> ] ... |
gdzie:
Domyślny format: ""%-22I %-20N %-15T %-15X %-15E %-16S %-8H %-5C %-20D""
Wyświetlane kolumny:
Kolumna | Identyfikator | Znaczenie |
---|---|---|
JOB IDENTIFIER | I | Identyfikator zadania |
NOTE | N | Opis zadania (wartość dyrektywy #QCG note) |
SUBMISSION TIME | T | Czas zlecenia zadania |
START TIME | X | Czas rozpoczęcia zadania |
FINISH TIME | E | Czas zakończenia zadania |
STATUS | S | Status zadania |
HOSTNAME | H | Nazwa klastra/klastrów, na którym/których wykonuje się zadanie |
SLOTS | C | Liczba zarezerwowanych rdzeni |
STATUS DESCRIPTION | D | Opis stanu (dodatkowy opis dla stanu FAILED) |
Przykładowe wywołanie.
Code Block |
---|
qcg-list -F "%-22I %-20N %-15T %-15X %-15E %-16S %-8H %-5F %-20D" -T "dd.MM.yy HH:mm" |
Code Block |
qcg-rlist
qcg-rlist -S 1d
qcg-rlist -s failed
qcg-rlist -S 1d -s all -R |