...

Section

Column

Column

QCG-SimpleClient oferuje prosty, wzorowany na poleceniech poleceniach systemu kolejkowego, interfejs do infrastruktury QCG.

Table of Contents

maxLevel	3
class	menu-right

Polecenia

Zlecanie i kontrolowanie zadań
- qcg-cancel - anulowanie zadania
- qcg-clean - usunięcie katalogu roboczego zadnia
- qcg-connect - interaktywne "podłączenie" się do działającego zadania
- qcg-info - wyświetlenie szczegółowej informacji o danym zadaniu
- qcg-interactive - zlecenie zadania interaktywnego (zastąpione przez qcg-sub -I)
- qcg-list - wyświetlenie listy zleconych zadań wraz z informacjami o nich
- qcg-peek - podgląd wyjścia (stdout, stderr) aplikacji
- qcg-proxy - utworzenie certyfikatu proxy użytkownika

qcg-rcancel - anulowanie rezerwacji
qcg-refetch -
ponowne skopiowanie plików wynikowych
ponowienie pobierania wyjściowych plików i katalogów zadania
qcg-
reserve - rezerwacja zasobów
refresh_proxy - odświeżenie certyfikatu proxy użytkownika danego zadania
qcg-
rinfo - wyświetlenie szczegółowej informacji o rezerwacji
resub - ponowne zlecenie zadania
qcg-
rlist - wyświetlenie listy rezerwacji wraz z informacjami o nich
resources - informacja o zasobach dostępnych poprzez infrastrukturę QCG
qcg-sub - zlecenie zadania do wykonania na infrastrukturze QCG zgodnie z uproszczonym opisem

Składnia poleceń

Info
Wszystkie polecenia qcg-* wywołane z przełącznikiem h/-help wyświetlają informacje o sposobie ich użycia.

Code Block
qcg-<command> -h qcg-<command> --help

qcg-cancel

Anulowanie zadania

Code Block

Cancel task(s)

usage: qcg-cancel [-h] [-v]   JOBID[/TASKID] [JOBID[/TASKID]] ...
usage: qcg-client cancel_task [-h] [-v]   JOBID[/TASKID] [JOBID[/TASKID]] ...

Options:
 -h,--help      display help message
 -v,--version   display version

Arguments:
 JOBID  identifier of the job
 TASKID optional identifier of the task
        The default identifier of task is 'task'

Rezerwowanie zasobów i kontrola rezerwacji
qcg-rcancel - anulowanie rezerwacji
qcg-reserve - rezerwacja zasobów
qcg-rinfo - wyświetlenie szczegółowej informacji o rezerwacji
qcg-rlist - wyświetlenie listy rezerwacji wraz z informacjami o nich

Składnia poleceń

Note

Do poprawnego działania polecenia qcg-* wymagają ważnego certyfikatu proxy użytkownika, który jest używany do potwierdzenia tożsamości użytkownika w infrastrukturze.

Dla wygody użytkownika w przypadku braku ważnego certyfikatu proxy, lub jego zbyt krótkiej ważności, certyfikat jest automatycznie tworzony przy wywołaniu dowolnego polecenia qcg-*.

W przypadku tworzenia certyfikatu użytkownik proszony jest o podanie hasła do certyfikatu, które zostało wybrane podczas generowania certyfikatu.

Czas ważności tworzonego certyfiaktu proxy i jego minimalna ważność jest konfigurowalna.

Info
Wszystkie polecenia qcg-* wywołane z przełącznikiem -h/--help wyświetlają informacje o sposobie ich użycia.

Code Block
qcg-<command> -h qcg-<command> --help

Zlecanie i kontrolowanie zadań

qcg-cancel

Anulowanie zadania

Code Block

Cancel task(s)

usage: qcg-cancel [-h] [-v]   JOBID[/TASKID] [JOBID[/TASKID]] ...
usage: qcg-client cancel_task [-h] [-v]   JOBID[/TASKID] [JOBID[/TASKID]] ...

Options:
 -h,--help      display help message
 -v,--version   display version

Arguments:
 JOBID  identifier of the job
 TASKID optional identifier of the task
                The default identifier of task is 'task'

Polecenie umożliwia anulowanie Polecenie umożliwia annulowanie listy zadań.

Lista zadań podawana jest w formacie JOBID[/TASKID], gdzie JOBID to identyfikator eksperymentu zwrócony przez polecenia qcg-sub, TASKID to opcjonalny identyfikator zadania w ramach eksperymentu. W przypadku braku indentyfikatora identyfikatora przyjnowany jest domyślny - "task".

...

Code Block
qcg-cancel J1363865127610__1345 qcg-cancel J1363865127610__1345/task qcg-cancel J1363865127610__1345 J1363865128119__5737

qcg-clean

Usunięcie katalogu roboczego zadnia, lub grupy zadań.

...

Lista zadań podawana jest w formacie JOBID[/TASKID], gdzie JOBID to identyfikator eksperymentu zwrócony przez polecenia qcg-sub, TASKID to opcjonalny identyfikator zadania w ramach eksperymentu. W przypadku braku indentyfikatora przyjnowany identyfikatora przyjmowany jest domyślny - "task".

Zadania opisane przy pomocy formatu QCG-Simple nie wymagają podawania identyfikatora zadania, wystarczy tylko JOBID.

Code Block
qcg-clean J1363865127610__1345 qcg-clean J1363865127610__1345/task qcg-clean J1363865127610__1345 J1363865128119__5737

...

qcg-connect

Utworzenie z klienta QCG interaktywnej sesji w katalogu roboczym danego zadania.

...

Identyfikator podawany jest w formacie JOBID[/TASKID], gdzie JOBID to identyfikator eksperymentu zwrócony przez polecenia qcg-sub, TASKID to opcjonalny identyfikator zadania w ramach eksperymentu. W przypadku braku indentyfikatora identyfikatora przyjmowany jest domyślny - "task".

...

Note
Podłączenie interaktywnej sesji do zadania możliwe jest tylko, gdy zdanie jest wykonywane (stan RUNNING).

qcg-info

Wyświetlenie szczegółowej informacji o danym zadaniu, lub zbiorze zadań.

...

Lista zadań podawana jest w formacie JOBID[/TASKID], gdzie JOBID to identyfikator eksperymentu zwrócony przez polecenia qcg-sub, TASKID to opcjonalny identyfikator zadania w ramach eksperymentu. W przypadku braku indentyfikatora przyjnowany identyfikatora przyjmowany jest domyślny - "task".

Zadania opisane przy pomocy formatu QCG-Simple nie wymagają podawania identyfikatora zadania, wystarczy tylko JOBID.

Opcjonalny przełącznik -d/--description definiuje czy ma być wyświetlony opis z jakim zlecone zostało zadnie. Domyślnie opis nie jest wyświetlany.

qcg-interactive

Polecnie Polecenie qcg-interactive zastąpione zostało przez polecnie qcg-sub wywołane z przełącznikiem -I.

Code Block
qcg-sub -I interactive.qcg

qcg-list

Wyświetlenie listy zleconych zadań wraz z informacjami o nich.

Code Block

Display information about tasks
usage: qcg-list [-C <period>] [-c] [-F <format>] [-h] [-n <NOTE>] [-N] [-p <PURGED>] [-R <NO_LIST>] [-S
       <period>] [-s <status(es)>] [-T <format>] [-t] [-v]
usage: qcg-client get_tasks [-hC <period>] [-R <NO_LIST>c] [-SF <period><format>] [-s <statush] [-n <NOTE>] [-N] [-p <PURGED>]
       [-R] [-S <period>] [-s <status(es)>] [-T <format>] [-t] [-v]
Options:
 -hC,--helpchanged <period>      changed in the period of time
 -c,--color       display help message
 -R        Colorize output
 -F,--reportformat <NO_LIST><format>      display summarycolumns report. Set the optional NO_LIST argument to TRUE to
format
 -h,--help                  display help message
 -n,--note <NOTE>           list elements omitwith the given list.note
 -SN,--submittedno-list <period>    submited in the period of time. If the  status isdo definednot thedisplay defaultlist
 -p,--purged <PURGED>       display whether the working directory is purged or not
           value of the period is 1 day.
 -s,--status <status(es)>   status(es) of the job. Lack of this option is equivalent to requesting
 (PURGED=true|false).
 -R,--report                display summary report.
 -S,--submitted <period>    submited in the period of time. If the status is defined unterminatedthe activities.
 -v,--versiondefault
                            value of the period is display1 version

Polecenie wyświetla listę zadań użytkownika.

Opcja -S pozwala okreslic, że wyświetlone mają być zdania zlecone w zadanym okresie czasu. W ciągu ostatnich „liczba” dni („d”), godzin („h”), minut („m”).

Opcja -s pozwala zawęzić listę wyświetlanych zadań do zadań w danym stanie. Możliwe jest podanie wielu stanów rozdzielonych przecinkiem.

Statusy zadań:

UNSUBMITTED – przetwarzanie zadania wstrzymane z powodu zależności kolejnościowych,
UNCOMMITED - zadanie oczekuje na zatwierdzenie do przetwarzania,
QUEUED – zadanie oczekuje w kolejce na przetwarzanie,
PREPROCESSING – system przygotowuje środowisko uruchomieniowe dla zadania,
PENDING – aplikacja w ramach danego zadania oczekuje na wykonanie w systemie kolejkowym,
RUNNING – aplikacja użytkownika jest wykonywana w ramach zadania,
STOPPED – aplikacja została zakończona, system nie rozpoczął jeszcze czynności związanych z kopiowaniem wyników i czyszczeniem środowiska wykonawczego,
POSTPROCESSING – system wykonuje akcje mające na calu zakończenie zadania: kopiuje pliki/katalogi wynikowe, czyści środowisko wykonawcze, etc.,
FINISHED – zadanie zostało zakończone,
FAILED – błąd przetwarzania zadania,
CANCELED – zadanie anulowane przez użytkownika.

Dla wygody użytkowników zamiast listy stanów możliwe jest podanie zdefiniowanych stałych:

all - zadania we wszystkich stanach,
terminated - zadania zakończone (FINISHED,FAILED,CANCELED)
unterminated - zadania niezakończone (UNSUBMITED,UNCOMMITED,QUEUED,PREPROCESSING,PENDING,RUNNING,STOPPED,POSTPROCESSING).

Przełącznik -R włacza wyświetlenie reportu przedstawiającego liczbę zadań w każdym stanie.

Code Block
qcg-list qcg-list -S 1d qcg-list -s failed qcg-list -S 1d -s all -R

qcg-peek

Podgląd plku wyjściowego zadania.

day.
 -s,--status <status(es)>   status(es) of the job. Lack of this option is equivalent to requesting
                            unterminated activities.
 -T,--time <format>         time format
 -t,--truncated             display truncated identifiers
 -v,--version               display version

Polecenie wyświetla listę zadań użytkownika.

Opcja -C/--changed - pozwala określić, że wyświetlone mają być zdania, których status zmienił się w zadanym okresie czasu. W ciągu ostatnich „liczba” dni („d”), godzin („h”), minut („m”).

Opcja -c/–color - koloruje zadania zgodnie z ich stanami.

Opcja -F/–format - umożliwia podanie własnego formatu wyświetlanej linia.

Opcja -n/--note - pozwala zawęzić listę zadań do tych posiadających określony opis (note). Możliwe jest podanie wyrażenia zawierającego % oznaczający dowolny ciąg znaków (np. "eksperyment nr %").

Opcja -N/--no-list - powoduje pominięcie wyświetlania listy zadań. Stosowane w połączeniu z opcją -R do wyświetlania tylko statystyk.

Opcja -p/--purged - określa czy wyświetlone mają być zadania, których katalog roboczy został usunięty czy nie.

Opcja -R/--report - powoduje wyświetlenie statystyki zadań.

Opcja -S/--submitted - pozwala określić, że wyświetlone mają być zdania zlecone w zadanym okresie czasu. W ciągu ostatnich „liczba” dni („d”), godzin („h”), minut („m”).

Opcja -s/--status - pozwala zawęzić listę wyświetlanych zadań do zadań w danym stanie. Możliwe jest podanie wielu stanów rozdzielonych przecinkiem.

Opcja -T/--time - definiuje format wyświetlanej daty.

Opcja -t/--truncated - wyświetla listę "przyciętych" identyfikatorów

Statusy zadań:

UNSUBMITTED – przetwarzanie zadania wstrzymane z powodu zależności kolejnościowych,
UNCOMMITED - zadanie oczekuje na zatwierdzenie do przetwarzania,
QUEUED – zadanie oczekuje w kolejce na przetwarzanie,
PREPROCESSING – system przygotowuje środowisko uruchomieniowe dla zadania,
PENDING – aplikacja w ramach danego zadania oczekuje na wykonanie w systemie kolejkowym,
RUNNING – aplikacja użytkownika jest wykonywana w ramach zadania,
STOPPED – aplikacja została zakończona, system nie rozpoczął jeszcze czynności związanych z kopiowaniem wyników i czyszczeniem środowiska wykonawczego,
POSTPROCESSING – system wykonuje akcje mające na calu zakończenie zadania: kopiuje pliki/katalogi wynikowe, czyści środowisko wykonawcze, etc.,
FINISHED – zadanie zostało zakończone,
FAILED – błąd przetwarzania zadania,
CANCELED – zadanie anulowane przez użytkownika.

Dla wygody użytkowników zamiast listy stanów możliwe jest podanie zdefiniowanych stałych:

all - zadania we wszystkich stanach,
terminated - zadania zakończone (FINISHED,FAILED,CANCELED)
unterminated - zadania niezakończone (UNSUBMITED,UNCOMMITED,QUEUED,PREPROCESSING,PENDING,RUNNING,STOPPED,POSTPROCESSING).

Przełącznik -R włacza wyświetlenie reportu przedstawiającego liczbę zadań w każdym stanie.

Code Block
qcg-list qcg-list -S 1d qcg-list -s failed qcg-list -S 1d -s all -R

Format wyświetlania dat

Użytkownik może zdefiniować przy wywołaniu polecenia lub w pliku konfiguracyjnym własny format wyświetlania dat.

YY - rok (4 cyfry)
yy - rok (2 cyfry)
m - miesiąc (01-12)
B - nazwa miesiąca
b - skrócona nazwa miesiąca
A - nazwa dnia tygodnia
a - skrócona nazwa dnia tygodnia
d - dzień (01-31)
e - dzień (1-31)
H - godzina (00-23)
k - godzina (0-23)
M - minuty (00-59)
S - sekundy (00-59)

Domyślny format: "dd.MM.yy HH:mm"

Format wyświetlania kolumn:

Użytkownik może zdefiniować własny format wyświetlanych linii podając ciąg tekstowy definiujący ten format poprzez opcję polecenia lub plik konfiguracyjny).

W formacie użytkownik podaje kolumny, ich rozmiary i sposób wyrównywania wg następującego schematu:

Code Block
%[-]<WIDTH><COLUMN_ID> [ %[-]<WIDTH><COLUMN_ID> ] ...

gdzie:

% - obowiązkowy znak rozpoczynający definicję kolumny
- opcjonalny znak "minus" określający wyrównywanie do lewej
WIDTH - czerokość pola w znakach. Szerszy tekst będzie przycinany do tej szerokości.
COLUMN_ID - identyfikator kolumny (patrz tabela poniżej).

Domyślny format: "%-22I %-20N %-15T %-15X %-15E %-16S %-8H %-5F %-20D"

Wyświetlane kolumny:

Kolumna	Identyfikator	Znaczenie
JOB IDENTIFIER	I	Identyfikator zadania
NOTE	N	Opis zadania (wartość dyrektywy #QCG note)
SUBMISSION TIME	T	Czas zlecenia zadania
START TIME	X	Czas rozpoczęcia zadania
FINISH TIME	E	Czas zakończenia zadania
STATUS	S	Status zadania
HOSTNAME	H	Nazwa klastra/klastrów, na którym/których wykonuje się zadanie
FLAGS	F	Flagi zadania: S - opis QCG-Simple X - opis QCG-JobProfile (XML) J - opis JSDL P - purged (usunięty katalog roboczy) UP - unpurged (nieusunięty katalog roboczy)
STATUS DESCRIPTION	D	Opis stanu (dodatkowy opis dla stanu FAILED)

Przykładowe wywołanie.

Code Block
qcg-list -F "%-22I %-20N %-15T %-15X %-15E %-16S %-8H %-5F %-20D" -T "dd.MM.yy HH:mm"

qcg-peek

Podgląd plku wyjściowego zadania.

Code Block

Peek the output file(s)

usage: qcg-peek [-c <NUMBER>] [-f <FILE>] [-h] [-v]   JOBID[/TASKID] [JOBID[/TASKID]] ...
usage: qcg-client peek_output [-c <NUMBER>] [-f <FILE>] [-h] [-v]   JOBID[/TASKID] [JOBID[/TASKID]] ...

Options:
 -c,--characters <NUMBER>   number of characters
 -f,--file <FILE>           file to peek
 -h,--help                  display help message
 -v,--version               display version

Arguments:
 JOBID  identifier of the job
 TASKID optional identifier of the task
                The default identifier of task is 'task'

Polecenie umożliwią podgląd pliku wyjściowego dla zadania, lub sbioru zadań.

Lista zadań podawana jest w formacie JOBID[/TASKID], gdzie JOBID to identyfikator eksperymentu zwrócony przez polecenia qcg-sub, TASKID to opcjonalny identyfikator zadania w ramach eksperymentu. W przypadku braku identyfikatora przyjmowany jest domyślny - "task".

Zadania opisane przy pomocy formatu QCG-Simple nie wymagają podawania identyfikatora zadania, wystarczy tylko JOBID.

Opcjonalny przełącznik -f/--file definiuje plik do podejrzenia. Lokalizacja brana jest względem katalogu roboczego zadania. Domyślnie polecenie pozwala wyświetlić zawartość stdout i stderr.

Opcjonalny przełącznik -c/--characters pozwala określić liczbę znaków jaka ma być wyświetlona.

Code Block
qcg-peek J1363865127610__1345 qcg-peek -f output.txt J1363865127610__1345 qcg-peek -f output.txt -c 1000 J1363865127610__1345

qcg-proxy

Utworzenie certyfikatu proxy użytkownika.

Code Block
Create user proxy usage: proxy_init [-h] [-v] Options: -h,--help display help message -v,--version display version

qcg-refetch

Ponowne pobrani plików wyjściowych aplikacji

Code Block

Refetch output files

usage: qcg-refetch [-h] [-v]   JOBID[/TASKID] [JOBID[/TASKID]] ...
usage: qcg-client stage_out [-h] [-v]   JOBID[/TASKID] [JOBID[/TASKID]] ...

Options:
 -h,--help      display help message
 -v,--version   display version

Arguments:
 JOBID  identifier of the job
 TASKID optional identifier of the task
                The default identifier of task is 'task'

Lista zadań podawana jest w formacie JOBID[/TASKID], gdzie JOBID to identyfikator eksperymentu zwrócony przez polecenia qcg-sub, TASKID to opcjonalny identyfikator zadania w ramach eksperymentu. W przypadku braku indentyfikatora przyjnowany jest domyślny - "task".

Zadania opisane przy pomocy formatu QCG-Simple nie wymagają podawania identyfikatora zadania, wystarczy tylko JOBID.

Code Block
qcg-refetch J1363865127610__1345 qcg-refetch J1363865127610__1345/task

qcg-refresh_proxy

Odświeżenie certyfikatu proxy danego zadnia.

Z każdym zleconym zadaniem związany jest certyfikat proxy użytkowniaka przekazywany do systemu w momencie zlecenia zadania. Każdy taki certyfikat proxy ma określony czas ważności.

W przypadku utraty ważności certyfikatu proxy danego zadania system nie będzie w stanie automatcznie dokonać transferu plików wyjściowych. Niemożliwe też będzie podłączenie się do zadania przy pomocy polecenia qcg-connect.

Czas ważności ceryfikatu danego zadania wyświetlany jest przez polecenia qcg-info.

Code Block

Refresh proxy for the given job(s)

usage: qcg-client refresh_proxy [-h] [-v]   JOBID [JOBID] ...

Options:
 -h,--help      display help message
 -v,--version   display version

Arguments:
 JOBID  identifier of the job

qcg-resources

Polecenie wyświętlające informacje o zasobach dostępnych poprzez infrastrukturę QCG

Code Block

plgpiontek@client:~$ qcg-resources -h                                                                                                                                                               
Privides information about controlled resources                                                                                                                                                     
                                                                                                                                                                                                    
usage: qcg-client resources [-a <show_hidden>] [-h] [-m] [-n <PROPERTIES>] [-Q] [-q] [-R                                                                                                            
       <RESOURCES>] [-s] [-u] [-V] [-v]                                                                                                                                                             
                                                                                                                                                                                                    
Options:

 -a,--applications <show_hidden>   print information about applications

 -h,--help                         display help message

 -m,--modules                      print information about modules

 -n,--nodes <PROPERTIES>           print information about nodes

 -Q,--quiet                        quiet mode

 -q,--queues                       print information about queues

 -R,--resources <RESOURCES>        List of comma separated names of resources

 -s,--summary                      print summary information about the resource

 -u,--users                        print information about users

 -V,--version                      display version

 -v,--vos                          print information about vos

qcg-resub

Ponowne zlecenie zadania do wykonania na infrastrukturze QCG na podstawie opisu innego wcześniej zleconego zadania. Zdanie do ponownego zlecenia określane jest poprzez podanie jego identyfikatora.

Code Block

Resubmit job(s)

usage: qcg-client resubmit_job [-h] [-v]   JOBID [JOBID] ...
usage: qcg-resub [-h] [-v]   JOBID [JOBID] ...

Options:
 -h,--help      display help message
 -v,--version   display version

Arguments:
 JOBID  identifier of the job

qcg-sub

Zlecenie zadania do wykonania na infrastrukturze QCG zgodnie z podanym opisem.

Info
Rekomendowanym formatem opisu zadania jest format QCG-Simple.

Code Block

Submit job(s) to the QCG infrastructure

usage: qcg-sub [-D <DIRECTIVE>] [-h] [-I] [-J | -S | -X] [-R <NUMBER>]  [-v]   FILE [FILE] ...
usage: qcg-client submit_job [-D <DIRECTIVE>] [-h] [-I] [-J | -S | -X] [-R <NUMBER>]  [-v]   FILE [FILE] ...

Options:
 -D,--directive <DIRECTIVE>   adds #QCG directives to the description
 -h,--help                    display help message
 -I,--interactive             Interactive mode
 -J,--jsdl                    JSDL dialect
 -R,--repeat <NUMBER>         repeat submission (only for testing)
 -S,--simple                  QCG Simple dialect
 -v,--version                 display version
 -X,--xml                     QCG XML dialect

Jako argumenty polecenie przyjmuje listę scieżek do plików zawierających opisy zadań.

qsg-sub akceptuje zadania opisane w jednym z nastepująch formatów: QCG-Simple (-S/--simple), QCG-JobProfile (-X/--xml) oraz JSDL (-J/--jsdl). Domyślnym formatem jest QCG-Simple (-S/--simple).

Zlecenie zadania interaktywnego wymaga podania przełącznika -I. W przypadku zlecenia zadania interaktywnego mozliwe jest podanie tylko jednego opisu zadania.

Przełącznik -R/--repeat umożliwia n-krotne zlecenie tego samego zadania. Każde zadanie ma ustawianą zmienną środowiskową QCG_TASK_INDEX kolejną wartość od 0 do n-1.

Przełącznik -D/--directive pozwala na definiowanie dyrektyw (oddzielonych znakiem średnika) poza plikiem opisu zadania. Przydatne jest to, gdy np. chcemy zlecać jeden opis zadania modyfikując pewne dyrektywy. W takim przypadku opcja -D pozwala na uniknięcie konieczności modyfikowania pliku przed każdym zleceniem.

Code Block
qcg-sub experiment.qcg qcg-sub -S file1.qcg file2.qcg file3.qcg qcg-sub -D "host=bem;walltime=PT10M" cfd.qcg

WAŻNE: Korzystając z polecenia qcg-sub można zlecić wykonanie dowolnej interaktywnej tekstowej aplikacji. Służy do tego przełącznik -I/--interactive.

Szczególnie częstym i użytecznym przypadkiem jest interaktywne uruchomienie konsoli poleceń umożliwiające np. kompilację oprogramowani na klastrze, do którego nie ma dostępu poprzez SSH.

W opisie zadania dla interaktywnego uruchomienia konsoli poleceń wystarczy podać nazwę klastra, na którym ma sie uruchomić konsola oraz podać scieżkę do preferowanego interpretera poleceń (np. bash).

Code Block
#QCG host=inula.man.poznan.pl /bin/bash

W opisie zadania interaktywnego można korzystać również z innych dyrektyw QCG celem podania np. wymagań zasobowych dla zadania interaktywnego.

Code Block
qcg-sub -I interactive.qcg

Możliwe jest pominięcie dyrektywy #QCG host w opisie zadania i podanie jej jako argument polecenia qcg-sub

Code Block
qcg-sub -I -D "host=inula" interactive.qcg

Rezerwowanie zasobów i kontrola rezerwacji

qcg-rcancel

Anulowanie rezerwacji zasobów.

Code Block

Cancel reservation(s)

usage: qcg-rcancel [-h] [-v]   RESID [RESID] ...
usage: qcg-client cancel_reservation [-h] [-v]   RESID [RESID] ...

Options:
 -h,--help      display help message
 -v,--version   display version

Arguments:
 RESID  identifier of the reservation

Argumentem polecenia jest lista identyfikatorów rezerwacji.

Code Block
qcg-rcancel R1363180788689_RESERVATION_0172 qcg-rcancel R1363180788689_RESERVATION_0172 R1363252044299__9086

qcg-reserve

Rezerwacja zasobów zgodnie z podanym opisem.

Info

Rekomendowanym formatem opisu zadania jest format QCG-Simple.

Dyrektywy QCG związane z rezerwacją zasobów: deadline, host, not-after, not-before, walltime, use-reservation, reservation, procs.

Code Block

Create reservation(s)

usage: qcg-reserve [-h] [-J | -S | -X]  [-v]   FILE [FILE] ...
usage: qcg-client create_reservation [-h] [-J | -S | -X]  [-v]   FILE [FILE] ...

Options:
 -h,--help      display help message
 -J,--jsdl      JSDL dialect
 -S,--simple    QCG Simple dialect
 -v,--version   display version
 -X,--xml       QCG XML dialect

Arguments:
 FILE   Path to file with job description

Jako argumenty polecenie przyjmuje listę scieżek do plików zawierających opisy zadań.

qsg-reserve akceptuje zadania opisane w jednym z nastepująch formatów: QCG-Simple (-S/--simple), QCG-JobProfile (-X/--xml) oraz JSDL (-J/--jsdl). Domyślnym formatem jest QCG-Simple (-S/--simple).

Code Block
qcg-reserve experiment.qcg qcg-reserve -S file1.qcg file2.qcg file3.qcg

qcg-rinfo

Wyświetlenie szczegółowej informacji o danej rezerwacji, lub zbiorze rezerwacji.

Code Block

Display information about the given reservation(s)

usage: qcg-rinfo [-d] [-D] [-h] [-v]   RESID [RESID] ...
usage: qcg-client reservation_info [-d] [-D] [-h] [-v]   RESID [RESID] ...

Options:
 -d,--description       display user's job description
 -D,--qcg_description   display QCG job description
 -h,--help              display help message
 -v,--version           display version

Arguments:
 RESID  identifier of the reservation

Lista zadań podawana jest w formacie JOBID[/TASKID], gdzie JOBID to identyfikator eksperymentu zwrócony przez polecenia qcg-sub, TASKID to opcjonalny identyfikator zadania w ramach eksperymentu. W przypadku braku indentyfikatora przyjnowany jest domyślny - "task".

Zadania opisane przy pomocy formatu QCG-Simple nie wymagają podawania identyfikatora zadania, wystarczy tylko JOBID.

Opcjonalny przełącznik -d/--description definiuje czy ma być wyświetlony opis z jakim zlecone zostało zadnie. Domyślnie opis nie jest wyświetlany.

Przełącznik -D/--qcg_description definiuje czy ma być wyświetlony opis w formacie QCG JobProfile.

qcg-rlist

Wyświetlenie listy rezerwacji wraz z informacjami o nich.

Code Block

Display information about reservations

usage: qcg-rlist [-C <period>] [-c] [-F <format>] [-h] [-n <NOTE>] [-N] [-R] [-S <period>] [-s <status(es)>] [-T <format>] [-t] [-v]
usage: qcg-client get_reservations [-C <period>] [-c] [-F <format>] [-h] [-n <NOTE>] [-N] [-R] [-S <period>] [-s <status(es)>] [-T <format>] [-t] [-v]

Options:
 -C,--changed <period>      changed in the period of time
 -c,--color                 Colorize output
 -F,--format <format>       columns format
 -h,--help                  display help message
 -n,--note <NOTE>           list elements with the given note
 -N,--no-list               do not display list
 -R,--report

Code Block

Peek the output file(s)

usage: qcg-peek [-c <NUMBER>] [-f <FILE>] [-h] [-v]   JOBID[/TASKID] [JOBID[/TASKID]] ...
usage: qcg-client peek_output [-c <NUMBER>] [-f <FILE>] [-h] [-v]   JOBID[/TASKID] [JOBID[/TASKID]] ...

Options:
 -c,--characters <NUMBER>   number of characters
 -f,--file <FILE>           filedisplay tosummary peekreport.
 -hS,--help                  display help message
 -v,--version               display version

Arguments:
 JOBID  identifier of the job
 TASKID optional identifier of the task
submitted <period>    submited in the period of time. If the status is defined the default value of the period is 1 day.
 -s,--status <status(es)>   status(es) of the job. Lack of this option is equivalent to requesting unterminated activities.
 -T,--time <format>         time format
 -t,--truncated       The default identifier of task is 'task'

Polecenie umożliwią podgląd pliku wyjściowego dla zadania, lub sbioru zadań.

Lista zadań podawana jest w formacie JOBID[/TASKID], gdzie JOBID to identyfikator eksperymentu zwrócony przez polecenia qcg-sub, TASKID to opcjonalny identyfikator zadania w ramach eksperymentu. W przypadku braku indentyfikatora przyjnowany jest domyślny - "task".

Zadania opisane przy pomocy formatu QCG-Simple nie wymagają podawania identyfikatora zadania, wystarczy tylko JOBID.

Opcjonalny przełącznik -f definiuje plik do podejrzenia. Lokalizacja brana jest względem katalogu roboczego zadania. Domyślnie polecenie pozwala wyświtlić zawartość stdout i stderr.

Opcjonalny przełacznik -c pozwala określić liczbę znaków jaka ma być wyświetlona.

Code Block
qcg-peek J1363865127610__1345 qcg-peek -f output.txt J1363865127610__1345 qcg-peek -f output.txt -c 1000

qcg-proxy

Utworzenie certyfikatu proxy użytkownika.

Code Block
Create user proxy usage: proxy_init [-h] [-v] Options: -h,--help display help message -v,--version display version

qcg-rcancel

Anulowanie rezerwacji zasobów.

Code Block

Cancel reservation(s)

usage: qcg-rcancel [-h] [-v]   RESID [RESID] ...
usage: qcg-client cancel_reservation [-h] [-v]   RESID [RESID] ...

Options:
 -h,--help      display help message
 -v,--version   display version

Arguments:
 RESID  identifier of the reservation

Argumentem polecenia jest lista identyfikatorów rezerwacji.

Code Block
qcg-rcancel R1363180788689_RESERVATION_0172 qcg-rcancel R1363180788689_RESERVATION_0172 R1363252044299__9086

qcg-refetch

qcg-sub

Zlecenie zadania do wykonania na infrastrukturze QCG zgodnie z podanym opisem.

Code Block

Submit job(s) to the QCG infrastructure

usage: qcg-sub [-h] [-I] [-J | -S | -X] [-R <NUMBER>]  [-v]   FILE [FILE] ...
usage: qcg-client submit_job [-h] [-I] [-J | -S | -X] [-R <NUMBER>]  [-v]   FILE [FILE] ...

Options:
 -h,--help              display help message
 -I,--interactive       Interactive mode
 -J,--jsdl              JSDL dialect
 -R,--repeat <NUMBER>   repeat submission (only for testing)
 -S,--simple            QCG Simple dialect
 -v,--version           display version
 -X,--xml               QCG XML dialect

Arguments:
 FILE   Path to file with job description

Jako argumenty polecenie przyjmuje listę scieżek do plików zawierających opisy zadań.

qsg-sub akceptuje zadania opisane w jednym z nastepująch formatów: QCG-Simple (-S), QCG-JobProfile (-X) oraz JSDL (-J). Domyślnym formatem jest QCG-Simple (-S).

Zlecenie zadania interaktywnego wymaga podania przełącznika -I. W przypadku zlecenia zadania interaktywnego mozliwe jest podanie tylko jednego opisu zadania.

Przełącznik R umożliwia n-krotne zlecenie tego samego zadania w celach testowych (w przyszlości każde wywołanie będzie miało ustawioną zmienną środowiskową informującą o numerze iteracji).

Code Block
qcg-sub -S experiment.qcg qcg-sub -S file1.qcg file2.qcg file3.qcg

Korzystając z polecenia qcg-sub można zlecić wykonanie dowolnej interaktywnej tekstowej aplikacji.

Szczególnie częstym i użytecznym przypadkiem jest interaktywne uruchomienie konsoli poleceń umożliwiające np. kompilację oprogramowani na klastrze, do którego nie ma dostępu poprzez SSH.

W opisie zadania dla interaktywnego uruchomienia konsoli poleceń wystarczy podać nazwę klastra, na którym ma sie uruchomić konsola oraz podać scieżkę do preferowanego interpretera poleceń (np. bash).

Code Block
#QCG host=inula.man.poznan.pl /bin/bash

W opisie zadania interaktywnego można korzystać również z innych dyrektyw QCG celem podania np. wymagań zasobowych dla zadania interaktywnego.

Code Block
qcg-sub -I interactive.qcg

qcg-peek

qcg-refetch jobId

Ponowne skopiowanie plików wynikowych zadania.
jobId - identyfikator eksperymentu

Code Block
qcg-refetch J1331196390748_date_3099

 display truncated identifiers
 -v,--version               display version

Polecenie wyświetla listę rezerwacji użytkownika.

Opcja -C/--changed - pozwala określić, że wyświetlone mają być rezerwacje, których status zmienił się w zadanym okresie czasu. W ciągu ostatnich „liczba” dni („d”), godzin („h”), minut („m”).

Opcja -c/–color - koloruje linie zgodnie ze stanem rezerwacji

Opcja -F/–format - własny format wyświetlania lini

Opcja -n/--note - pozwala zawęzić listę rezerwacji do tych posiadających określony opis (note). Możliwe jest podanie wyrażenia zawierającego % oznaczający dowolny ciąg znaków (np. "eksperyment nr %").

Opcja -N/--no-list - powoduje pominięcie wyświetlania listy rezerwacji. Stosowane w połączeniu z opcją -R do wyświetlania tylko statystyki.

Opcja -R/--report - powoduje wyświetlenie statystyki rezerwacji.

Opcja -S/--submitted - pozwala określić, że wyświetlone mają być rezerwacje zlecone w zadanym okresie czasu. W ciągu ostatnich „liczba” dni („d”), godzin („h”), minut („m”).

Opcja -s/--status - pozwala zawęzić listę wyświetlanych rezerwacji do tych w danym stanie. Możliwe jest podanie wielu stanów rozdzielonych przecinkiem.

Opcja -T/--time - format wyświetlanego czasu

Opcja -t/--truncated - wyświetlenie listy "przyciętych" identyfikatorów.

Statusy rezerwacji:

SUBMITTED - rezerwacje zlecona do wykonania,
RESERVED - zasoby zarezerwowane, rezerwacja nieaktywna,
ACTIVE - rezerwacja aktywna,
FINISHED - rezerwacja zakończona,
FAILED - rezerwacja zakońzona niepowodzeniem,
CANCELED - rezerwacja anulowana.

Dla wygody użytkowników zamiast listy stanów możliwe jest podanie zdefiniowanych stałych:

all - rezerwacje we wszystkich stanach,
terminated - rezerwacje w stanach końcowych (FINISHED,FAILED,CANCELED)
unterminated - rezerwacje niezakończone (SUBMITTED,ACTIVE,RESERVED).

Przełącznik -R włacza wyświetlenie reportu przedstawiającego liczbę rezerwacji w każdym stanie.

Code Block
qcg-rlist qcg-rlist -S 1d qcg-rlist -s failed qcg-rlist -S 1d -s all -R

Format wyświetlania dat

Użytkownik może zdefiniować przy wywołaniu polecenia lub w pliku konfiguracyjnym własny format wyświetlania dat.

YY - rok (4 cyfry)
yy - rok (2 cyfry)
m - miesiąc (01-12)
B - nazwa miesiąca
b - skrócona nazwa miesiąca
A - nazwa dnia tygodnia
a - skrócona nazwa dnia tygodnia
d - dzień (01-31)
e - dzień (1-31)
H - godzina (00-23)
k - godzina (0-23)
M - minuty (00-59)
S - sekundy (00-59)

Domyślny format: "dd.MM.yy HH:mm"

Format wyświetlania kolumn:

Użytkownik może zdefiniować własny format wyświetlanych linii podając ciąg tekstowy definiujący ten format poprzez opcję polecenia lub plik konfiguracyjny).

W formacie użytkownik podaje kolumny, ich rozmiary i sposób wyrównywania wg następującego schematu:

Code Block
%[-]<WIDTH><COLUMN_ID> [ %[-]<WIDTH><COLUMN_ID> ] ...

gdzie:

% - obowiązkowy znak rozpoczynający definicję kolumny
- opcjonalny znak "minus" określający wyrównywanie do lewej
WIDTH - czerokość pola w znakach. Szerszy tekst będzie przycinany do tej szerokości.
COLUMN_ID - identyfikator kolumny (patrz tabela poniżej).

Domyślny format: ""%-22I %-20N %-15T %-15X %-15E %-16S %-8H %-5C %-20D""

Wyświetlane kolumny:

Kolumna	Identyfikator	Znaczenie
JOB IDENTIFIER	I	Identyfikator zadania
NOTE	N	Opis zadania (wartość dyrektywy #QCG note)
SUBMISSION TIME	T	Czas zlecenia zadania
START TIME	X	Czas rozpoczęcia zadania
FINISH TIME	E	Czas zakończenia zadania
STATUS	S	Status zadania
HOSTNAME	H	Nazwa klastra/klastrów, na którym/których wykonuje się zadanie
SLOTS	C	Liczba zarezerwowanych rdzeni
STATUS DESCRIPTION	D	Opis stanu (dodatkowy opis dla stanu FAILED)

Przykładowe wywołanie.

Code Block
qcg-list -F "%-22I %-20N %-15T %-15X %-15E %-16S %-8H %-5F %-20D" -T "dd.MM.yy HH:mm"

...

Space shortcuts

Page tree

Versions Compared

Old Version 14

New Version Current

Key

Polecenia

Składnia poleceń

qcg-cancel

Składnia poleceń

Zlecanie i kontrolowanie zadań

qcg-cancel

qcg-clean

qcg-connect

qcg-info

qcg-interactive

qcg-list

qcg-peek

qcg-peek

qcg-proxy

qcg-refetch

qcg-refresh_proxy

qcg-resources

qcg-resub

qcg-sub

Rezerwowanie zasobów i kontrola rezerwacji

qcg-rcancel

qcg-reserve

qcg-rinfo

qcg-rlist

qcg-proxy

qcg-rcancel

qcg-refetch

qcg-sub

Space shortcuts

Page tree

Page History

Versions Compared

Old Version 14

New Version Current

Key

Polecenia

Składnia poleceń

qcg-cancel

Składnia poleceń

Zlecanie i kontrolowanie zadań

qcg-cancel

qcg-clean

qcg-connect

qcg-info

qcg-interactive

qcg-list

qcg-peek

qcg-peek

qcg-proxy

qcg-refetch

qcg-refresh_proxy

qcg-resources

qcg-resub

qcg-sub

Rezerwowanie zasobów i kontrola rezerwacji

qcg-rcancel

qcg-reserve

qcg-rinfo

qcg-rlist

qcg-proxy

qcg-rcancel

qcg-refetch

qcg-sub