Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

...

Table of Contents
maxLevel3
classmenu-right

Polecenia

  • Zlecanie i kontrolowanie zadań
    • qcg-cancel - anulowanie zadania
    • qcg-clean - usunięcie katalogu roboczego zadnia
    • qcg-connect - interaktywne "podłączenie" się do działającego zadania
    • qcg-info - wyświetlenie szczegółowej informacji o danym zadaniu
    • qcg-interactive - zlecenie zadania interaktywnego
    • qcg-list - wyświetlenie listy zleconych zadań wraz z informacjami o nich
    • qcg-peek - podgląd wyjścia (stdout, stderr) aplikacji
    • qcg-proxy - utworzenie certyfikatu proxy użytkownika
    • qcg-sub - zlecenie zadania do wykonania na infrastrukturze QCG zgodnie z uproszczonym opisem
  • Rezerwowanie zasobów i kontrola rezerwacji
    • qcg-rcancel - anulowanie rezerwacji
    • qcg-refetch - ponowne skopiowanie plików wynikowych zadania
    • qcg-reserve - rezerwacja zasobów
    • qcg-rinfo - wyświetlenie szczegółowej informacji o rezerwacji
    • qcg-rlist - wyświetlenie listy rezerwacji wraz z informacjami o nich
    qcg-sub - zlecenie zadania do wykonania na infrastrukturze QCG zgodnie z uproszczonym opisem

Składnia poleceń


Info

Wszystkie polecenia qcg-* wywołane z przełącznikiem -h/--help wyświetlają informacje o sposobie ich użycia.

...

Code Block
qcg-<command> -h
qcg-<command> --help

Zlecanie i kontrolowanie zadań

qcg-cancel

Anulowanie zadania

Code Block
Cancel task(s)

usage: qcg-cancel [-h] [-v]   JOBID[/TASKID] [JOBID[/TASKID]] ...
usage: qcg-client cancel_task [-h] [-v]   JOBID[/TASKID] [JOBID[/TASKID]] ...

Options:
 -h,--help      display help message
 -v,--version   display version

Arguments:
 JOBID  identifier of the job
 TASKID optional identifier of the task
                The default identifier of task is 'task'

...

Code Block
qcg-cancel J1363865127610__1345
qcg-cancel J1363865127610__1345/task
qcg-cancel J1363865127610__1345 J1363865128119__5737

qcg-clean

Usunięcie katalogu roboczego zadnia, lub grupy zadań.

...

Code Block
qcg-clean J1363865127610__1345
qcg-clean J1363865127610__1345/task
qcg-clean J1363865127610__1345 J1363865128119__5737

qcg-connect

Utworzenie z klienta QCG interaktywnej sesji w katalogu roboczym danego zadania.

...

Note

Podłączenie interaktywnej sesji do zadania możliwe jest tylko, gdy zdanie jest wykonywane (stan RUNNING).

qcg-info

Wyświetlenie szczegółowej informacji o danym zadaniu, lub zbiorze zadań.

...

Opcjonalny przełącznik -d/--description definiuje czy ma być wyświetlony opis z jakim zlecone zostało zadnie. Domyślnie opis nie jest wyświetlany.

qcg-interactive

Polecenie qcg-interactive zastąpione zostało przez qcg-sub wywołane z przełącznikiem -I.

Code Block
qcg-sub -I interactive.qcg

qcg-list

Wyświetlenie listy rezerwacji wraz z informacjami o nich.

...

qcg-list 
qcg-list -S 1d
qcg-list -s failed
qcg-list -S 1d -s all -R

qcg-peek

Podgląd plku wyjściowego zadania.

...

Code Block
qcg-peek J1363865127610__1345
qcg-peek -f output.txt J1363865127610__1345
qcg-peek -f output.txt -c 1000

qcg-proxy

Utworzenie certyfikatu proxy użytkownika.

Code Block
Create user proxy

usage: proxy_init [-h] [-v]

Options:
 -h,--help      display help message
 -v,--version   display version

qcg-

...

refetch

Ponowne pobrani plików wyjściowych aplikacjiAnulowanie rezerwacji zasobów.

Code Block
Cancel reservation(s)Refetch output files

usage: qcg-rcancelrefetch [-h] [-v]   RESID JOBID[RESID/TASKID] .[JOBID[/TASKID]] ...
usage: qcg-client cancelstage_reservationout [-h] [-v]   RESIDJOBID[/TASKID] [RESIDJOBID[/TASKID]] ...

Options:
 -h,--help      display help message
 -v,--version   display version

Arguments:
 RESIDJOBID  identifier of the reservation

Argumentem polecenia jest lista identyfikatorów rezerwacji.

Code Block
qcg-rcancel R1363180788689_RESERVATION_0172
qcg-rcancel R1363180788689_RESERVATION_0172 R1363252044299__9086

qcg-refetch

Ponowne pobrani plików wyjściowych aplikacji

Code Block
Refetch output files

usage: qcg-refetch [-h] [-v]   JOBID[/TASKID] [JOBID[/TASKID]] ...
usage: qcg-client stage_out [-h] [-v]   JOBID[/TASKID] [JOBID[/TASKID]] ...

Options:
 -h,--help      display help message
 -v,--version   display version

Arguments:
 JOBID  identifier of the job
 TASKID optional identifier of the task
                The default identifier of task is 'task'

Lista zadań podawana jest w formacie JOBID[/TASKID], gdzie JOBID to identyfikator eksperymentu zwrócony przez polecenia qcg-sub, TASKID to opcjonalny identyfikator zadania w ramach eksperymentu. W przypadku braku indentyfikatora przyjnowany jest domyślny - "task".

Zadania opisane przy pomocy formatu QCG-Simple nie wymagają podawania identyfikatora zadania, wystarczy tylko JOBID.

Code Block
qcg-refetch J1363865127610__1345
qcg-refetch J1363865127610__1345/task

qcg-reserve

Rezerwacja zasobów

job
 TASKID optional identifier of the task
                The default identifier of task is 'task'

Lista zadań podawana jest w formacie JOBID[/TASKID], gdzie JOBID to identyfikator eksperymentu zwrócony przez polecenia qcg-sub, TASKID to opcjonalny identyfikator zadania w ramach eksperymentu. W przypadku braku indentyfikatora przyjnowany jest domyślny - "task".

Zadania opisane przy pomocy formatu QCG-Simple nie wymagają podawania identyfikatora zadania, wystarczy tylko JOBID.

Code Block
qcg-refetch J1363865127610__1345
qcg-refetch J1363865127610__1345/task

 

qcg-sub

Zlecenie zadania do wykonania na infrastrukturze QCG zgodnie z podanym opisem.

Code Block
Submit job(s) to the QCG infrastructure

usage: qcg-sub [-h] [-I] [-J | -S | -X] [-R <NUMBER>]  [-v]   FILE [FILE] ...
usage: qcg-client submit_job [-h] [-I] [-J | -S | -X] [-R <NUMBER>]  [-v]   FILE [FILE] ...

Options:
 -h,--help              display help message
 -I,--interactive       Interactive mode
 -J,--jsdl              JSDL dialect
 -R,--repeat <NUMBER>   repeat submission (only for testing)
 -S,--simple            QCG Simple dialect
 -v,--version        
Code Block
Create reservation(s)

usage: qcg-reserve [-h] [-J | -S | -X]  [-v]   FILE [FILE] ...
usage: qcg-client create_reservation [-h] [-J | -S | -X]  [-v]   FILE [FILE] ...

Options:
 -h,--help      display help message
 -J,--jsdl      JSDL dialect
 -S,--simple    QCG Simple dialect
 -v,--version   display version
 -X,--xml               QCG XML dialect

Arguments:
 FILE   Path to file with job description

Jako argumenty polecenie przyjmuje listę scieżek do plików zawierających opisy zadań.

qsg-reserve sub akceptuje zadania opisane w jednym z nastepująch formatów: QCG-Simple (-S/--simple), QCG-JobProfile (-X/--xml) oraz JSDL (-J/--jsdl). Domyślnym formatem jest QCG-Simple (-S/--simple).

Zlecenie zadania interaktywnego wymaga podania przełącznika -I. W przypadku zlecenia zadania interaktywnego mozliwe jest podanie tylko jednego opisu zadania.

Przełącznik -R/--repeat umożliwia n-krotne zlecenie tego samego zadania w celach testowych (w przyszlości każde wywołanie będzie miało ustawioną zmienną środowiskową informującą o numerze iteracji).

Code Block
qcg-sub -S experiment.qcg
qcg-sub -S file1
Code Block
qcg-reserve experiment.qcg
qcg-reserve -S file1.qcg file2.qcg file3.qcg

 

qcg-rinfo

Wyświetlenie szczegółowej informacji o danej rezerwacji, lub zbiorze rezerwacji.

WAŻNE: Korzystając z polecenia qcg-sub można zlecić wykonanie dowolnej interaktywnej tekstowej aplikacji. Służy do tego przełącznik -I/--interactive.

Szczególnie częstym i użytecznym przypadkiem jest interaktywne uruchomienie konsoli poleceń umożliwiające np. kompilację oprogramowani na klastrze, do którego nie ma dostępu poprzez SSH.

W opisie zadania dla interaktywnego uruchomienia konsoli poleceń wystarczy podać nazwę klastra, na którym ma sie uruchomić konsola oraz podać scieżkę do preferowanego interpretera poleceń (np. bash).

Code Block
#QCG host=inula.man.poznan.pl

/bin/bash

W opisie zadania interaktywnego można korzystać również z innych dyrektyw QCG celem podania np. wymagań zasobowych dla zadania interaktywnego.

Code Block
qcg-sub -I interactive.qcg

 

Rezerwowanie zasobów i kontrola rezerwacji

qcg-rcancel

Anulowanie rezerwacji zasobów.

Code Block
Cancel reservation(s)

usage: qcg-rcancel [-h] [-v]   RESID [RESID] ...
usage: qcg-client cancel_reservation [-h] [-v]   RESID [RESID] ...

Options:
 -h,--help      display help message
 -v,--version   
Code Block
Display information about the given reservation(s)

usage: qcg-rinfo [-d] [-D] [-h] [-v]   RESID [RESID] ...
usage: qcg-client reservation_info [-d] [-D] [-h] [-v]   RESID [RESID] ...

Options:
 -d,--description       display user's job description
 -D,--qcg_description   display QCG job description
 -h,--help              display help message
 -v,--version           display version

Arguments:
 RESID  identifier of the reservation

Lista zadań podawana jest w formacie JOBID[/TASKID], gdzie JOBID to identyfikator eksperymentu zwrócony przez polecenia qcg-sub, TASKID to opcjonalny identyfikator zadania w ramach eksperymentu. W przypadku braku indentyfikatora przyjnowany jest domyślny - "task".

Zadania opisane przy pomocy formatu QCG-Simple nie wymagają podawania identyfikatora zadania, wystarczy tylko JOBID.

Opcjonalny przełącznik -d/--description definiuje czy ma być wyświetlony opis z jakim zlecone zostało zadnie. Domyślnie opis nie jest wyświetlany.

Przełącznik -D/--qcg_description definiuje czy ma być wyświetlony opis w formacie QCG JobProfile.

qcg-rlist

Wyświetlenie listy rezerwacji wraz z informacjami o nich.

Argumentem polecenia jest lista identyfikatorów rezerwacji.

Code Block
qcg-rcancel R1363180788689_RESERVATION_0172
qcg-rcancel R1363180788689_RESERVATION_0172 R1363252044299__9086

qcg-reserve

Rezerwacja zasobów

Code Block
Create reservation(s)

usage: qcg-reserve [-h] [-J | -S | -X]  [-v]   FILE [FILE] ...
usage: qcg-client create_reservation
Code Block
Display information about reservations

usage: qcg-rlist [-C <period>] [-h] [-nJ <NOTE>]| [-N]S | [-RX]  [-Sv] <period>] [-s <status(es)>] FILE [-v]
usage: qcg-client get_reservations [-C <period>] [-h] [-n <NOTE>] [-N] [-R] [-S <period>] [-s <status(es)>] [-v]

Options:
 -C,--changed <period>           FILE] ...

Options:
 -h,--help      display help message
 -J,--jsdl      JSDL dialect
 -S,--simple    QCG Simple dialect
 -v,--version   display version
 -X,--xml       QCG XML dialect

Arguments:
 FILE   Path to file changedwith in the period of time (not supported yet)
 -h,--help                                       display help message
 -n,--notejob description

Jako argumenty polecenie przyjmuje listę scieżek do plików zawierających opisy zadań.

qsg-reserve akceptuje zadania opisane w jednym z nastepująch formatów: QCG-Simple (-S/--simple), QCG-JobProfile (-X/--xml) oraz JSDL (-J/--jsdl). Domyślnym formatem jest QCG-Simple (-S/--simple).

Code Block
qcg-reserve experiment.qcg
qcg-reserve -S file1.qcg file2.qcg file3.qcg

qcg-rinfo

Wyświetlenie szczegółowej informacji o danej rezerwacji, lub zbiorze rezerwacji.

Code Block
Display information about the given reservation(s)

usage: qcg-rinfo [-d] [-D] [-h] [-v]   RESID [RESID] ...
usage: qcg-client reservation_info [-d] [-D] [-h] [-v]   RESID [RESID] ...

Options:
 -d,--description       display user's job   description
 -D,--qcg_description   display QCG job description
 -h,--help              display      list elements with the given notehelp message
 -Nv,--no-listversion           display version

Arguments:
 RESID  identifier of the reservation

Lista zadań podawana jest w formacie JOBID[/TASKID], gdzie JOBID to identyfikator eksperymentu zwrócony przez polecenia qcg-sub, TASKID to opcjonalny identyfikator zadania w ramach eksperymentu. W przypadku braku indentyfikatora przyjnowany jest domyślny - "task".

Zadania opisane przy pomocy formatu QCG-Simple nie wymagają podawania identyfikatora zadania, wystarczy tylko JOBID.

Opcjonalny przełącznik -d/--description definiuje czy ma być wyświetlony opis z jakim zlecone zostało zadnie. Domyślnie opis nie jest wyświetlany.

Przełącznik -D/--qcg_description definiuje czy ma być wyświetlony opis w formacie QCG JobProfile.

qcg-rlist

Wyświetlenie listy rezerwacji wraz z informacjami o nich.

Code Block
Display information about reservations

usage: qcg-rlist [-C <period>] [-h] [-n <NOTE>] [-N] [-R] [-S <period>] [-s <status(es)>] [-v]
usage: qcg-client get_reservations [-C <period>] [-h] [-n <NOTE>] [-N] [-R] [-S <period>] [-s <status(es)>] [-v]

Options:
 -C,--changed                   do not display list
 -R,--report                                     display summary report.
 -S,--submitted <period>                         submited  changed in the period of time. If(not the status issupported yet)
 -h,--help                                       display help message
 -n,--note      defined the default value of the period is 1 day.
 -s,--status <status(es)>                      list  status(es) ofelements with the job. Lack of this option is
                                                 equivalent to requesting unterminated activities.
 -v,--version                                    display version

Polecenie wyświetla listę rezerwacji użytkownika.

Opcja -C/--changed pozwala określić, że wyświetlone mają być rezerwacje, których status zmienił się w zadanym okresie czasu. W ciągu ostatnich „liczba” dni („d”), godzin („h”), minut („m”).

Opcja -S/--submitted pozwala określić, że wyświetlone mają być rezerwacje zlecone w zadanym okresie czasu. W ciągu ostatnich „liczba” dni („d”), godzin („h”), minut („m”).

Opcja -s/--status pozwala zawęzić listę wyświetlanych rezerwacji do tych w danym stanie. Możliwe jest podanie wielu stanów rozdzielonych przecinkiem.

Opcja -n/--note pozwala zawęzić listę rezerwacji do tych posiadających określony opis (note). Możliwe jest podanie wyrażenia zawierającego % oznaczający dowolny ciąg znaków (np. "eksperyment nr %").

Opcja -N/--no-list powoduje pominięcie wyświetlania listy rezerwacji. Stosowane w połączeniu z opcją -R do wyświetlania tylko statystyki.

Opcja -R/--report powoduje wyświetlenie statystyki rezerwacji.

 

Statusy rezerwacji:

  • SUBMITTED - rezerwacje zlecona do wykonania,
  • RESERVED - zasoby zarezerwowane, rezerwacja nieaktywna,
  • ACTIVE - rezerwacja aktywna,
  • FINISHED - rezerwacja zakończona,
  • FAILED - rezerwacja zakońzona niepowodzeniem,
  • CANCELED - rezerwacja anulowana.

Dla wygody użytkowników zamiast listy stanów możliwe jest podanie zdefiniowanych stałych:

  • all - rezerwacje we wszystkich stanach,
  • terminated - rezerwacje w stanach końcowych (FINISHED,FAILED,CANCELED)
  • unterminated - rezerwacje niezakończone (SUBMITTED,ACTIVE,RESERVED).

Przełącznik -R włacza wyświetlenie reportu przedstawiającego liczbę rezerwacji w każdym stanie.

Code Block
qcg-rlist 
qcg-rlist -S 1d
qcg-rlist -s failed
qcg-rlist -S 1d -s all -R

qcg-sub

Zlecenie zadania do wykonania na infrastrukturze QCG zgodnie z podanym opisem.

Code Block
Submit job(s) to the QCG infrastructure

usage: qcg-sub [-h] [-I] [-J | -S | -X] [-R <NUMBER>]  [-v]   FILE [FILE] ...
usage: qcg-client submit_job [-h] [-I] [-J | -S | -X] [-R <NUMBER>]  [-v]   FILE [FILE] ...

Options:
 -h,--helpgiven note
 -N,--no-list                                    do not display list
 -R,--report                                     display summary report.
 -S,--submitted <period>                         submited in the period of time. If the status is
                                                 defined the default value of the period is 1 day.
 -s,--status <status(es)>                        status(es) of the job. Lack of displaythis helpoption messageis
 -I,--interactive           Interactive mode
 -J,--jsdl              JSDL dialect
 -R,--repeat <NUMBER>   repeat submission (only for testing)
 -S,--simple          equivalent to QCGrequesting Simpleunterminated dialectactivities.
 -v,--version           display version
 -X,--xml               QCG XML dialect

Arguments:
 FILE   Path to file with jobdisplay description

Jako argumenty polecenie przyjmuje listę scieżek do plików zawierających opisy zadań.

qsg-sub akceptuje zadania opisane w jednym z nastepująch formatów: QCG-Simple (-S/--simple), QCG-JobProfile (-X/--xml) oraz JSDL (-J/--jsdl). Domyślnym formatem jest QCG-Simple (-S/--simple).

Zlecenie zadania interaktywnego wymaga podania przełącznika -I. W przypadku zlecenia zadania interaktywnego mozliwe jest podanie tylko jednego opisu zadania.

Przełącznik -R/--repeat umożliwia n-krotne zlecenie tego samego zadania w celach testowych (w przyszlości każde wywołanie będzie miało ustawioną zmienną środowiskową informującą o numerze iteracji).

Code Block
qcg-sub -S experiment.qcg
qcg-sub -S file1.qcg file2.qcg file3.qcg

 

WAŻNE: Korzystając z polecenia qcg-sub można zlecić wykonanie dowolnej interaktywnej tekstowej aplikacji. Służy do tego przełącznik -I/--interactive.

Szczególnie częstym i użytecznym przypadkiem jest interaktywne uruchomienie konsoli poleceń umożliwiające np. kompilację oprogramowani na klastrze, do którego nie ma dostępu poprzez SSH.

W opisie zadania dla interaktywnego uruchomienia konsoli poleceń wystarczy podać nazwę klastra, na którym ma sie uruchomić konsola oraz podać scieżkę do preferowanego interpretera poleceń (np. bash).

Code Block
#QCG host=inula.man.poznan.pl

/bin/bash

W opisie zadania interaktywnego można korzystać również z innych dyrektyw QCG celem podania np. wymagań zasobowych dla zadania interaktywnego.

version

Polecenie wyświetla listę rezerwacji użytkownika.

Opcja -C/--changed pozwala określić, że wyświetlone mają być rezerwacje, których status zmienił się w zadanym okresie czasu. W ciągu ostatnich „liczba” dni („d”), godzin („h”), minut („m”).

Opcja -S/--submitted pozwala określić, że wyświetlone mają być rezerwacje zlecone w zadanym okresie czasu. W ciągu ostatnich „liczba” dni („d”), godzin („h”), minut („m”).

Opcja -s/--status pozwala zawęzić listę wyświetlanych rezerwacji do tych w danym stanie. Możliwe jest podanie wielu stanów rozdzielonych przecinkiem.

Opcja -n/--note pozwala zawęzić listę rezerwacji do tych posiadających określony opis (note). Możliwe jest podanie wyrażenia zawierającego % oznaczający dowolny ciąg znaków (np. "eksperyment nr %").

Opcja -N/--no-list powoduje pominięcie wyświetlania listy rezerwacji. Stosowane w połączeniu z opcją -R do wyświetlania tylko statystyki.

Opcja -R/--report powoduje wyświetlenie statystyki rezerwacji.

 

Statusy rezerwacji:

  • SUBMITTED - rezerwacje zlecona do wykonania,
  • RESERVED - zasoby zarezerwowane, rezerwacja nieaktywna,
  • ACTIVE - rezerwacja aktywna,
  • FINISHED - rezerwacja zakończona,
  • FAILED - rezerwacja zakońzona niepowodzeniem,
  • CANCELED - rezerwacja anulowana.

Dla wygody użytkowników zamiast listy stanów możliwe jest podanie zdefiniowanych stałych:

  • all - rezerwacje we wszystkich stanach,
  • terminated - rezerwacje w stanach końcowych (FINISHED,FAILED,CANCELED)
  • unterminated - rezerwacje niezakończone (SUBMITTED,ACTIVE,RESERVED).

Przełącznik -R włacza wyświetlenie reportu przedstawiającego liczbę rezerwacji w każdym stanie.

Code Block
qcg-rlist 
qcg-rlist -S 1d
qcg-rlist -s failed
qcg-rlist -S 1d -s all -R
Code Block
qcg-sub -I interactive.qcg