• Created by Unknown User (plgpiontek), last modified on Mar 21, 2013

You are viewing an old version of this page. View the current version.

Compare with Current View Page History

« Previous Version 14 Next »


QCG-SimpleClient oferuje prosty, wzorowany na poleceniech systemu kolejkowego, interfejs do infrastruktury QCG.

Polecenia

  • qcg-cancel - anulowanie zadania
  • qcg-clean - usunięcie katalogu roboczego zadnia
  • qcg-connect - interaktywne "podłączenie" się do działającego zadania
  • qcg-info - wyświetlenie szczegółowej informacji o danym zadaniu
  • qcg-interactive - zlecenie zadania interaktywnego
  • qcg-list - wyświetlenie listy zleconych zadań wraz z informacjami o nich
  • qcg-peek - podgląd wyjścia (stdout, stderr) aplikacji
  • qcg-proxy - utworzenie certyfikatu proxy użytkownika
  • qcg-rcancel - anulowanie rezerwacji
  • qcg-refetch - ponowne skopiowanie plików wynikowych zadania
  • qcg-reserve - rezerwacja zasobów
  • qcg-rinfo - wyświetlenie szczegółowej informacji o rezerwacji
  • qcg-rlist - wyświetlenie listy rezerwacji wraz z informacjami o nich
  • qcg-sub - zlecenie zadania do wykonania na infrastrukturze QCG zgodnie z uproszczonym opisem

Składnia poleceń


Wszystkie polecenia qcg-* wywołane z przełącznikiem h/-help wyświetlają informacje o sposobie ich użycia.


qcg-<command> -h
qcg-<command> --help

qcg-cancel

Anulowanie zadania

Cancel task(s)

usage: qcg-cancel [-h] [-v]   JOBID[/TASKID] [JOBID[/TASKID]] ...
usage: qcg-client cancel_task [-h] [-v]   JOBID[/TASKID] [JOBID[/TASKID]] ...

Options:
 -h,--help      display help message
 -v,--version   display version

Arguments:
 JOBID  identifier of the job
 TASKID optional identifier of the task
        The default identifier of task is 'task'

Polecenie umożliwia annulowanie listy zadań.

Lista zadań podawana jest w formacie JOBID[/TASKID], gdzie JOBID to identyfikator eksperymentu zwrócony przez polecenia qcg-sub, TASKID to opcjonalny identyfikator zadania w ramach eksperymentu. W przypadku braku indentyfikatora przyjnowany jest domyślny - "task".

Zadania opisane przy pomocy formatu QCG-Simple nie wymagają podawania identyfikatora zadania, wystarczy tylko JOBID.

qcg-cancel J1363865127610__1345
qcg-cancel J1363865127610__1345/task
qcg-cancel J1363865127610__1345 J1363865128119__5737

qcg-clean

Usunięcie katalogu roboczego zadnia, lub grupy zadań.

Clean task(s). Remove working directory

usage: qcg-clean [-h] [-v]   JOBID[/TASKID] [JOBID[/TASKID]] ...
usage: qcg-client clean_task [-h] [-v]   JOBID[/TASKID] [JOBID[/TASKID]] ...

Options:
 -h,--help      display help message
 -v,--version   display version

Arguments:
 JOBID  identifier of the job
 TASKID optional identifier of the task
                The default identifier of task is 'task'

Lista zadań podawana jest w formacie JOBID[/TASKID], gdzie JOBID to identyfikator eksperymentu zwrócony przez polecenia qcg-sub, TASKID to opcjonalny identyfikator zadania w ramach eksperymentu. W przypadku braku indentyfikatora przyjnowany jest domyślny - "task".

Zadania opisane przy pomocy formatu QCG-Simple nie wymagają podawania identyfikatora zadania, wystarczy tylko JOBID.

qcg-clean J1363865127610__1345
qcg-clean J1363865127610__1345/task
qcg-clean J1363865127610__1345 J1363865128119__5737

 
qcg-connect

Utworzenie z klienta QCG interaktywnej sesji w katalogu roboczym danego zadania.

Connect to the task. Open interactive terminal in the working directory of the task

usage: qcg-connect [-h] [-v]   JOBID[/TASKID]
usage: qcg-client connect_to_tasks [-h] [-v]   JOBID[/TASKID]

Options:
 -h,--help      display help message
 -v,--version   display version

Arguments:
 JOBID  identifier of the job
 TASKID optional identifier of the task
                The default identifier of task is 'task'

Identyfikator podawany jest w formacie JOBID[/TASKID], gdzie JOBID to identyfikator eksperymentu zwrócony przez polecenia qcg-sub, TASKID to opcjonalny identyfikator zadania w ramach eksperymentu. W przypadku braku indentyfikatora przyjmowany jest domyślny - "task".

Zadania opisane przy pomocy formatu QCG-Simple nie wymagają podawania identyfikatora zadania, wystarczy tylko JOBID.

qcg-connect J1363865127610__1345
qcg-connect J1363865127610__1345/task

Podłączenie interaktywnej sesji do zadania możliwe jest tylko, gdy zdanie jest wykonywane (stan RUNNING).

qcg-info

Wyświetlenie szczegółowej informacji o danym zadaniu, lub zbiorze zadań.

Display information about task(s)

usage: qcg-info [-d] [-h] [-v]   JOBID[/TASKID] [JOBID[/TASKID]] ...
usage: qcg-client task_info [-d] [-h] [-v]   JOBID[/TASKID] [JOBID[/TASKID]] ...

Options:
 -d,--description   display user's job description
 -h,--help          display help message
 -v,--version       display version

Arguments:
 JOBID  identifier of the job
 TASKID optional identifier of the task
                The default identifier of task is 'task'

Lista zadań podawana jest w formacie JOBID[/TASKID], gdzie JOBID to identyfikator eksperymentu zwrócony przez polecenia qcg-sub, TASKID to opcjonalny identyfikator zadania w ramach eksperymentu. W przypadku braku indentyfikatora przyjnowany jest domyślny - "task".

Zadania opisane przy pomocy formatu QCG-Simple nie wymagają podawania identyfikatora zadania, wystarczy tylko JOBID.

Opcjonalny przełącznik -d definiuje czy ma być wyświetlony opis z jakim zlecone zostało zadnie. Domyślnie opis nie jest wyświetlany.

qcg-interactive

Polecnie qcg-interactive zastąpione zostało przez polecnie qcg-sub wywołane z przełącznikiem -I.

qcg-sub -I interactive.qcg

qcg-list

Wyświetlenie listy zleconych zadań wraz z informacjami o nich.

Display information about tasks
usage: qcg-list [-h] [-R <NO_LIST>] [-S <period>] [-s <status(es)>] [-v]
usage: qcg-client get_tasks [-h] [-R <NO_LIST>] [-S <period>] [-s <status(es)>] [-v]
Options:
 -h,--help                  display help message
 -R,--report <NO_LIST>      display summary report. Set the optional NO_LIST argument to TRUE to
                            omit the list.
 -S,--submitted <period>    submited in the period of time. If the status is defined the default
                            value of the period is 1 day.
 -s,--status <status(es)>   status(es) of the job. Lack of this option is equivalent to requesting
                            unterminated activities.
 -v,--version               display version

Polecenie wyświetla listę zadań użytkownika.

Opcja -S pozwala okreslic, że wyświetlone mają być zdania zlecone w zadanym okresie czasu. W ciągu ostatnich „liczba” dni („d”), godzin („h”), minut („m”).

Opcja -s pozwala zawęzić listę wyświetlanych zadań do zadań w danym stanie. Możliwe jest podanie wielu stanów rozdzielonych przecinkiem.

Statusy zadań:

  • UNSUBMITTED – przetwarzanie zadania wstrzymane z powodu zależności kolejnościowych,
  • UNCOMMITED - zadanie oczekuje na zatwierdzenie do przetwarzania,
  • QUEUED – zadanie oczekuje w kolejce na przetwarzanie,
  • PREPROCESSING – system przygotowuje środowisko uruchomieniowe dla zadania,
  • PENDING – aplikacja w ramach danego zadania oczekuje na wykonanie w systemie kolejkowym,
  • RUNNING – aplikacja użytkownika jest wykonywana w ramach zadania,
  • STOPPED – aplikacja została zakończona, system nie rozpoczął jeszcze czynności związanych z kopiowaniem wyników i czyszczeniem środowiska wykonawczego,
  • POSTPROCESSING – system wykonuje akcje mające na calu zakończenie zadania: kopiuje pliki/katalogi wynikowe, czyści środowisko wykonawcze, etc.,
  • FINISHED – zadanie zostało zakończone,
  • FAILED – błąd przetwarzania zadania,
  • CANCELED – zadanie anulowane przez użytkownika.

Dla wygody użytkowników zamiast listy stanów możliwe jest podanie zdefiniowanych stałych:

  • all - zadania we wszystkich stanach,
  • terminated - zadania zakończone (FINISHED,FAILED,CANCELED)
  • unterminated - zadania niezakończone (UNSUBMITED,UNCOMMITED,QUEUED,PREPROCESSING,PENDING,RUNNING,STOPPED,POSTPROCESSING).

Przełącznik -R włacza wyświetlenie reportu przedstawiającego liczbę zadań w każdym stanie.

qcg-list 
qcg-list -S 1d
qcg-list -s failed
qcg-list -S 1d -s all -R

qcg-peek

 

Podgląd plku wyjściowego zadania.

Peek the output file(s)

usage: qcg-peek [-c <NUMBER>] [-f <FILE>] [-h] [-v]   JOBID[/TASKID] [JOBID[/TASKID]] ...
usage: qcg-client peek_output [-c <NUMBER>] [-f <FILE>] [-h] [-v]   JOBID[/TASKID] [JOBID[/TASKID]] ...

Options:
 -c,--characters <NUMBER>   number of characters
 -f,--file <FILE>           file to peek
 -h,--help                  display help message
 -v,--version               display version

Arguments:
 JOBID  identifier of the job
 TASKID optional identifier of the task
                The default identifier of task is 'task'

Polecenie umożliwią podgląd pliku wyjściowego dla zadania, lub sbioru zadań.

Lista zadań podawana jest w formacie JOBID[/TASKID], gdzie JOBID to identyfikator eksperymentu zwrócony przez polecenia qcg-sub, TASKID to opcjonalny identyfikator zadania w ramach eksperymentu. W przypadku braku indentyfikatora przyjnowany jest domyślny - "task".

Zadania opisane przy pomocy formatu QCG-Simple nie wymagają podawania identyfikatora zadania, wystarczy tylko JOBID.

Opcjonalny przełącznik -f definiuje plik do podejrzenia. Lokalizacja brana jest względem katalogu roboczego zadania. Domyślnie polecenie pozwala wyświtlić zawartość stdout i stderr.

Opcjonalny przełacznik -c pozwala określić liczbę znaków jaka ma być wyświetlona.

qcg-peek J1363865127610__1345
qcg-peek -f output.txt J1363865127610__1345
qcg-peek -f output.txt -c 1000

qcg-proxy

Utworzenie certyfikatu proxy użytkownika.

Create user proxy

usage: proxy_init [-h] [-v]

Options:
 -h,--help      display help message
 -v,--version   display version

 

qcg-rcancel

Anulowanie rezerwacji zasobów.

Cancel reservation(s)

usage: qcg-rcancel [-h] [-v]   RESID [RESID] ...
usage: qcg-client cancel_reservation [-h] [-v]   RESID [RESID] ...

Options:
 -h,--help      display help message
 -v,--version   display version

Arguments:
 RESID  identifier of the reservation

Argumentem polecenia jest lista identyfikatorów rezerwacji.

qcg-rcancel R1363180788689_RESERVATION_0172
qcg-rcancel R1363180788689_RESERVATION_0172 R1363252044299__9086

 

qcg-refetch

 

 

 

 

 

 

 

 

 

 

 

qcg-sub

 

Zlecenie zadania do wykonania na infrastrukturze QCG zgodnie z podanym opisem.

 

Submit job(s) to the QCG infrastructure

usage: qcg-sub [-h] [-I] [-J | -S | -X] [-R <NUMBER>]  [-v]   FILE [FILE] ...
usage: qcg-client submit_job [-h] [-I] [-J | -S | -X] [-R <NUMBER>]  [-v]   FILE [FILE] ...

Options:
 -h,--help              display help message
 -I,--interactive       Interactive mode
 -J,--jsdl              JSDL dialect
 -R,--repeat <NUMBER>   repeat submission (only for testing)
 -S,--simple            QCG Simple dialect
 -v,--version           display version
 -X,--xml               QCG XML dialect

Arguments:
 FILE   Path to file with job description

 

Jako argumenty polecenie przyjmuje listę scieżek do plików zawierających opisy zadań.

qsg-sub akceptuje zadania opisane w jednym z nastepująch formatów: QCG-Simple (-S), QCG-JobProfile (-X) oraz JSDL (-J). Domyślnym formatem jest QCG-Simple (-S).

Zlecenie zadania interaktywnego wymaga podania przełącznika -I. W przypadku zlecenia zadania interaktywnego mozliwe jest podanie tylko jednego opisu zadania.

Przełącznik R umożliwia n-krotne zlecenie tego samego zadania w celach testowych (w przyszlości każde wywołanie będzie miało ustawioną zmienną środowiskową informującą o numerze iteracji).

 

qcg-sub -S experiment.qcg
qcg-sub -S file1.qcg file2.qcg file3.qcg

Korzystając z polecenia qcg-sub można zlecić wykonanie dowolnej interaktywnej tekstowej aplikacji.

Szczególnie częstym i użytecznym przypadkiem jest interaktywne uruchomienie konsoli poleceń umożliwiające np. kompilację oprogramowani na klastrze, do którego nie ma dostępu poprzez SSH.

W opisie zadania dla interaktywnego uruchomienia konsoli poleceń wystarczy podać nazwę klastra, na którym ma sie uruchomić konsola oraz podać scieżkę do preferowanego interpretera poleceń (np. bash).

#QCG host=inula.man.poznan.pl

/bin/bash

W opisie zadania interaktywnego można korzystać również z innych dyrektyw QCG celem podania np. wymagań zasobowych dla zadania interaktywnego.

qcg-sub -I interactive.qcg

 

 

 

 

 

 

 

 

 

qcg-peek

 

 

 

 

 

 

qcg-refetch jobId

Ponowne skopiowanie plików wynikowych zadania.
jobId - identyfikator eksperymentu

  qcg-refetch J1331196390748_date_3099

 

 

  • No labels