Date: Thu, 28 Mar 2024 23:37:12 +0100 (CET) Message-ID: <1243701122.1145.1711665432798@plg-s04> Subject: Exported From Confluence MIME-Version: 1.0 Content-Type: multipart/related; boundary="----=_Part_1144_130484123.1711665432797" ------=_Part_1144_130484123.1711665432797 Content-Type: text/html; charset=UTF-8 Content-Transfer-Encoding: quoted-printable Content-Location: file:///C:/exported.html
QCG Simple jest zbiorem prostych narz=C4=99dzi wzorowanych na p= oleceniach system=C3=B3w kolejkowych umo=C5=BCliwiaj=C4=85cych zlecanie i k= ontrolowanie zada=C5=84 w infrastrukturze PL Grid.
Rozdzia=C5=82 ten przedstawia dwa typowe scenariusze u=C5=BCycia= us=C5=82ug i narz=C4=99dzi QCG: zlecanie zada=C5=84 i rezerwowanie zasob= =C3=B3w.
Pe=C5=82na lista polece=C5=84 wraz z om=C3=B3wieniem znajduje si=
=C4=99 w osobnym rozdziale: "Polecenia qcg-*".
=
strong>
Ka=C5=BCde z zada=C5=84 opisywane jest przy pomocy wykonywalnego pliku t= ekstowego zawieraj=C4=85cego dyrektywy QCG.
Dyrektywy QCG maj=C4=85 charakter informacyjny dla systemu i dostarczaj= =C4=85 informacji jak przygotowa=C4=87 =C5=9Brodowisko wykonania dla danego= zadania (pliki wej=C5=9Bciowe/wyj=C5=9Bciowe) oraz jakie s=C4=85 preferenc= je/wymagania zasobowe.
Najprostszym plikiem zadania jest plik zawieraj=C4=85cy tylko informacje= jak uruchomi=C4=87 dan=C4=85 aplikacj=C4=99:
#!/bin/bash date
W wi=C4=99kszo=C5=9Bci przypadk=C3=B3w zadanie wymaga przekazanie do sys= temu dodatkowych informacji dotycz=C4=85cych konfiguracji =C5=9Brodowiska w= ykonawczego b=C4=85d=C5=BA wymaga=C5=84 zasobowych.
Przekazanie tych informacji polega na umieszczeniu w pliku odpowiednich = dyrektyw. Dyrektywy zaczynaj=C4=85 si=C4=99 od sekwencji "#QCG", po kt=C3= =B3rej nast=C4=99puje nazwa dyrektywy i opcjonalne parametry.
host - wyb=C3=B3r klastra dla zadania. Lista zasob=C3=B3w infrastru= ktury PL-Grid dost=C4=99pnych z us=C5=82ug QCG.
Format opisu zada=C5=84 wraz z pe=C5=82na lis= t=C4=85 dyrektyw QCG
#!/bin/bash= =20 #QCG host=3Dzeus #QCG queue=3Dplgrid #QCG walltime=3DPT5M #QCG output=3D${JOB_ID}.output #QCG error=3D${JOB_ID}.error #QCG stage-in-file=3Dinput.txt -> lower.txt cat lower.txt | tr "[:lower:]" "[:upper:]" > upper.txt echo "Liczba znakow: " `wc -m upper.txt` sleep 120 echo "Koniec: " `date` #QCG stage-out-file=3Dupper.txt -> ${JOB_ID}.upper
Do zlecenia zadania do wykonania w infrastrukturze PL-Grid s=C5=82u=C5= =BCy polecenie qcg-sub.
Poni=C5=BCszy przyk=C5=82ad demonstruje zlecenie przyk=C5=82adowego opis= u zadania przedstawionego powy=C5=BCej.
Zadanie to zak=C5=82ada istnienie w katalogu, z kt=C3=B3rego jest zlecan= e pliku tekstowego "input.txt".
echo "QosCos= Grid - PLGrid" > input.txt
[qcg] /home/= plgrid/plgpiontek/reef/SANDBOX/podrecznik > qcg-sub ./task.qcg=20 https://qcg-broker.man.poznan.pl:8443/qcg/services/ /C=3DPL/O=3DGRID/O=3DPSNC/CN=3Dqcg-broker/qcg-broker.man.poznan.pl UserDN =3D /C=3DPL/O=3DGRID/O=3DPSNC/CN=3DTomasz Piontek ProxyLifetime =3D 20 Days 23 Hours 51 Minutes 42 Seconds ./task.qcg 0 jobId =3D J1366118276402__1967
W przypadku poprawnego zlecenia zadania polecenie qcg-sub wy=C5=9Bwietla= unikalny identyfikator zadania.
Klient QCG umo=C5=BCliwia wy=C5=9Bwietlenie zbiorczej informacji o zadan=
iach w systemie (polecenie
[qcg] /home/= plgrid/plgpiontek/reef/SANDBOX/podrecznik > qcg-list https://qcg-broker.man.poznan.pl:8443/qcg/services/ /C=3DPL/O=3DGRID/O=3DPSNC/CN=3Dqcg-broker/qcg-broker.man.poznan.pl UserDN =3D /C=3DPL/O=3DGRID/O=3DPSNC/CN=3DTomasz Piontek ProxyLifetime =3D 20 Days 23 Hours 50 Minutes 37 Seconds JOB IDENTIFIER NOTE SUBMISSION TIME START TIME = FINISH TIME STATUS HOSTNAME FLAGS STATUS DESC J1366116999098__3947 16.04.13 14:56 = PREPROCESSING zeus S P =20 J1366117507381_sleep_* 16.04.13 15:05 16.04.13 15:= 05 16.04.13 15:08 POSTPROCESSING inula S UP =20 J1366117620524__4937 16.04.13 15:07 = PREPROCESSING zeus S P =20 J1366117625734__7230 16.04.13 15:07 = PREPROCESSING zeus S P =20 J1366117632131__3040 16.04.13 15:07 = PREPROCESSING zeus S P =20 J1366117771897__7250 16.04.13 15:09 16.04.13 15:= 09 RUNNING reef S UP =20 J1366117777175__2068 16.04.13 15:09 16.04.13 15:= 09 RUNNING reef S UP =20 J1366117818062__1298 16.04.13 15:10 16.04.13 15:= 10 RUNNING reef S UP =20 J1366118276402__1967 16.04.13 15:17 16.04.13 15:= 18 RUNNING reef S UP =20 IMPORTANT: * - the string was truncated to the width of the column List of truncated job identifiers: J1366117507381_sleep_7540 Number of tasks: POSTPROCESSING : 1 PREPROCESSING : 4 RUNNING : 4 TOTAL: 9
[qcg] /home/= plgrid/plgpiontek/reef/SANDBOX/podrecznik > qcg-info J1366118276402__196= 7 https://elder13.man.poznan.pl:8443/qcg/services/ /C=3DPL/O=3DGRID/O=3DPSNC/CN=3Dqcg-broker/qcg-broker.man.poznan.pl /home/plgrid/plgpiontek/reef/.qcg UserDN =3D /C=3DPL/O=3DGRID/O=3DPSNC/CN=3DTomasz Piontek ProxyLifetime =3D 23 Days 21 Hours 18 Minutes 24 Seconds J1366118276402__1967 :=20 Note:=20 UserDN: /C=3DPL/O=3DGRID/O=3DPSNC/CN=3DTomasz Piontek TaskType: SINGLE SubmissionTime: Tue Apr 16 15:17:56 CEST 2013 FinishTime:=20 ProxyLifetime: P23DT21H18M22S Status: RUNNING StatusDesc:=20 StartTime: Tue Apr 16 15:17:57 CEST 2013 Purged: false Allocation:=20 HostName: reef.man.poznan.pl ProcessesCount: 1 ProcessesGroupId:=20 Status: RUNNING StatusDescription:=20 SubmissionTime: Tue Apr 16 15:17:56 CEST 2013 FinishTime:=20 LocalSubmissionTime: Tue Apr 16 15:17:58 CEST 2013 LocalStartTime: Tue Apr 16 15:18:08 CEST 2013 LocalFinishTime:=20 Purged: false
Po zako=C5=84czeniu zadania (stan FINISHED) w katalogu, z kt=C3=B3rego z= lecano zadanie dost=C4=99pne b=C4=99d=C4=85 pliki: J1366118276402__1967.out= put J1366118276402__1967.upper
[qcg] /home/= plgrid/plgpiontek/reef/SANDBOX/podrecznik > cat J1366118276402__1967.out= put=20 Liczba znakow: 20 upper.txt Koniec: Tue Apr 16 15:20:05 CEST 2013
[qcg] /home/= plgrid/plgpiontek/reef/SANDBOX/podrecznik > cat J1366118276402__1967.upp= er=20 QOSCOSGRID - PLGRID [qcg] /home/plgrid/plgpiontek/reef/SANDBOX/podrecznik >
Do anulowania wykonywania zadania s=C5=82u=C5=BCy polecenie qcg-cancel.
[qcg] /home/= plgrid/plgpiontek/reef/SANDBOX/podrecznik > qcg-sub task.qcg=20 https://qcg-broker.man.poznan.pl:8443/qcg/services/ /C=3DPL/O=3DGRID/O=3DPSNC/CN=3Dqcg-broker/qcg-broker.man.poznan.pl UserDN =3D /C=3DPL/O=3DGRID/O=3DPSNC/CN=3DTomasz Piontek ProxyLifetime =3D 20 Days 23 Hours 3 Minutes 15 Seconds ./task.qcg 0 jobId =3D J1366118576954__0116
[qcg] /home/= plgrid/plgpiontek/reef/SANDBOX/podrecznik > qcg-list https://qcg-broker.man.poznan.pl:8443/qcg/services/ /C=3DPL/O=3DGRID/O=3DPSNC/CN=3Dqcg-broker/qcg-broker.man.poznan.pl UserDN =3D /C=3DPL/O=3DGRID/O=3DPSNC/CN=3DTomasz Piontek ProxyLifetime =3D 20 Days 23 Hours 1 Minutes 27 Seconds JOB IDENTIFIER NOTE SUBMISSION TIME START TIME = FINISH TIME STATUS HOSTNAME FLAGS STATUS DESC J1366118576954__0116 16.04.13 15:22 16.04.13 15:= 23 RUNNING reef S UP =20 Number of tasks: RUNNING : 1 TOTAL: 1
[qcg] /home/= plgrid/plgpiontek/reef/SANDBOX/podrecznik > qcg-cancel J1366118576954__0= 116 https://qcg-broker.man.poznan.pl:8443/qcg/services/ /C=3DPL/O=3DGRID/O=3DPSNC/CN=3Dqcg-broker/qcg-broker.man.poznan.pl UserDN =3D /C=3DPL/O=3DGRID/O=3DPSNC/CN=3DTomasz Piontek ProxyLifetime =3D 20 Days 23 Hours 0 Minutes 13 Seconds Job is being canceled
[qcg] /home/= plgrid/plgpiontek/reef/SANDBOX/podrecznik > qcg-list -C 10m -s canceled = -R https://qcg-broker.man.poznan.pl:8443/qcg/services/ /C=3DPL/O=3DGRID/O=3DPSNC/CN=3Dqcg-broker/qcg-broker.man.poznan.pl /home/plgrid/plgpiontek/reef/.qcg UserDN =3D /C=3DPL/O=3DGRID/O=3DPSNC/CN=3DTomasz Piontek ProxyLifetime =3D 23 Days 21 Hours 13 Minutes 19 Seconds JOB IDENTIFIER NOTE SUBMISSION TIME START TIME = FINISH TIME STATUS HOSTNAME FLAGS STATUS DESC J1366118576954__0116 16.04.13 15:22 16.04.13 15:= 23 16.04.13 15:23 CANCELED reef S P =20 Number of tasks: CANCELED : 1 TOTAL: 1
W przypadku zada=C5=84 wymagaj=C4=85cych interakcji z u=C5=BCytkownikiem= , b=C4=85d=C5=BA na etapie kompilacji lub testowania kodu cz=C4=99sto przyd= atne lub wr=C4=99cz konieczne jest uruchomienie zadnia interaktywnego.
Do zlecenia zadnia interaktywnego s=C5=82u=C5=BCy polecenie qcg-sub z pr= ze=C5=82=C4=85cznikiem "-I/=E2=80=93interactive".
Korzystaj=C4=85c z polecenia qcg-sub mo=C5=BCna zleci=C4=87 wykonanie do= wolnej interaktywnej tekstowej aplikacji.
Szczeg=C3=B3lnie cz=C4=99stym i u=C5=BCytecznym przypadkiem jest interak= tywne uruchomienie konsoli polece=C5=84 umo=C5=BCliwiaj=C4=85ce np. kompila= cj=C4=99 oprogramowani na klastrze, do kt=C3=B3rego nie ma dost=C4=99pu pop= rzez SSH.
W opisie zadania dla interaktywnego uruchomienia konsoli polece=C5=84 wy= starczy poda=C4=87 nazw=C4=99 klastra, na kt=C3=B3rym ma si=C4=99 uruchomi= =C4=87 konsola oraz poda=C4=87 =C5=9Bcie=C5=BCk=C4=99 do preferowanego inte= rpretera polece=C5=84 (np. bash).
#QCG host=3D= inula.man.poznan.pl =20 /bin/bash
W opisie zadania interaktywnego mo=C5=BCliwe jest podanie wymaga=C5=84 z= asobowych (dyrektywy procs i nodes).
Opis zadania inula.qcg
#!/bin/bash #QCG host=3Dinula #QCG procs=3D12 /bin/bash
Zlecenie zadnia interaktywnego i wy=C5=9Bwietlenie listy w=C4=99z=C5=82= =C3=B3w z przydzielonymi slotami obliczeniowymi (12).
[qcg] /home/= plgrid/plgpiontek/reef/INTERACTIVE > qcg-sub -I inula.qcg=20 https://qcg-broker.man.poznan.pl:8443/qcg/services/ /C=3DPL/O=3DGRID/O=3DPSNC/CN=3Dqcg-broker/qcg-broker.man.poznan.pl UserDN =3D /C=3DPL/O=3DGRID/O=3DPSNC/CN=3DTomasz Piontek ProxyLifetime =3D 20 Days 22 Hours 40 Minutes 57 Seconds inula.qcg 0 jobId =3D J1364246860791__3941 Press Ctrl-C to cancel the task Interactive session started. Use the 'exit' command to quit. plgpiontek@c011:/mnt/lustre/inula/qcg/plgpiontek/J1364246860791__3941_task_= 1364246861194_441$ cat $PBS_NODEFILE c011 c011 c011 c011 c011 c011 c011 c011 c011 c011 c024 c024 plgpiontek@c011:/mnt/lustre/inula/qcg/plgpiontek/J1364246860791__3941_task_= 1364246861194_441$ exit exit [qcg] /home/plgrid/plgpiontek/reef/INTERACTIVE >
Zlecaj=C4=85c zadanie istnieje mo=C5=BCliwo=C5=9B=C4=87 podania, =C5=BCe= dla danego zadania maj=C4=85 zosta=C4=87 zarezerwowane zasoby. Rezerwacja = taka skojarzona jest z konkretnym zadaniem i zostanie automatycznie usuni= =C4=99ta wraz z jego zako=C5=84czeniem. U=C5=BCytkownik na etapie zlecania = zadania mo=C5=BCe poda=C4=87 wymagania czasowe na wykonanie zadania a syste= m przez mechanizm rezerwacji zasob=C3=B3w gwarantuje wykonanie zadania w ok= re=C5=9Blonym czasie i co najwa=C5=BCniejsze znanym czasie.
#QCG host=3D= inula #QCG walltime=3DPT10M #QCG use-reservation hostname
Zlecenie zadania:
[qcg] /home/= plgrid/plgpiontek/reef/REZERWACJE > qcg-sub reserve.qcg=20 https://qcg-broker.man.poznan.pl:8443/qcg/services/ /C=3DPL/O=3DGRID/O=3DPSNC/CN=3Dqcg-broker/qcg-broker.man.poznan.pl UserDN =3D /C=3DPL/O=3DGRID/O=3DPSNC/CN=3DTomasz Piontek ProxyLifetime =3D 24 Days 18 Hours 14 Minutes 40 Seconds reserve.qcg 0 jobId =3D J1366378301765__6846
Dla zadania wykonywanego z rezerwacj=C4=85 zasob=C3=B3w informacja o cza= sie wykonania zadania (czasie rezerwacji zasob=C3=B3w) wy=C5=9Bwietlana jes= t zar=C3=B3wno dla qcg-list = jak i dla qcg-info.
[qcg] /home/= plgrid/plgpiontek/reef/REZERWACJE > qcg-list https://qcg-broker.man.poznan.pl:8443/qcg/services/ /C=3DPL/O=3DGRID/O=3DPSNC/CN=3Dqcg-broker/qcg-broker.man.poznan.pl UserDN =3D /C=3DPL/O=3DGRID/O=3DPSNC/CN=3DTomasz Piontek ProxyLifetime =3D 24 Days 18 Hours 14 Minutes 24 Seconds JOB IDENTIFIER NOTE SUBMISSION TIME START TIME = FINISH TIME STATUS HOSTNAME FLAGS STATUS DESCRIPTION= =20 J1366378301765__6846 19.04.13 15:31 19.04.13 15:= 33R PENDING inula S UP
Kolumna START TIME zawiera informacje: 19.04.13 15:33R - L= itera "R" na ko=C5=84cu oznacza, =C5=BCe czas uruchomieni zadania podawany = jest na podstawie rezerwacji.
[qcg] /home/= plgrid/plgpiontek/reef/REZERWACJE > qcg-info J1366378301765__6846 https://qcg-broker.man.poznan.pl:8443/qcg/services/ /C=3DPL/O=3DGRID/O=3DPSNC/CN=3Dqcg-broker/qcg-broker.man.poznan.pl UserDN =3D /C=3DPL/O=3DGRID/O=3DPSNC/CN=3DTomasz Piontek ProxyLifetime =3D 24 Days 18 Hours 14 Minutes 9 Seconds J1366378301765__6846 :=20 Note:=20 UserDN: /C=3DPL/O=3DGRID/O=3DPSNC/CN=3DTomasz Piontek TaskType: SINGLE SubmissionTime: Fri Apr 19 15:31:41 CEST 2013 FinishTime:=20 ProxyLifetime: P24DT18H14M7S Status: PENDING StatusDesc:=20 ReservedTimeSlot: Fri Apr 19 15:33:00 CEST 2013 - Fri Apr 19 15:44:00 CEST = 2013 StartTime: Fri Apr 19 15:31:47 CEST 2013 Purged: false Allocation:=20 HostName: inula.man.poznan.pl ProcessesCount: 1 ProcessesGroupId:=20 Status: PENDING StatusDescription:=20 SubmissionTime: Fri Apr 19 15:31:47 CEST 2013 FinishTime:=20 LocalSubmissionTime: Fri Apr 19 15:31:51 CEST 2013 LocalStartTime:=20 LocalFinishTime:=20 Purged: false
Informacja o czasie rezerwacji dla zadania jest w polu: ReservedTime= Slot: Fri Apr 19 15:33:00 CEST 2013 - Fri Apr 19 15:44:00 CEST 2013
Drugim sposobem wykorzystania rezerwacji jest zlecenie zadania z wykorzy= staniem wcze=C5=9Bniej zarezerwowanych zasob=C3=B3w. Mo=C5=BCliwe jest zlec= enie wielu zada=C5=84 do tej samej rezerwacji. QCG pozwala zleca=C4=87 zada= nia do lokalnych rezerwacji utworzonych bezpo=C5=9Brednio w systemie kolejk= owym jak i rezerwacji utworzonych z wykorzystaniem polecenia qcg-reserve.
W celu uruchomienia zadania w rezerwacji nale=C5=BCy poda=C4=87 w opisie= zadania dyrektyw=C4=99 reservation.
#QCG host=3D= inula #QCG walltime=3DPT5M #QCG procs=3D12 #QCG reservation=3Dplgpiontek.0 local ...
W przypadku korzystania z rezerwacji lokalnych konieczne jest podanie s= =C5=82owa "local" po identyfikatorze rezerwacji.
#QCG host=3D= inula #QCG walltime=3DPT5M #QCG procs=3D12 #QCG reservation=3DR1366379186504__5256
W przypadku korzystania z wcze=C5=9Bniej utworzonych rezerwacji konieczn= e jest dostosowanie rozmiaru zadania (ilo=C5=9Bci wymaganych slot=C3=B3w) i= czasu zadania do parametr=C3=B3w rezerwacji.
Do opisu wymaga=C5=84 dotycz=C4=85cych zasob=C3=B3w do rezerwacji stosuj= e si=C4=99 ten sam format co do opisu zada=C5=84 - QCG-Simple.
Dyrektywy wykorzystywane przy rezerwacji zasob=C3=B3w:
host - wyb=C3=B3r klastra dla zadania. Lista zasob=C3=B3w infrastru= ktury PL-Grid dost=C4=99pnych z us=C5=82ug QCG.
Format opisu zada=C5=84 wraz z pe=C5=82na lis= t=C4=85 dyrektyw QCG
Przyk=C5=82adowy opis rezerwacji 10 slot=C3=B3w obliczeniowych na klastr= ze inula na czas 1 godziny.
#QCG host=3D= inula #QCG walltime=3DPT1H #QCG procs=3D10
Do rezerwowania zasob=C3=B3w s=C5=82u=C5=BCy polecenie qcg-reserve.
Ka=C5=BCda rezerwacja w systemie identyfikowana jest poprzez unikalny id= entyfikator zwracany przez polecenie qcg-reserve.
[qcg] /home/= plgrid/plgpiontek/reef/REZERWACJE > qcg-reserve reserve.qcg=20 https://qcg-broker.man.poznan.pl:8443/qcg/services/ /C=3DPL/O=3DGRID/O=3DPSNC/CN=3Dqcg-broker/qcg-broker.man.poznan.pl UserDN =3D /C=3DPL/O=3DGRID/O=3DPSNC/CN=3DTomasz Piontek ProxyLifetime =3D 24 Days 12 Hours 42 Minutes 13 Seconds reserve.qcg : reservationId =3D R1366398248299__4039
Informacje o rezerwacjach wy=C5=9Bwietlaj=C4=85 polecenia qcg-rlist i qcg-rinfo.
[qcg] /home/= plgrid/plgpiontek/reef/REZERWACJE > qcg-rlist=20 https://qcg-broker.man.poznan.pl:8443/qcg/services/ /C=3DPL/O=3DGRID/O=3DPSNC/CN=3Dqcg-broker/qcg-broker.man.poznan.pl UserDN =3D /C=3DPL/O=3DGRID/O=3DPSNC/CN=3DTomasz Piontek ProxyLifetime =3D 24 Days 12 Hours 41 Minutes 53 Seconds RESERVATION IDENTIFIER SUBMISSION TIME START TIME FINISH TIME = SLOTS HOSTNAME STATUS =20 R1366398248299__4039 19.04.13 21:04 19.04.13 21:05 19.04.13 22:= 06 10 inula.man.poznan.pl:10 RESERVED =20
[qcg] /home/= plgrid/plgpiontek/reef/REZERWACJE > qcg-rinfo R1366398248299__4039 https://qcg-broker.man.poznan.pl:8443/qcg/services/ /C=3DPL/O=3DGRID/O=3DPSNC/CN=3Dqcg-broker/qcg-broker.man.poznan.pl UserDN =3D /C=3DPL/O=3DGRID/O=3DPSNC/CN=3DTomasz Piontek ProxyLifetime =3D 24 Days 12 Hours 41 Minutes 33 Seconds UserDN: /C=3DPL/O=3DGRID/O=3DPSNC/CN=3DTomasz Piontek SubmissionTime: Fri Apr 19 21:04:08 CEST 2013 DescriptionType: QCG_SIMPLE StartTime: Fri Apr 19 21:05:00 CEST 2013 EndTime: Fri Apr 19 22:06:00 CEST 2013 Status: RESERVED TotalSlotsCount: 10 InUse: false HostName: inula.man.poznan.pl ProcessesGroupId: qcg SlotsCount: 10 LocalReservationId: plgpiontek.0 Node: c026 SlotsCount: 10
Do anulowania rezerwacji s=C5=82u=C5=BCy polecenie qcg-rcancel.
[qcg] /home/= plgrid/plgpiontek/reef/REZERWACJE > qcg-rcancel R1366398248299__4039 https://elder13.man.poznan.pl:8443/qcg/services/ /C=3DPL/O=3DGRID/O=3DPSNC/CN=3Dqcg-broker/qcg-broker.man.poznan.pl UserDN =3D /C=3DPL/O=3DGRID/O=3DPSNC/CN=3DTomasz Piontek ProxyLifetime =3D 24 Days 12 Hours 41 Minutes 10 Seconds R1366398248299__4039 : Reservation is being canceled