Page History
...
Należy wybrać jedną z opcji: Zleć zadanie QCG (formularz do zlecania) albo Edytor QCG (możliwość stworzenia własnego skryptu Pyton/bash do wykonania obliczeń)
Przykładowy skrypt QCG dostępny tutaj TODO: qcg-test-bash.qcg
Dodatkowy plik tekstowy, dla którego będzie wykonane zliczenie liczby różnych słów występujących w nim bible-kjv.txt
Zleć zadanie QCG
Complex Networks umożliwia zlecania zadań obliczeniowych z wykorzystaniem poniżej przedstawionego formularza. Wszystkie parametry oraz ich znaczenie można znaleźć na stronie Format opisu zadań
...
Ważnym punktem jest możliwość zapisuj specyfikacji zadania w postaci Szablonu - Zapisz jako szablon. Dzieki temu możemy zlecać podobne albo wręcz takie same zadania szybciej i prościej.
Przykładowe zadanie zlecane przez formularz
...
- zliczanie słów dla zadanego pliku
Proszę przygotwać dwa pliki - skrypt bash oraz tekstowy plik do zliczenia słów (nazwa pliku jest bardzo ważna w tym przypadku, ponieważ w skrypcie bash jest zapisana nazwa pliku przykładowego)
Najpierw musimy dodać pliki na jedną z naszych maszyn dostępowych - możemy połączyć się do nich poprzed SSH Dostęp do UI (User Interface) albo wykorzystanie GridFTP w Portalu Complex Networks.
Następnie przechodzimy do formularza zlecania zadań QCG
Wybieramy aplikację BASH (skypt bash podamy do wykonania) w polu Plik główny.
Następnie dodamy do zadania plik tekstowych, dla którego policzymy liczbę słów w nim występujących - zgodnie ze skryptem BASH.
W konsekwencji mamy wynik jak poniżej (podgląd pliku wyjściowego)
TODO
Zlecanie zadań w wykorzystaniem Edytora QCG
...
W przykładzie poniżej widać wywołanie kodu BASH wc -w AFINN-111.txt. Należy zwrócić uwagę na wskazanie pliku AFINN-111.txt, plik ten został wybrany z repozytorium (po zleceniu zadania zostanie pobrany z repozytorium i przeniesiony na maszyny obliczeniowe - nie musimy nic dodatkowo kopiować! Jeśli chcemy więcej plików należy je odnaleźć w repozytorium, a następnie pojedyńczym kliknięciem myszy dodać do zadania. W celu dodania pliku w kodzie należy (po dodaniu go do zadania) ustawić kursor w odpowiednim miejscu kodu oraz kliknąć dwukrotnie na nazwę pliku (w poniższym przypadku można wybrać AFINN-111.txt albo license.txt w sekcji repozytorium). Usuwanie plików z zadania - kliknięcie krzyżyka po prawej stronie nazwy pliku.
{!! Musimy poczekać na możliwość zlecania kodu Python przez Portal - aktualnie tylko BASH, ale trwają prace nad tym. W tym momencie, aby wykonać takie zadania należy opakować kod Python.
python - <<END
kod python
END
Patrz przykład z przetwarzaniem danych sieciowych poniżej
} Zlecanie zadania z wykorzystaniem przykładowych kodów - Python
Chcąc zlecić zadanie w języku Python nalezy zmienić typ Aplikacji z BASH na Python.
...
UWAGA!! Proszę nie usuwać zaznaczenia TRWAŁE z formularza specyfikacji parametrów zadania. W przeciwnym razie zadania zostaną wykonane na klastrze, ale nie zostaną zachowane i skopiowane z powrotem na maszyny lokalne. Przez co nie będzie można zobaczyć wyników analiz!
Zaawansowane użycie
Zlecanie zadania Python - wczytywanie danych sieciowych
Proszę dopisać kod
python - <<END musi być na początku
oraz END na końcu kodu
Zlecanie zadania SPARK
Wchodzimy do zakładki Zadania/Edytor QCG
...
Overview
Content Tools