Page History

...

 Usługa umożliwia realizację zadań obliczeniowych na dla bardzo zbiorach dużych danych zbiorach danych lub też wielu bardzo małych zadań w jak najszybszym najkrótszym czasie. Budowane środowisko umożliwia złożone analizy i obliczenia w takich problemach jak:

...

Complex Networks umożliwia zlecania zlecanie zadań obliczeniowych z wykorzystaniem poniżej przedstawionego formularza. Wszystkie parametry oraz ich znaczenie można znaleźć na stronie Format opisu zadań.

Po wskazaniu parametrów zadania możemy je uruchomić klikając na przycisk Zleć zadanie.

Każda Każde z uruchomionych przez Portal Complex Networks zadań można podejrzeć w zakładce Zadania -> Moje zadania.

...

Najpierw musimy dodać pliki na jedną z naszych maszyn dostępowych - możemy połączyć się do nich poprzed poprzez SSH Dostęp do UI (User Interface) albo wykorzystanie GridFTP w Portalu Complex Networks.

...

Wybieramy aplikację BASH (skypt bash użyjemy zostanie użyty do uruchomienia zadania), a w polu Plik główny wskazujemy plik ze skryptem bash. 

Zaznaczamy wybór przy nazwie pliku i potwierdzamy przyciskiem Wybierz.

...

W konsekwencji otrzymujemy wynik jak poniżej (podgląd pliku wyjściowego) - plik można znaleźć wybierając Zadania -> Moje zadania i wchodząc w szczegóły zleconego zadania oraz wybierając Przeglądaj katalog roboczy.

Zlecanie zadań

...

z wykorzystaniem Edytora QCG

Widok składa się co do zasady z 3 części:

...

W przykładzie poniżej widać wywołanie kodu BASH wc -w AFINN-111.txt. Należy zwrócić uwagę na wskazanie pliku AFINN-111.txt, plik ten został wybrany z repozytorium (po zleceniu zadania zostanie pobrany z repozytorium i przeniesiony na maszyny obliczeniowe - nie musimy nic dodatkowo kopiować!) Jeśli chcemy przenieść więcej plików należy je odnaleźć w repozytorium, a następnie pojedynczym kliknięciem myszy dodać do zadania. W celu dodania pliku w kodzie należy (po dodaniu go do zadania) ustawić kursor w odpowiednim miejscu kodu oraz kliknąć dwukrotnie na nazwę pliku (w poniższym przypadku można wybrać AFINN-111.txt albo license.txt w sekcji repozytorium). Usuwanie plików z zadania - kliknięcie krzyżyka po prawej stronie nazwy pliku. 

...

Wkrótce będzie możliwość zlecania kodu Python przez Portal - aktualnie tylko BASH, ale trwają prace nad tym (można zlecać zadania w ten sposób na klastrze Bem). W tym momencie, aby wykonać takie zadania należy opakować kod Python. 

python - <<END

kod python

END

...

Chcąc zlecić zadanie w języku Python należy zmienić typ Aplikacji z BASH na Python.

Następnie wyszukać nas interesujący fragment nas  fragment kodu, w przykładzie kod obliczający liczbę wystąpień poszczególnych słów w tekście - word_count.py

...

Wybieramy przycisk Użyj, a kod zostanie skopiowany do Edytora. 

Następnie musimy do zadania dodać z repozytorium plik, dla którego chcemy wykonać analizę z repozytorium do zadania oraz zmodyfikować kod Python w taki sposób, żeby wskazać tenże plik.

...

W przedstawionym poniżej przypadku zlecamy zadanie obliczeniowe dla klastra Supernova, a do to pociąga wybór modułu Python odpowiedniego właśnie dla tego klastra. W przypadku wyboru innego/dodatkowego klastra należy uwzględnić do to w parametrze Moduły.

Odpowiednie biblioteki Python są już pre-instalowane w następujących modułach:

...

Dalej wybieramy klaster Zeus oraz moduł Spark

W tym momencie mamy wszystkie ustawione wszystkie niezbędne parametry do wywołania zadania. Możemy zlecić zadania klikając na przycisk Zleć zadanie

...