Usługa umożliwiająca umożliwia realizację zadań obliczeniowych na bardzo zbiorach dużych danych lub też wielu bardzo małych zadań w jak najszybszym czasie. Budowane środowisko umożliwia złożone analizy i obliczenia w takich problemach jak:
W ramach usługi można także dokonywać wizualizacji otrzymanych wyników badań. Przykładem takich wizualizacji mogą być grafiki prezentujące słowa nacechowane pozytywnie czy negatywnie (rysunki poniżej, im większy rozmiar czcionki danego słowa tym bardziej pozytywne/negatywne danego jest dane słowo jest). Na rysunkach przedstawiony jest wynik budowania słownika wykorzystywanego podczas analizy wydźwięku dla języka naturalnego.
...
Chmura słów - negatywne zwroty
...
Proszę sprawdzić czy aplikowano o wszystkie niezbędne usługi w Potralu Portalu PLGRID. Więcej wymaganiach Complex Networks tutaj Complex Networkszamieszczono w osobnym rozdziale.
...
Dodatkowy plik tekstowy, dla którego będzie wykonane zliczenie liczby różnych słów w nim występujących w nim : bible-kjv.txt
Complex Networks umożliwia zlecania zadań obliczeniowych z wykorzystaniem poniżej przedstawionego formularza. Wszystkie parametry oraz ich znaczenie można znaleźć na stronie Format opisu zadań.
Po wskazaniu parametrów zadania możemy je uruchomić klikając na przycisk Zleć zadanie.
...
Ważnym punktem jest możliwość zapisuj specyfikacji zadania w postaci Szablonu - Zapisz jako szablon. Dzieki Dzięki temu możemy zlecać podobne albo wręcz takie same zadania szybciej i prościej.
...
Proszę przygotwać Należy przygotować dwa pliki - skrypt bash oraz tekstowy plik do zliczenia słów (nazwa pliku jest bardzo ważna w tym przypadku, ponieważ w skrypcie bash jest zapisana nazwa pliku przykładowego)
...
Następnie tworzymy folder QCG-test-script
i wchodzimy przechodzimy do niego.
Do niego dodajemy pobrane wcześniej pliki - klikamy w przycisk Wgraj.
Pojawi się nowe okienko, do którego metodą przeciągnij/upuść albo poprzez kliknięcie w przycisk Wybierz plik dodajemy pliki potrzebne do uruchomienia zadania.
Poniżej widzimy poprawnie wgrane dwa pliki.
...
W przykładzie poniżej widać wywołanie kodu BASH wc -w AFINN-111.txt. Należy zwrócić uwagę na wskazanie pliku AFINN-111.txt, plik ten został wybrany z repozytorium (po zleceniu zadania zostanie pobrany z repozytorium i przeniesiony na maszyny obliczeniowe - nie musimy nic dodatkowo kopiować! Jeśli chcemy więcej plików należy je odnaleźć w repozytorium, a następnie pojedyńczym pojedynczym kliknięciem myszy dodać do zadania. W celu dodania pliku w kodzie należy (po dodaniu go do zadania) ustawić kursor w odpowiednim miejscu kodu oraz kliknąć dwukrotnie na nazwę pliku (w poniższym przypadku można wybrać AFINN-111.txt
albo license.txt
w sekcji repozytorium). Usuwanie plików z zadania - kliknięcie krzyżyka po prawej stronie nazwy pliku.
...
Chcąc zlecić zadanie w języku Python nalezy zmienić typ Aplikacji z BASH na Python.
Następnie wyszukać nas interesujacy interesujący fragment kodu, w przykładzie kod obliczający liczbę wystąpień poszczególnych słów w tekście - word_count.py
...
Warto zwrócić uwagę na zakładkę Zaawansowane, gdzie to możemy okreslić określić parametry wykonania zadania zgodnie z Format opisu zadań. W przypadku zlecania zadań Python jest to bardzo ważne, ponieważ musimy wybrać odpowiedni moduł (z preinstalowanymi bibliotekami Python dla gridu Complex Networks).
W przedstawionym poniżej przypadku zlecamy zadanie obliczeniowe dla klastra Supernova, a do pociąga wybór modułu Python odpowiedniego właśnie dla tego klastra. W przypadku wyboru innego/dodatkowego klastra należy uwzględnić do w parametrze Moduły.
...
...
Na poniższym zrzucie widać przykładowy kod wywołujący zadanie z użyciem framework Spark - przykład zliczania słów w sposób rozproszony
Nastepnie Następnie musimy wybrać odpowiedni klaster obliczeniowy (niestety nie wszystkie wspierają Spark). Przechodzimy do zakładki Zaawansowane
...