Krótki opis usługi

Usługa umożliwiająca realizację zadań obliczeniowych na bardzo zbiorach dużych danych lub też wielu bardzo małych zadań w jak najszybszym czasie. Budowane środowisko umożliwia złożone analizy i obliczenia w takich problemach jak:

• analiza wydźwięku dla danych tekstowych,
• przetwarzanie języka naturalnego,
• analityka marketingowa i analiza danych konsumenckich,
• przetwarzanie sieci złożonych, w tym np. sieci społeczne, sieci ekonomiczne, sieci transportowe,
• uczenie maszynowe i wspomaganie decyzji.

W ramach usługi można także dokonywać wizualizacji otrzymanych wyników badań. Przykładem takich wizualizacji mogą być grafiki prezentujące słowa nacechowane pozytywnie czy negatywnie (rysunki poniżej, im większy rozmiar czcionki danego słowa tym bardziej pozytywne/negatywne danego słowo jest). Na rysunkach przedstawiony jest wynik budowania słownika wykorzystywanego podczas analizy wydźwięku dla języka naturalnego. 

Chmura słów - pozytywne zwroty 

Image Added

Chmura słów - negatywne zwroty

Image Added

Ograniczenia w korzystaniu (podsekcja opcjonalna)

...

Najpierw musimy dodać pliki na jedną z naszych maszyn dostępowych - możemy połączyć się do nich poprzed SSH Dostęp do UI (User Interface) albo wykorzystanie GridFTP w Portalu Complex Networks.

Następnie tworzymy folder QCG-test-script i wchodzimy do niego.

Do niego dodajemy pobrane wcześniej pliki - klikamy w przycisk Wgraj.

Pojawi się nowe okienko, do którego metodą przeciągnij/upuść albo poprzez kliknięcie w przycisk Wybierz plik dodajemy pliki potrzebne do uruchomienia zadania.

Poniżej widzimy poprawnie wgrane dwa pliki.

Następnie przechodzimy do formularza zlecania zadań QCG.

Wybieramy Nowe zadanie

Wybieramy aplikację BASH (skypt bash podamy użyjemy do wykonaniauruchomienia zadania), a w polu Plik główny wskazujemy plik ze skryptem bash. 

Zaznaczamy wybór przy nazwie pliku i potwierdzamy przyciskiem Wybierz.

Następnie dodamy do zadania plik tekstowych, dla którego policzymy liczbę słów w nim występujących - zgodnie ze skryptem BASH. W tym celu klikamy na zakładkę Plik oraz wybieramy atrybut Stage in.

Wskazujemy plik podobnie jak przy skrypcie bash.

W tym momencie przykładowe zadanie jest ustawione i można je zlecić przyciskiem Zleć zadanie.

W konsekwencji mamy otrzymujemy wynik jak poniżej (podgląd pliku wyjściowego) - plik można znaleźć wybierając Zadania -> Moje zadania i wchodząc w szczegóły zleconego zadania oraz wybierając Przeglądaj katalog roboczy.

Zlecanie zadań w wykorzystaniem Edytora QCG

...

Część pól z przedstawionego powyżej formularza pozostaje także i w tym widoku. Umożliwiają one dostosowanie zadania do naszych potrzeb. Bardzo ważnym jest wybór Aplikacji, tj. BASH albo Python, gdyż w ten sposób określamy jakiego rodzaju kod może zostać uzyty użyty do uruchomienia zadania.

W przykładzie poniżej widać wywołanie kodu BASH wc -w AFINN-111.txt. Należy zwrócić uwagę na wskazanie pliku AFINN-111.txt, plik ten został wybrany z repozytorium (po zleceniu zadania zostanie pobrany z repozytorium i przeniesiony na maszyny obliczeniowe - nie musimy nic dodatkowo kopiować! Jeśli chcemy więcej plików należy je odnaleźć w repozytorium, a następnie pojedyńczym kliknięciem myszy dodać do zadania. W celu dodania pliku w kodzie należy (po dodaniu go do zadania) ustawić kursor w odpowiednim miejscu kodu oraz kliknąć dwukrotnie na nazwę pliku (w poniższym przypadku można wybrać AFINN-111.txt albo license.txt w sekcji repozytorium). Usuwanie plików z zadania - kliknięcie krzyżyka po prawej stronie nazwy pliku. 

{!! Musimy poczekać na możliwość zlecania kodu Python przez Portal - aktualnie tylko BASH, ale trwają prace nad tym (można zlecać zadania w ten sposób na klastrze Bem). W tym momencie, aby wykonać takie zadania należy opakować kod Python. 

python - <<END

kod python

END

...

Zlecanie zadania Python - wczytywanie danych sieciowych

W Przykładach kodu wybieramy Przetwarzanie sieci, a następnie wczytywanie sieci.

Proszę Dla klastrów innych niż Bem proszę dopisać kod python - <<END musi być na początku skryptu, tak jak na poniższym przykładzie.

oraz END na końcu kodu.

Następnie określamy opis zlecanego zadania w zakładce Zaawansowane -> Opis.

Image Removed

Wybieramy Host (klaster) oraz odpowiedni moduł Python dla klastra.

Odpowiednie biblioteki Python są już pre-instalowane w następujących modułach:

Python-Task - plgrid/tools/python/2.7.9
Python-Zeus - tools/python/2.7.5
Python-Supernova -
Python-Inula - plgrid/tools/python/2.7.3

Image Added

Wszystko gotowe i można zlecić zadanie.

Image Added

Zostajemy poinformowani o nazwie zlecanego zadania oraz przeniesieni do podglądu naszych wszystkich zlecanych zadań.Image Removed

Zlecanie zadania SPARK

...

W tym momencie mamy wszystkie ustawione wszystkie niezbedne niezbędne parametry do wywołania zadania. Możemy zlecić zadania klikając na przycisk Z leć Zleć zadanie

Status zadania możemy podejrzeć w zakładce Zadania/Moje zadania. Widzimy tutaj nazwę, numer, czas zlecenie oraz inne informacje związane z naszym zadaniem. Dodatkowo wybierając szczegóły możemy zobaczyć szczegółowe informacje dotyczące naszego zadania oraz wynik jego wykonania.

...

Gdzie szukać dalszych informacji?

Dokumentacje

• Complex Networks biblioteki
• Biblioteki Python

Helpdesk lub strony dokumentacji o pomocy.

...

Wstawianie odnośników do innych stron podręcznika

Przy wstawianiu linków do stron wewnętrznych Podręcznika użytkownika (np. certyfikat="Aplikowanie, rejestracja i użycie certyfikatu"' założenie konta="Zakładanie konta w portalu"; Pomoc="Gdzie szukać pomocy") należy w trybie edycji strony:

• wpisać tekst, pod który będzie podpięty link
• zaznaczyć tekst
• wstawić link (Ctrl+K lub ikona Link na pasku narzędzi)
• wybrać opcję Search z lewej strony okna Insert Link
• w pasku po prawej wpisać tytuł strony (lub zacząć wpisywać tytuł i wybrać właściwą stronę z pojawiających się podpowiedzi)
• zatwierdzić wybraną stronę opcją Insert w prawym dolnym rogu

Efekt powyższego opisu można zobaczyć klikając lewym klawiszem myszki (w trybie edycji strony) na dowolny link w tym oknie informacji. Pojawi się pole, w którym do wyboru będzie opcja Edit, którą klikamy. Pojawi się okno Edit link, z aktywnym polem Search i nazwą strony wewnętrznej podręcznika.

Przy wstawianiu linków do konkretnych sekcji (akapitów) na wybranej stronie, np. Certyfikaty Simple CA ="Aplikowanie, rejestracja i użycie certyfikatu#Certyfikaty Simple CA", należy nazwę strony wraz z tytułem sekcji, rozdzielone znakiem #, podać w opcji Advanced w okienku link. Przy wstawianiu nazwy stron istotne jest zachowanie znaków spacji pomiędzy wyrazami oraz braków spacji pomiędzy #.

LINKI ZEWNĘTRZNE

Linki zewnętrzne np. do strony PL-Grid wstawiamy w oknie Insert Link (Ctrl+K) w opcji Web Link.

...