Usługa umożliwia korzystanie z najpopularniejszych narzędzi przetwarzania danych typu BigData uruchamianych na zasobach Infrastruktury PLGrid. Obecnie usługa jest dostępna tylko na klastrze Zeus, gdzie można prowadzić obliczenia wielowęzłowe z wykorzystaniem systemów Spark lub Hadoop. W celu efektywnego używania oprogramowania Spark i Hadoop zalecamy zapoznanie się z Spark Programming Guide.
Usługa dostepna jest dla użytkowników Infrastruktury PLGrid. W celu aktywowania należy włączyć "Dostęp do klastra ZEUS". Następnie, zawnioskować o usługę "Spark" w sekcji "Moje konto" -> "Obsluga danych typu BigData" w Portalu PLGrid.
Uruchomienie zadania Spark wykorzystującego 4 rdzenie na 1 węźle w trybie klastra Spark (Spark Standalone cluster in client deploy mode)
$ qsub -l nodes=1:ppn=4 -I
Wykorzystanie zostanie zaliczone na konto grantu osobistego PLGrid. W przypadku potrzeby podania innego grantu należy wykorzystać opcję -A specyfikując identyfikator aktywnego grantu PLGrid.
$ module load plgrid/apps/spark
$ start-multinode-spark-cluster.sh
$ $SPARK_HOME/bin/spark-submit $SPARK_HOME/examples/src/main/python/wordcount.py /etc/passwd
$ stop-multinode-spark-cluster.sh
Dokumentacja Hadoop oraz Spark w Cyfronet
Oficjalny Spark Programming Guide