...
Uruchomienie zadania Spark wykorzystującego 4 rdzenie na 1 węźle w trybie klastra Spark (Spark Standalone cluster in client deploy mode)
(Prometheus)
$ srun -N1 --ntasks-per-node=4 --pty /bin/bash
(Zeus)
$ qsub -l nodes=1:ppn=4 -I
Wykorzystanie zostanie zaliczone na konto grantu osobistego PLGrid. W przypadku potrzeby podania innego grantu należy wykorzystać opcję -A specyfikując identyfikator aktywnego grantu PLGrid.
$ module load plgrid/apps/spark
(Prometheus)
$ start-spark-cluster.sh
(Zeus)
...
_spark_cluster
Obliczenia:
$ $SPARK_HOME/bin/spark-submit $SPARK_HOME/examples/src/main/python/wordcount.py /etc/passwd
Zatrzymywanie klastra
(Prometheus)
$ stop-_spark-_cluster.sh
(Zeus)
$ stop-multinode-spark-cluster.sh
...
Oficjalny Spark Programming Guide