Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

...

Obliczenia GPGPU (General-Purpose computing on Graphics Processing Units) to wykorzystanie procesorów graficznych wspólnie z jednostką CPU do przyspieszenia obliczeń naukowych i inżynierskich. Infrastruktura PLGrid oferuje swoim użytkownikom dostęp do maszyny zawierającej karty GPU.

Lokalizacja

ACK CYFRONET AGH 

Nazwa systemu
Zeus GPGPU
Prometheus K40XLPrometheus V100
Nazwa maszyny dostępowej
ui
pro.cyfronet.plpro.cyfronet.pl
Port dostępowy 2222
Liczba rdzeni obliczeniowych
504


Liczba kart GPU
204
14432
Kolejka
gpgpu
plgrid-gpuplgrid-gpu-v100
OprogramowanieTeraChem, Gromacs, NAMD, GAMESS, TensorFlow, Keras, PyTorch
Opis konfiguracji zasobów obliczeniowychwww.plgrid.pl/oferta/zasoby_obliczeniowe/opis_zasobow/HPC
Opis systemów składowania danychwww.plgrid.pl/oferta/zasoby_obliczeniowe/opis_zasobow/storage
Informacje rozszerzone
kdm.cyfronet.pl/portal/Zeus_GPGPU Kontakt cyfronet-lcg2@helpdesk.plgrid.pl

Dostęp do usługi

Dostęp do GPGPU jest możliwy po aktywacji usługi. Aby aktywować usługę, postępuj zgodnie z instrukcjami zawartymi w Katalogu Aplikacji i Usług po uprzednim wyszukaniu usługi. 

...

Parametry kart GPGPU

ParametrWartość
DostępnośćPromtheus (plgrid-gpu)Promtheus (plgrid-gpu-v100)
ProducentNVIDIANVIDIA
ModelK40 XLV100
ArchitekturaKeplerVolta
SzynaPCI-Express 3.0 16xNVLink
Liczba rdzeni Tensor-640
Liczba rdzeni CUDA28805120
Maksymalna częstotliwość928 MHz1290 MHz
Moc obliczeniowa (HP)-31.33 Tflops
Moc obliczeniowa (DP)1,78 Tflops7,834 Tflops
Moc obliczeniowa (SP)5,34 Tflops15,67 Tflops
Pojemność i typ pamięci12 GB GDDR532 GB HBM2
Przepustowość pamięci288 GB/s900 GB/s

Zlecanie zadań

Dostęp do węzłów z GPGPU

Dla zadań korzystających w obliczeniach z kart GPGPU przeznaczona została specjalna partycja - plgrid-gpu. Aby móc przeprowadzać obliczenia z wykorzystaniem GPGPU na klastrze Prometheus konieczne jest złożenie wniosku o grant właściwy, który przeznaczony zostanie w całości wyłącznie na obliczenia z wykorzystaniem kart GPGPU. Grant taki nie powinien być używany do przeprowadzania obliczeń w partycjach innych niż plgrid-gpu. We wniosku o grant należy wyraźnie zaznaczyć, że wymagany jest dostęp do partycji plgrid-gpu. Zalecane jest także (ale nie jest to konieczne), aby grant taki posiadał w nazwie wyraz gpu (np. obliczeniagpu) - ułatwia to identyfikację grantów. Każdy wniosek o dostęp do partycji plgrid-gpu jest rozpatrywany indywidualnie przez dostawcę zasobów.

Dodatkowo dla obliczeń AI została udostępniona partycja plgrid-gpu-v100 posiadająca karty GPGPU NVIDIA Tesla V100. Dostęp do nich realizowany jest podobnie, jak opisano powyżej dla partycji plgrid-gpu.

Informacje ogólne

Karty GPU w systemie kolejkowym SLURM są rodzajem tzw. generic resources (GRES), a ich identyfikatorem jest "gpu".
Informację o tym na których węzłach/partycjach znajdują się karty GPU można otrzymać np. przy pomocy komendy sinfo:

...

Code Block
titleNAMD
#!/bin/bash
# NAMD GPPGU requires exactly one working node
#SBATCH -N 1
#SBATCH --ntasks-per-node=24
#SBATCH -p plgrid-gpu
#SBATCH --gres=gpu:2
#SBATCH --time 1:00:00

module load plgrid/apps/namd/2.1314-ompi

cd $SLURM_SUBMIT_DIR

if [ ! -f stmv.tar.gz ]; then
        wget http://www.ks.uiuc.edu/Research/namd/utilities/stmv.tar.gz
fi
tar -xvf stmv.tar.gz -C $SCRATCHDIR

cd $SCRATCHDIR/stmv

sed -i 's/500/5000/g' stmv.namd
sed -i 's/\/usr\/tmp\/stmv-output/\$env\(SCRATCHDIR\)\/stmv-output/g' stmv.namd

namdrun stmv.namd

...