| Typ | klaster na procesorach Xeon Quad-Core z siecią InfiniBand |
| Nazwa | galera |
| Obudowy typu blade | n/a |
| Serwery: typu blade | n/a |
| Procesory | Intel Xeon Quad Core 2,33 GHz, 12 MB L3Cache, architektura EM64T |
| Liczba serwerów | 336 |
| Liczba płyt gł. | 672 |
| Liczba procesorów | 1344 |
| Liczba rdzeni obliczeniowych | 5376 |
| Moc obliczeniowa | 50 TFLOPS |
| Całkowita pamięć operacyjna | 10752 GB (168 nodów po 32 GB, 168 nodów po 16 GB, 336 nodów po 8 GB) |
| Pamięć dyskowa | 107,5 TB |
| Architektura | klaster maszyn SMP z siecią InfiniBand |
| Sieć |
InfiniBand:
Gigabit Ethernet:
|
| System operacyjny | Linux |
| Data instalacji/uruchomienia | luty 2008; |
| Historia modernizacji |
|
| Integrator | Konsorcjum firm WASKO i ACTION (http://www.wasko.pl/, http://www.action.pl/) |
Galera to klaster obliczeniowy na procesorach Xeon Quad-Core z siecią InfiniBand.
Klaster zbudowany jest z serwerów zawierających po dwie płyty główne - nody w architekturze SMP. Każdy nod zawiera po dwa procesory 4-rdzeniowe Xeon, średnio 16 GB pamięci operacyjnej, dysk twardy SATA o pojemności 160 GB, dwa porty Gigabit Ethernet oraz port InfiniBand. Nody są połączone za pomocą zespołu przełączników InfiniBand (switch fabric) oraz pojedynczego łącza do przełączników gigabitowych.
Moduły pracują pod kontrolą systemu operacyjnego Debian GNU/Linux 4.0. Do komunikacji używane są biblioteki MVAPICH, OpenMPI i MPICH.
Teoretyczna moc obliczeniowa klastra wynosi 50 TFlops.
18 czerwca 2008 roku galera znalazła się na liście najszybszych komputerów na świecie TOP500 na pozycji 45.
Korzystanie z galery
Na galerze obowiązuje system kolejkowy PBS (odrębny od holka). Zobacz: Zasady na galerze
Kompilując programy równoległe na wiele nodów zawsze należy używać ssh do inicjalizacji połączeń (rsh nie działa).
Zaleca się korzystać z biblioteki MPI w wersji OpenMPI.
Nody galery posiadają:
- 8 rdzeni obliczeniowych,
- 8 GB pamięci operacyjnej(336 węzłów),
- 16 GB pamięci operacyjnej(168 węzłów),
- 32 GB pamięci operacyjnej(168 węzłów),
- 110 GB lokalnej roboczej przestrzeni dyskowej (/tmp).
Kolejki
Dla zadań mniejszych niż 8 rdzeni, np. jednoprocesorowych w kolejce serial należy ustawiać wymaganą dla zadania ilość pamięci, np.
echo "./my_app job1.inp" | qsub -q serial -l nodes=1:ppn=1,pmem=1gb
Kompilacja na galerze
Aby kompilować programy do uruchamiania na klastrze galera, najlepiej jest zalogować się na jego węzeł dostępowy. Należy pamiętać, że galera jest klastrem i wysoce wskazane jest, aby kompilować na nim i uruchamiać tylko programy zrównoleglone, działające na klastrach.
W celu uzyskania wydajnego kodu binarnego zalecane i rekomendowane jest stosowanie kompilatorów firmy Intel, a nie ogólnych kompilatorów z rodziny GCC. W przypadku procesorów Xeon optymalizacja kodu na etapie kompilacji ma zasdnicze znaczenie dla szybkości obliczeń.
Kompilatory te są zainstalowe w katalogu /opt/intel/bin i wywołuje się je poleceniami: ifort (dla języka Fortran 77/90/95 ), icc (dla C) orac icpc (dla C++)
Często programy są zrównoleglone za pomocą biblioteki MPI. Zaleca się stosowanie wersji OpenMPI z katalogu korzystającej z sieci InfiniBand. W celu korzystania z OpenMPI na galerze należy do pliku .bashrc dopisać:
[ -e /apl/mpi/openmpi/1.4.3/env/openmpi.sh ] && . /apl/mpi/openmpi/1.4.3/env/openmpi.sh
Na galerze zainstalowane są także biblioteki MVAPICH, oraz MPICH.
Biblioteka matematyczna Intel Math Kernel Library dostarczająca m.in. bibliotek BLAS, LAPACK jest zainstalowana w katalogu /opt/intel/mkl
Oprogramowanie dostępne na galerze
Zobacz też: Galera w mediach