Holk - klaster Itanium2

holk

 

Typ klaster na procesorach Itanium2
Nazwa holk
Procesory Intel Itanium 2 Dual Core 1.4 GHz, 12 MB L3Cache, architektura EPIC
Liczba procesorów 288
Liczba rdzeni 576
Całkowita pamięć operacyjna 2304 GB
Pamięć dyskowa 5.8 TB
Architektura klaster maszyn SMP z siecią InfiniBand
Sieć
  • InfiniBand: przełącznik 144-portowy firmy Mellanox, topologia fat tree, przepustowość łącza 10 Gb/s, opóźnienie
  • Gigabit Ehternet
System operacyjny Linux
Data instalacji/uruchomienia październik 2003
Historia modernizacji
  • lipiec 2004 - rozbudowa pamięci z 256 do 512 GB
  • październik 2004 - dołączenie Clusteriksa
  • grudzień 2005 - instalacja sieci InfiniBand w całym klastrze
  • wrzesień 2006 - wymiana i rozbudowa pamięci operacyjnej do 2304 GB
  • luty 2007 - wymiana procesorów na dwurdzeniowe
Strona producenta http://www.intel.com/

Holk to klaster obliczeniowy na procesorach Itanium 2.

Klaster zbudowany jest z serwerów (nodów) w architekturze SMP. Każdy nod zawiera po dwa procesory Itanium2, 16 GB pamięci operacyjnej, dysk twardy SCSI o pojemności 36 GB, dwa porty Gigabit Ethernet oraz kartę InfiniBand. Nody są połączone za pomocą 144-portowego przełącznika InfiniBand oraz pojedynczego łącza do przełączników gigabitowych firmy D-Link.

Moduły pracują po kontrolą systemu operacyjnego Debian GNU/Linux 3.1. Do komunikacji używane są biblioteki MVAPICH, LAM-MPI i MPICH.

Klaster jest wykorzystywany głównie do symulacji dużych biomolekuł i fazy skondensowanej na poziomie dynamiki molekularnej oraz kwantowomechanicznym.

Od listopada 2004 roku w skład klastra Holk wchodzi podklaster clusterix złożony z 16 węzłów. Powyższa tabela pokazuje parametry zbiorcze całego klastra.

Teoretyczna moc obliczeniowa klastra po rozbudowach i wymianie procesorów wynosi 3225 GFlops.

W listopadzie 2003 roku Holk znalazł się na liście najszybszych komputerów na świecie TOP500 na pozycji 231.

Korzystanie z Holka

  • Holk jest klastrem,
  • użytkownicy mają możliwość pracy interaktywnej na jedym wyznaczonym nodzie 'holk' (h001),
  • dostęp do noda 'holk' jest możliwy z komputera kdm.task.gda.pl za pomocą polecenia:
ssh holk
  • nod dostępowy h001 służy do kompilacji, obróbki danych wejściowych i wyjściowych, drobnych testów (do 15 minut),
  • do kompilacji własnych programów należy używać kompilatorów Intel: icc (C), icpc (C++) ifort (Fortran 77/90),
  • programy korzystające z biblioteki BLAS powinny używać MKL,
  • do kompilacji programów równoległych należy używać biblioteki MVAPICH2,
  • zadania obliczeniowe na Holka można zlecać tylko przez system kolejkowy PBS z h001 lub z kdm.

Zmiany po rozbudowie pamięci operacyjnej we wrześniu 2006 r.

Po rozbudowie pamięci każdy nod klastra ma taką samą ilość pamięci operacyjnej: 16 GB. W związku z tym zbędne staje się korzystanie z zasobu 'm' w systemie kolejkowym.

Informacja dla użytkowników niektórych programów równoległych: rozmiar bloku pamięci współdzielonej na każdym nodzie został zwiększony do 4 GB .

Zmiany po wymianie procesorów w lutym 2007 r.

Procesory zostały wymienione na dwurdzeniowe, oznacza to, że na jednym nodzie dostępne są 4 rdzenie obliczeniowe traktowane przez system kolejkowy jako 4 osobne procesory.

Wskazana jest zmiana specyfikacji zasobów dla zadań zlecanych przez PBS z ppp=2 na ppn=4, np. w skryptach:

#PBS -l nodes=4:ppn=2

na:

#PBS -l nodes=2:ppn=4

W przypadku dużego zapotrzebowania na pamięć operacyjna na jeden proces zwiększanie ppn może nie być korzystne.

Należy zwrócić uwagę na ewentualne zmiany skalowalności obliczeń. Przy zachowaniu tej samej liczby nodów zwięszkenie ppn spowoduje, że zadanie będzie działać na dwa razy większej liczbie procesorów. Może sie okazać konieczne dobranie innej liczby nodów.