Der Betrieb der lokalen HPC-Ressourcen und insbesondere des Scientific Compute Cluster (SCC) bei der GWDG wird durch die transparente Integration verschiedener Systeme in ein gemeinsames Betriebskonzept für die Grundversorgung der Max-Planck-Institute und der Universität erreicht. Dies beinhaltet ein einheitliches Software-Management, eine gemeinsame Batch-Management-Umgebung, systemübergreifendes Monitoring und Abrechnung sowie systemübergreifende Dateisysteme. So werden Synergieeffekte erzielt durch die Integration verschiedener Systemgenerationen und Spezialsysteme (z.B. GPU-Cluster). Die Anwender finden auf allen HPC-Systemen eine einheitliche Umgebung vor, während gleichzeitig individuelle Anwendungsumgebungen unterstützt werden. Dies führt jedoch zu einem sehr heterogenen Cluster, der eine gute Kenntnis der Architekturunterschiede und hochgradig abgestimmte Skripte erfordert.

Die ausführliche Dokumentation zum System, die FAQ, sowie eine Zusammenfassung der ersten Schritte finden Sie online. Nutzen Sie unsere Systeme für Ihre Forschung, beachten Sie bitte auch unsere Danksagungsrichtlinien, falls Die das SCC für Ihre Forschung nutzen.

Systemüberblick

7 Racks

4 Racks auf dem Faßberg sind kaltwassergekühlt. Die beiden GPU-Knoten im MDC sind luftgekühlt. Ein CPU-Rack im MDC ist warmwassergekühlt.

410 Compute Knoten

Der SCC-Cluster enthält eine Kombination aus Xeon Platinum 9242, Broadwell Xeon E5-2650 v4, Haswell Xeon E5-4620 v3, Broadwell Xeon E5-2650 v4 und Xeon Gold 6252 CPUs

18.376 CPU Cores

Verteilt auf alle Rechen- und GPU-Knoten.

100 GBit/s & 56 Gbit/s Interconnect

Das Interconnect für das System am Faßberg wird mit 56GBit/s FDR Infiniband und das MDC-System wird mit 100 GBit/s Omni-Path betrieben.

1,4 TiB GPU RAM

Über alle GPU Knoten hinweg sind 1,4 TiB GPU-Speicher verfügbar.

99 TB RAM

Über alle 410 Knoten hinweg sind 88 TB Speicher verfügbar.

5,2 PiB Speicher

Der BeeGFS-Speicher im MDC-System besteht aus 2 PiB HDD und 100 TiB SSD und 130TiB HDD auf dem Faßberg-System. Das StorNext-Home-Dateisystem ist etwa 3 PiB groß.

22+ PiB Bandspeicher

Der Backup-Speicher wird von Quantum Scalar Tape Libraries bereitgestellt. Zur Gewährleistung zuverlässige Backups zu gewährleisten, werden diese an zwei verschiedenen Orten gespeichert

Icons made by Freepik and phatplus

Knotenarchitekturen

NameAnzahl KnotenCPU & GPUAnzahl CPU-CoresArbeitsspeicher [GB]Partition
amp952 x Xeon Platinum 9242
Architektur
Cascade Lake
Sockel
2
Kerne
48
Threads
2
Frequenz
3.8 GHZ
48384[medium]
amp12 x Xeon Platinum 9242
Architektur
Skylake
Sockel
2
Kerne
48
Threads
2
Frequenz
3.8 GHZ
48384[gailing]
dmp682 x Xeon E5-2650 v4
Architektur
Broadwell
Sockel
2
Kerne
12
Threads
1
Frequenz
2.2 GHZ
12128[medium]
dmp42 x Xeon E5-2650 v4
Architektur
Broadwell
Sockel
2
Kerne
12
Threads
1
Frequenz
2.2 GHZ
12128[int]
dmp102 x Xeon E5-2650 v4
Architektur
Broadwell
Sockel
2
Kerne
12
Threads
1
Frequenz
2.2 GHZ
12128[medium-upsw]
dfa152 x Xeon E5-2650 v4
Architektur
Broadwell
Sockel
2
Kerne
12
Threads
1
12512[fat]
dsu54 x Xeon E5-4620 v3
Architektur
Haswell
Sockel
4
Kerne
10
Threads
1
101536[fat fat+]
gwde14 x Xeon E7-4809 v3
Architektur
Haswell
Sockel
4
Kerne
8
Threads
1
82048[fat fat+]
dge72 x Xeon E5-2650 v4
Architektur
Broadwell
Sockel
2
Kerne
12
Threads
1
2 x GTX 1080
CUDA cores
2560
RAM
8192 GB
12128[gpu]
dge82 x Xeon E5-2650 v4
Architektur
Broadwell
Sockel
2
Kerne
12
Threads
1
4 x GTX 980
CUDA cores
2560
RAM
4096 GB
12128[gpu]
dge302 x Xeon E5-2650 v4
Architektur
Broadwell
Sockel
2
Kerne
10
Threads
2
HTT
true
4 x GTX 980
CUDA cores
2560
RAM
4096 GB
1064[gpu-hub]
gwdo201 x Xeon E3-1270 v2
Architektur
Ivy Bridge
Sockel
1
Kerne
4
Threads
2
HTT
true
1 x GTX 770
CUDA cores
1536
RAM
2048 GB
432[gpu-hub]
dte102 x Xeon E5-2650 v4
Architektur
Broadwell
Sockel
2
Kerne
12
Threads
1
2 x Tesla K40m
CUDA cores
2880
RAM
12 GB
12128[gpu]
agt22 x Xeon Gold 6252
Architektur
Cascade Lake
Sockel
2
Kerne
24
Threads
2
8 x Tesla V100/32
CUDA cores
5120
Tensor cores
640
RAM
32 GB
24384[gpu]
agq142 x Xeon Gold 6242
Architektur
Cascade Lake
Sockel
2
Kerne
16
Threads
2
4 x Quadro RTX5000
CUDA cores
3072
Tensor cores
384
RT cores
48
RAM
16 GB
16192[gpu]
em322 x Xeon E5-2640 v3
Architektur
Haswell
Sockel
2
Kerne
8
Threads
1
8128[em]
sa322 x Xeon E5-2680 v3
Architektur
Haswell
Sockel
2
Kerne
12
Threads
1
12256[sa]
hh72 x Epyc 7742
Architektur
Rome
Sockel
2
Kerne
64
Threads
2
HTT
true
641024[hh]
sgiz132 x Xeon Gold 6130
Architektur
Skylake
Sockel
2
Kerne
16
Threads
1
1696[sgiz]
gwdd82 x Xeon E5-2650 v3
Architektur
Haswell
Sockel
2
Kerne
10
Threads
1
Frequenz
2.3 GHZ
1064[]