Der Bereich " Parallel and Distributed Computing" evaluiert, beschafft und betreibt Supercomputer und hochkapazitäre on-line Speichersysteme für aufwändige wissenschaftliche Simulationen und Datenanalysen.

Einführung

Das ZIB betreibt leistungsfähige Rechnersysteme als Teil des Norddeutschen Verbundes zur Förderung des Hoch- und Höchstleistungsrechnens (HLRN). HPC-Fachberater aus unterschiedlichen Wissenschaftsgebieten wie der Chemie und den Materialwissenschaften, den Erd- und Ingenieurwissenschaften, den Lebenswissenschaften, der Physik und Informatik unterstützen dabei die Wissenschaftler aus Berlin und den Mitgliedsländern des HLRN bei der Nutzung des Rechnersystems. Insbesondere helfen die Fachberater den Wissenschaftlern zu Fragen der effizienten Ausnutzung der vorhandenen Rechenressourcen sowie bei der Verwaltung und Analyse großer Datenmengen, damit die innovativen wissenschaftlichen Forschungsvorhaben erfolgreich umgesetzt werden können.

Der HLRN-IV Rechner "Lise" am ZIB

„Lise“ – ein Bull-Intel-Rechencluster und der 40 schnellste Supercomputer von 500 weltweit installierten Hochleistungsrechnern (TOP500-Liste, November 2019) ist gegenwärtig der am ZIB betriebene HLRN-IV Komplex. Neben seiner Rechenleistung verfügt das Rechnersystem über eine on-line Speicherkapazität von mehreren Petabytes. Für die Langzeitarchivierung von Daten kann ein Bandarchiv mit mehreren Bandrobotern in einem speziell geschützten Raum genutzt werden.

Das HLRN-IV System “Lise” in der Übersicht:

14 Racksfür die Rechenknoten und mit einer Infrastruktur zur Kühlung mit warmen Wasser und Luft.
1270 Rechenknoteninsgesamt, jeder mit je zwei Intel Xeon Cascade Lake Advanced Processors und 46 Rechenkernen, also 96 Kerne pro Knoten; davon 1236 Standardknoten mit 384 Gbyte Hauptspeicher, 32 Knoten mit 768 GByte Hautspeicher und 2 Knoten mit 1.5 TByte Hauptspeicher pro Knoten.
2540 CPUs

des Typs Intel Xeon Platinum 9242 (2.3GHz) mit je 48 Rechenkernen.

121.920 Rechenkerneist die Gesamtzahl der physikalischen Kerne; mit Hyperthreading steht die doppelte Zahl logischer Kerne für hochparallele Anwendungen zur Verfügung. 
Fat Treeist die Topologie des HPC-Interconnects, ein Intel Omni-Path Netzwerk, das eine niedrige Latenz und hohe Bandbreite für die Kommunikation innerhalb des Gesamtsystems ermöglicht. 
8 PetaFlop/sist die theoretische Spitzenleistung des "Lise" Rechners; im LINPACK konnte eine Leistung von 5,4 PetaFlop/s demonstriert werden.
502 TByteverteilte Hauptspeicher steht den Nutzern insgesamt auf allen Rechenknoten zur Verfügung.
8,4 PByteon-line Speicherkapazität können auf globalen parallelen Dateisystemen (DDN Lustre and GRIDScaler) genutzt werden.

Hochvolumige Speicherkapazitäten für HPC und Datenanalysen

Heute benötigen die komplexen Berechnungsverfahren mit Prä- und Postprocessing sowie Big Data Analysen on-line Speicher mit großen Kapazitäten im Petabyte-Bereich. Selbst mit modernen Methoden der Kopplung von Simulation und on-the-fly Analysen müssen für die Ein- und Ausgabedaten eines einzelnen Rechenjobs auf dem HLRN-IV bis zu einigen Terabytes Speicherkapazität vorgehalten werden.

Mit der sich gegenwärtig abzeichnenden Konvergenz von Rechenarchitekturen für HPC und komplexen Datenanalysen wird die Bereitstellung von hochkapazitären Speichersystemen mit optimalen Datenzugriffen immer bedeutender für jetzige und künftige Anwendungen.

Speicherinfrastruktur des HLRN-IV "Lise" im Überblick:

8,1 PByteon-line Speicherkapazität stehen in einem global verfügbaren, parallelen Dateisystem (Lustre) zur Verfügung; er erlaubt einen Datenzugriff mit hoher Bandbreite auf Nutzerdaten.
340 TByteon-line Speicherkapazität stehen in einer hoch-verfügbaren NAS-Appliance mit Datensicherung für Nutzerdaten zur Verfügung.
mehrere Petabytesstehen in einem Bandarchiv für die Langzeitarchivierung zur Verfügung (betrieben als zentrale Ressource vom ZIB).