TELEMAC – Optimierung einer Modellumgebung für großräumige und langzeitliche Simulationen am SuperMUC

Antragssteller

Prof. Dr. Rutschmann
Technische Universität München
Lehrstuhl: Wasserbau und Wasserwirtschaft
Arcisstr. 21
D-80333 München

Projektübersicht

Wasserbauliche Fragestellungen sind aktueller denn je zuvor. In unserer dicht bevölkerten Welt mehren sich Hochwasserkatastrophen mit erheblichen Sachschäden und leider auch Personenschäden, so auch in Bayern im Jahr 2013. Dies hat vielschichtige Gründe, wie beispielsweise die Ausweisung von Bauland im Überschwemmungsgebiet, die Auswirkungen des Klimawandels, was Extremereignisse zu begünstigen scheint, oder auch die negativen Entwicklungen mancher Fließgewässer verursacht durch historische Flussbegradigungen und  Bauwerke wie Dämme und Wasserkraftwerke. Für die Planung zukünftiger, nachhaltiger Maßnahmen sind numerische Modelle ein äußerst wichtiges Werkzeug. Wir, der Lehrstuhl für Wasserbau und Wasserwirtschaft, versuchen mittels dieser numerischen Modelle die komplexen Prozesse von Fließsystemen zu beschreiben und Verbesserungsmaßnahmen an den Flusssystemen zu untersuchen. Zu erwähnen sind hier exemplarisch unsere Projekte für großflächige, hochaufgelöste Hochwasservorhersagen und Schutzstrategien (Retentionspotentialstudie am Inn https://www.wb.bgu.tum.de/retentionspotentialstudie-am-inn/), die Abschätzung von Langzeitentwicklungen von Fließgewässern (EU-DanubeSediment Projekt http://www.interreg-danube.eu) oder auch die Verknüpfung mit ökologischen Aspekten (EU-FIThydro Projekt www.fithydro.eu). Unser Anspruch ist es, die wasserwirtschaftlichen Fragestellungen gesamtheitlich zu betrachten. Dies erfordert den Einsatz von großräumigen und komplexen Simulationsmodellen, welche nur mit Höchstleistungsrechner angegangen werden können. Die Fragestellungen an die Wasserwirtschaft werden und sind bereits immer größer und umfangreicher geworden, sodass wissenschaftliche Fragestellungen mit normalen Rechnern nicht bewältigt werden können. Um die anstehenden wissenschaftlichen Aufgaben angehen zu können ist der Einsatz von HPC Systeme in Kombination mit speziell angepasster Software unverzichtbar. Derzeitig verfügbare Systeme arbeiten auf mehreren Ebenen parallel. So hat ein System wie der CoolMUC2 256 Rechenknoten, die mit einem sehr leistungsfähigen Infiniband-Netzwerk verbunden sind. Jeder Knoten verfügt über 2 Prozessoren die jeweils 14 Rechenkerne besitzen. Jeder einzelne Rechenkern kann wiederum pro Takt per SIMD (single instruction multiple data) mit einer Instruktion mehrere Datenelemente gleichzeitig bearbeiten. Um einen relevanten Teil der theoretisch verfügbaren Rechenleistung nutzen zu können, müssten optimaler Weise alle Ebenen der Rechnerarchitektur in der Software berücksichtigt werden. Eine effiziente Nutzung dieser Rechenressourcen stellt somit eine große Herausforderung an die Softwareimplementierungen und die Auswahl verfügbarer Tools dar.

Wir verwenden hierfür seit längerem die Software TELEMAC. Das Programmsystem ist eine von einem internationalen Konsortium verwaltete freiverfügbare, leistungsfähige Simulationssoftware für die Berechnung von Strömungssituationen in Fließgewässern, geschrieben in Fortran90. Grundlage der Berechnungen ist ein zweidimensionales, unstrukturiertes Finite-Elemente-Gitter zur Beschreibung des Berechnungsgebiets. Zur Ermittlung des Strömungsfeldes (Geschwindigkeit und Wasserstand) werden im Modul TELEMAC3D die dreidimensionalen, Reynolds-gemittelten Navier-Stokes Gleichungen bzw. in TELEMAC2D die zweidimensionalen Flachwassergleichungen an den einzelnen Gitterknoten gelöst. Überdies kann durch Kopplung mit weiteren Modulen beispielsweise die Sohlhöhenveränderung des Gewässers als Folge der Strömung berechnet (SISYPHE) und somit langzeitliche Entwicklungen untersucht werden. Für die Lösung der verschiedenen partiellen Differentialgleichungen steht eine Vielzahl von numerischen Gleichungslösern zur Verfügung. Durch weitere bereits existierende Module und der Möglichkeit selbst den Quellcode zu verändern, hat diese Software ein großes Anwendungsspektrum und Potential für die Forschung.

Die zur Lösung der Strömungssimulation benötigten Gleichungslöser sind bereits MPI-parallelisiert, was die Software für die Anwendung und Entwicklungsarbeiten an einem Hochleistungsrechner wie dem SuperMUC am Leibnitz-Rechenzentrum (LRZ) in München prädestiniert. Ebenso wurden in der Vergangenheit mit der Software auf verschiedenen HPC-Systemen bemerkenswerte Skalierungsergebnisse erzielt. Allerdings ist die Vorstufe der Berechnungen, die für MPI notwendige Gebietszerlegung, in der aktuellen Version noch nicht vollständig parallelisiert.