Page as PDF - Max-Planck
Transcription
Page as PDF - Max-Planck
Jahrbuch 2012/2013 | Dohmen, Renate; Lederer, Hermann; Rampp, Markus; Reetz, Johannes; Reuter, Klaus; Schott, Andreas | Hochleistungsrechnen, Datendienste und Visualisierung Hochleistungsrechnen, Datendienste und Visualisierung High-performance computing, data services and visualization Dohmen, Renate; Lederer, Hermann; Rampp, Markus; Reetz, Johannes; Reuter, Klaus; Schott, Andreas Max Planck Computing and Data Facility (MPCDF), Garching Korrespondierender Autor E-Mail: hermann.lederer@rzg.mpg.de Zusammenfassung Das RZG optimiert komplexe Anw endungscodes aus den Bereichen Plasmaphysik, Astrophysik, Materialw issenschaften und anderen Disziplinen für den Einsatz auf massiv-parallelen Hochleistungsrechnern und bietet Unterstützung für Datenmanagement auf Archivierungs-, Metadaten- und Projektebene. Einen w eiteren Schw erpunkt bilden die Visualisierung und Exploration von Simulationsdaten. Das RZG ist maßgeblich an Projekten auf MPG-, nationaler und europäischer Ebene beteiligt. Summary The RZG supports optimization of complex applications from plasma physics, astrophysics, materials science, and other disciplines for massively parallel high-performance computers and offers data management services and infrastructure. Moreover, the RZG provides data visualization services for the exploration and quantitative analysis of simulation results. The RZG plays a leading role in projects w ithin the MPG and at national and European level. 1 Hochleistungsrechnen Das RZG betreibt einen Hochleistungsrechnerkomplex, seit 2007 bestehend aus einem Blue-Gene/P-System mit 16.384 Prozessorkernen und einem Pow er6-System mit 6.624 Prozessoren. Als erster Teil eines Nachfolgesystems w urde im Oktober 2012 ein Intel-Sandy-Bridge-basiertes Linux-Cluster mit 9.700 Kernen in Betrieb genommen. Außerdem w erden zahlreiche große Linux-Cluster verschiedener Institute betrieben. Eine w esentliche Aufgabe des RZG stellt die Anw endungsunterstützung dar. Diese umfasst 1) die Optimierung von Codes, Mitw irkung bei Visualisierung und grafischer Aufbereitung von Daten, Evaluierung neuer paralleler Programmiertechniken und ‑modelle w ie beispielsw eise für den Einsatz von Beschleuniger-Coprozessoren für numerisch-intensive Applikationsteile, 2) Projektunterstützung, vielfach in Kooperation mit mehreren Partnern an verschiedenen Instituten. 1.1 Anwendungsoptimierung im Hochleistungsrechnerbereich © 2013 Max-Planck-Gesellschaft w w w .mpg.de 1/7 Jahrbuch 2012/2013 | Dohmen, Renate; Lederer, Hermann; Rampp, Markus; Reetz, Johannes; Reuter, Klaus; Schott, Andreas | Hochleistungsrechnen, Datendienste und Visualisierung Der Bereich der Anw endungsoptimierung am RZG beinhaltet vielfältige Herausforderungen mit unterschiedlichsten Anforderungsprofilen. So müssen zum Beispiel bereits parallele Codes, etw a aus der Materialforschung, der Plasmaphysik oder der Astrophysik, bezüglich ihrer Skalierbarkeit optimiert und algorithmisch für die Verw endung auf Supercomputern mit sehr hoher Prozessorzahl vorbereitet w erden. Darüber hinaus w erden existierende, sequenzielle Applikationen parallelisiert, durch algorithmische Maßnahmen beschleunigt und auf neue Hard- und Softw aretechnologien vorbereitet. Aktuell gilt es bei der Applikationsentw icklung unter anderem, den folgenden beiden Technologieentw icklungen im Hochleistungsrechnen zu berücksichtigen: Supercomputer der aktuellen Generation sind als sogenannte Cluster realisiert, deren einzelne Knoten jew eils ein oder mehrere Prozessoren mit Dutzenden von Kernen und einem gemeinsamen Hauptspeicher vereinen. Die Knoten ihrerseits sind über ein Kommunikationsnetzw erk verbunden. Dieser Topologie entsprechend w erden zunehmend hybride Programmiermodelle favorisiert, die explizite Datenverteilung über die Prozessoren oder Knoten sow ie Kommunikation mittels MPI (Message Passing Interface, der etablierte Standard für verteilte Parallelisierung) in Kombination mit Thread-basierter Programmierung (zum Beispiel OpenMP) innerhalb der einzelnen Prozesse beinhalten. Das sogenannte flache Programmiermodell, das auf reiner MPI-Kommunikation basiert, ohne explizit Bezug zur Knotenebene zu nehmen, beginnt insbesondere mit der immer größer w erdenden Zahl von Prozessorkernen an seine Grenzen zu stoßen. Auf Ebene der Knoten beginnen sich sogenannte Beschleuniger-Coprozessoren zu etablieren, die ein großes Potenzial zur Steigerung der Rechenleistung eines Knotens bei gleichzeitig hoher Energieeffizienz versprechen. Im Folgenden w erden exemplarisch ausgew ählte Projekte zu diesen Themengebieten vorgestellt. 1.1.1 Hybride Parallelisierung eines Navier-Stokes-Codes für direkte numerische Simulationen (DNS) von Turbulenzphänomenen In der Max-Planck-Forschungsgruppe „Komplexe Dynamik und Turbulenz“ (Björn Hof, Max-Planck-Institut für Dynamik und Selbstorganisation, Göttingen) w urde ein pseudospektraler Simulationscode zur Lösung der Navier-Stokes-Gleichung für inkompressible Flüssigkeiten entw ickelt. Der Code w ird beispielsw eise für grundlegende Untersuchungen zur Turbulenz bei hohen Reynoldszahlen in Rohren eingesetzt. Im originalen, reinen MPI-Code w ar die Zahl der MPI-Prozesse und damit die durch Parallelisierung maximal erzielbare Steigerung der Rechengeschw indigkeit durch die Zahl der radialen Zonen (typischerw eise w enige Hundert) des numerischen Gitters begrenzt. Mithilfe von OpenMP w urde nun eine zusätzliche Ebene der Parallelität eingeführt, die dieses Hemmnis beseitigt. Die neue, hybride Parallelisierung erlaubt es etw a auf dem Hochleistungsrechner der Max-Planck-Gesellschaft, jedem MPI-Prozess bis zu 16 Prozessorkerne beziehungsw eise OpenMP-Threads zuzuw eisen. Insgesamt w ird damit – bei gegebener Problemgröße – bereits eine Beschleunigung des Codes um mehr als einen Faktor zehn erreicht. Zudem konnte demonstriert w erden, dass das hybride Parallelisierungskonzept die erw arteten Vorteile bei der MPI-Kommunikation bringt. Der zu einer globalen Matrixtransposition verw endete, kollektive „MPI_alltoall“-Datenaustausch erfolgt nun nur noch zw ischen ganzen Prozessoren und nicht mehr zw ischen allen beteiligten Prozessorkernen, w as die Kommunikationszeiten deutlich reduziert. Auf dem Hochleistungsrechner der Max-Planck-Gesellschaft w erden damit neue Anw endungen mit bis zur maximalen Zahl von 8.192 Prozessorkernen bei hoher paralleler Effizienz möglich. 1.1.2 Neue Beschleuniger- beziehungsweise Coprozessorarchitekturen: NVidia GPU und Intel MIC (Xeon Phi) © 2013 Max-Planck-Gesellschaft w w w .mpg.de 2/7 Jahrbuch 2012/2013 | Dohmen, Renate; Lederer, Hermann; Rampp, Markus; Reetz, Johannes; Reuter, Klaus; Schott, Andreas | Hochleistungsrechnen, Datendienste und Visualisierung Mit Grafikkarten (GPUs) und Coprozessoren, basierend auf Intels „Many Integrated Cores“-(MIC)-Architektur, haben zw ei konzeptionell ähnliche, hochparallele Prozessorarchitekturen Einzug ins w issenschaftliche Hochleistungsrechnen genommen und w erden w eltw eit bereits in vielen Großrechnern eingesetzt. Beiden Technologien ist gemein, dass sie – im Vergleich zu konventionellen Mehrkernprozessoren (CPUs) – mit sehr vielen, hinsichtlich Taktfrequenz und Instruktionssatz aber reduzierten Recheneinheiten sehr große Rechenleistungen erzielen können, und das mit hoher Energieeffizienz. Um dieser Entw icklung Rechnung zu tragen, w urden am RZG im Laufe des Jahres 2012 ausgew ählte HPC-Applikationen hinsichtlich ihrer Eignung für solche Architekturen evaluiert. Für die in der Max-Planck-Gesellschaft entw ickelten Applikationen GENE (Mikroturbulenz in magnetisierten Kernfusions- oder astrophysikalischen Plasmen, Max-Planck-Institut für Plasmaphysik) und VERTEX (Typ-II-Supernova, Max-Planck-Institut für Astrophysik) beziehungsw eise MNDO (Quantenchemie, Max-Planck-Institut für Kohlenforschung) konnten auf mit jew eils zw ei GPUs beziehungsw eise Intel-MIC-Coprozessoren ausgestatteten Rechenclustern bereits Beschleunigungsfaktoren von etw a zw ei erreicht w erden. 1.1.3 Hoch-skalierbare Eigenwertlöser-Bibliothek ELPA Im ELPA-Projekt w aren – vom BMBF gefördert – hochskalierende direkte Eigenlöser für symmetrische Matrizen entw ickelt w orden. Die frei verfügbar gemachte Softw are w ird inzw ischen w eltw eit für verschiedenste Simulationssoftw arepakete auf Supercomputern eingesetzt. Je nach w issenschaftlicher Problemstellung kommen Matrizen ganz unterschiedlicher Größe und Art zum Einsatz. Bislang gab es nur Leistungsmessungen für die Lösung bestimmter Matrizen und unter Einsatz von Rechensystemen, die inzw ischen nicht mehr zu den allerneuesten Architekturen zählen. Deshalb w urde für einen großen Matrizenbereich ein multidimensionaler Parameterraum zum ersten Mal systematisch vermessen (auf einem Intel-Sandy-Bridge-Cluster am RZG). Die ELPA-Löser w urden mit entsprechenden Routinen aus der Intel Math Kernel Library (MKL) verglichen. Variiert w urden die Matrizengrößen von 2.500 bis 100.000, die Zahl der zu berechnenden Eigenvektoren von 10 bis 100 Prozent, sow ohl für reelle, w ie für komplexe Fälle. Gemessen w urden Leistungen auf einem Rechenknoten (mit 16 Prozessorkernen) bis zu 128 Knoten (mit 2.048 Prozessorkernen). In allen Fällen w ar ELPA den entsprechenden MKL-Routinen deutlich überlegen. Die umfangreiche Studie w urde in Form einer Posterpräsentation auf der Supercomputing-Konferenz 2012 in Salt Lake City vorgestellt und stieß auf reges internationales Interesse. 1.2 Visualisierung wissenschaftlicher Daten Das RZG betreibt für die Max-Planck-Gesellschaft und das Max-Planck-Institut für Plasmaphysik (IPP) eine zentrale Soft- und Hardw areinfrastruktur zur Visualisierung und quantitativen Analyse von Simulationsdatensätzen. Unabhängig vom Typ, der Leistung und dem Standort seines PCs kann ein W issenschaftler über das Internet Simulationsdaten, die auf den Großrechnern des RZG generiert w urden, mithilfe der besonders leistungsfähigen Grafik-Hardw are des Clusters interaktiv analysieren. Das RZG unterstützt W issenschaftler bei der Nutzung dieser Ressourcen und übernimmt konkrete Visualisierungsprojekte. © 2013 Max-Planck-Gesellschaft w w w .mpg.de 3/7 Jahrbuch 2012/2013 | Dohmen, Renate; Lederer, Hermann; Rampp, Markus; Reetz, Johannes; Reuter, Klaus; Schott, Andreas | Hochleistungsrechnen, Datendienste und Visualisierung A bb. 1: Einze lbild a us e ine r Anim a tion, we lche die Flugroute e ine s Voge ls illustrie rt, zusa m m e n m it W indve rhä ltnisse n und topogra fische n Da te n. © Da te n: Ma x -P la nck -Institut für O rnithologie ; Visua lisie rung: Kla us R e ute r, R ZG Als aktuelles Beispiel sei hier ein gemeinsames Visualisierungsprojekt mit dem Max-Planck-Institut für Ornithologie genannt. Die Abteilung „Tierw anderungen und Immunökologie“ (Martin W ikelski) erforscht die Wanderungen und Überlebensstrategien von Individuen. Es w erden unter anderem Vogelzüge mithilfe von GPS-Loggern aufgezeichnet. Die dadurch gew onnenen Daten w erden dann mit Geo-Daten korreliert. Am RZG w urde zur Veranschaulichung der Methodik eine Animation erstellt. Sie zeigt zunächst eine Menge von Punkten im 3D-Raum. Sie symbolisieren die einzelnen Messpunkte eines GPS-Loggers, der auf dem Rücken eines Vogels angebracht w urde. Durch eine Verbindung dieser Punkte zeigt sich im Anschluss die Route des Vogels, danach erscheint das Gitternetz einer Erdkugel, gefolgt von einer farblich codierten 3D-Topografie. Zuletzt w ird ein durch Pfeile visualisiertes Strömungsfeld der W inde eingeblendet. Der zw eite Teil der Animation zeigt die genannten Elemente gemeinsam im Zeitverlauf. Die Flugroute des Vogels erschließt sich dem Betrachter als eine von den W indverhältnissen beeinflusste Reaktion auf die topographischen Gegebenheiten (Abb. 1). 2 Datendienste Die Speicherung und Bereithaltung von komplexer und umfangreicher w erdenden Datenmengen stellt für alle W issenschafts- und Forschungsorganisationen eine große Herausforderung dar. Zahlreiche Institute der MaxPlanck-Gesellschaft haben hohe Anforderungen im Datenbereich (Abb. 2), w as zunehmend auch die Unterstützung durch die IT-Zentren der MPG erforderlich macht. A bb. 2: Ma x -P la nck -Institute m it hohe n Anforde runge n im Da te nm a na ge m e nt. © 2013 Max-Planck-Gesellschaft w w w .mpg.de 4/7 Jahrbuch 2012/2013 | Dohmen, Renate; Lederer, Hermann; Rampp, Markus; Reetz, Johannes; Reuter, Klaus; Schott, Andreas | Hochleistungsrechnen, Datendienste und Visualisierung Das RZG beteiligt sich daher am Aufbau und der Verbesserung der Datenservice-Infrastruktur innerhalb der Max-Planck-Gesellschaft, beispielsw eise um die Replikation von Daten zw ischen Instituten und IT-Zentren für die Zw ecke Datensicherung, Langzeitarchivierung und verteilte Verfügbarkeit zu vereinfachen. Die Bereitstellung von Forschungsdaten für die W issenschaftler der Max-Planck-Gesellschaft und ihre nationalen und internationalen Kollaborationspartner steht dabei ebenso im Fokus w ie diverse Unterstützungsleistungen bei Datenakquisition, ‑management, ‑suche, ‑ausw ertung und ‑aufbereitung. Daher arbeitet das RZG in entsprechenden Projekten von Max-Planck-Instituten mit. Darüber hinaus engagiert es sich in nationalen und europäischen Projekten und Initiativen, die auf die Lösung bestehender und zukünftiger Herausforderungen hinarbeiten. Generell w erden die Dienste des RZG in drei Kategorien unterteilt: die Behandlung und Speicherung von Daten in Form von Bitströmen, die Behandlung von Datenobjekten mitsamt Metadaten sow ie die projektspezifische Unterstützung. 2.1 Datenspeicherung – Datensicherung und Langzeitarchivierung Die Datensicherung und insbesondere die langfristige Speicherung von Daten erfolgt am RZG auf der Basis des High Performance Storage System (HPSS), das sehr hohen Anforderungen hinsichtlich Speicherkapazität, Verfügbarkeit, Zuverlässigkeit, I/O-Performanz und Skalierbarkeit genügt und deshalb w eltw eit von großen Datenzentren eingesetzt w ird. Neu akquirierte Daten w erden zumindest als Replikate vornehmlich dort abgelegt. Ältere Datenbestände w erden langfristig von anderen Speichermedien in dieses System überführt. Zur Erhöhung der Datensicherheit bei Langzeitarchivierung w ird eine Kopie in das Archivsystem am LeibnizRechenzentrum abgelegt. Für die Übertragung in das HPSS stehen verschiedene Schnittstellen zur Verfügung. Am häufigsten w ird derzeit die Möglichkeit genutzt, Dateien auf der Basis bestimmter Regeln transparent – also vom Nutzer unbemerkt – und automatisch zw ischen dem auf Plattenspeichersystemen aufsetzenden Dateisystem GPFS (Global Parallel Filesystem) und dem HPSS zu übertragen (Datenmigration, hierarchisches Speichermanagement). 2.2 Datenmanagement – Daten und Metadaten Die Behandlung von Daten und Metadaten erfordert im Allgemeinen die Zusammenarbeit mit den jew eiligen Dateneignern beziehungsw eise Urhebern. Das RZG stellt allerdings Hilfsmittel bereit, die allgemein zur Ablage und Organisation unterschiedlich strukturierter Daten (und Metadaten) genutzt w erden können. Im Wesentlichen sind dies verteilte, zum Teil hierarchische Dateisysteme (GPFS, AFS) und Datenbanken. Das RZG unterstützt auch die Entw icklung und den Betrieb von projektspezifischen Werkzeugen und Diensten für das Management von Daten. Neben den verteilten Dateisystemen w ird zunehmend die Softw are iRODS (integrated Rule-Oriented Data System) zur Replikation und Verteilung von Daten – auch zw ischen HPSS und anderen Speichersystemen – eingesetzt. iRODS ermöglich es, Datenobjekte automatisiert auf der Grundlage von Regeln zu verarbeiten (replizieren, verteilen, aggregieren, prozessieren, kurieren). Letztlich sind damit komplexe Workflow s möglich, da alle Daten einheitlich angesprochen w erden können. Ein w eiteres w ichtiges Anw endungsbeispiel ist die automatische Zuordnung von Datenobjekten zu eindeutigen, persistenten Identifizierern (PID). 2.3 Nationale und internationale Datenprojekte mit Beteiligung des RZG © 2013 Max-Planck-Gesellschaft w w w .mpg.de 5/7 Jahrbuch 2012/2013 | Dohmen, Renate; Lederer, Hermann; Rampp, Markus; Reetz, Johannes; Reuter, Klaus; Schott, Andreas | Hochleistungsrechnen, Datendienste und Visualisierung In dem europäischen Projekt EUDAT arbeiten Datenzentren w ie das RZG und das Deutsche Klimarechenzentrum (DKRZ) und w issenschaftliche Institute w ie das Max-Planck-Institut für Psycholinguistik und das Max-Planck-Institut für Meteorologie zusammen, um eine europäische Dateninfrastruktur aufzubauen. EUDAT beabsichtigt, die Organisation von Forschungsdaten und entsprechende Dienste in einer umfassenden, disziplinübergreifenden Weise abzudecken. Das betrifft unter anderem Klima-, Erdbeben- und Umw eltforschung, Sprachw issenschaften sow ie biologische und medizinische Forschung. Auch hier w ird iRODS zur Verw altung, Verarbeitung und Replikation von registrierten Daten verw endet, die über PIDs eindeutig und dauerhaft identifizierbar gemacht w orden sind. Das RZG koordiniert den Aufbau des Betriebs der EUDATInfrastruktur und ist an der Bereitstellung von Datendiensten und der Weiterentw icklung benötigter Techniken führend beteiligt. Das RZG ist in w eitere Projekte mit ähnlichen Zielsetzungen involviert. Dies sind auf dem Gebiet der Geistesw issenschaften die Projekte Clarin-D und DARIAH-DE des Bundesministeriums für Bildung und Forschung (BMBF), die in die Planungen der ESFRI (European Strategic Forum on Research Infrastructures) eingebunden sind. Mit dem EU-Projekt iCORDI sollen auf globaler Ebene Dateninfrastrukturen interoperabel gemacht w erden, damit Daten für viele Disziplinen w eltw eit gleichartig zur Verfügung stehen. Der erleichterte Austausch von Daten soll zudem die Vernetzung verschiedener w issenschaftlicher Disziplinen und dadurch auch die w issenschaftliche Qualität der Forschung stärken. 2.4 MPG-Datenprojekte mit Beteiligung des RZG Neben diesen Aktivitäten, die vornehmlich noch Aufbau und Entw icklung einer Infrastruktur für das Datenmanagement adressieren, realisiert Softw areentw icklungen. So w urde das RZG mit w eiteren Instituten datenprojektspezifische mit dem Max-Planck-Institut für Astrophysik im Projekt Galformod zusammengearbeitet. Zur w eiteren Ausw ertung der astrophysikalischen Simulationsdaten w erden diese über eine Datenbank auf Rechnern zur Verfügung gestellt, die den Nutzern komplexe Workflow s zur Datenanalyse erlauben. Zusammen mit dem Max-Planck-Institut für Ornithologie bietet das RZG verschiedene Dienste an. Für das Institut in Radolfzell w ird eine Umgebung von Rechnern bereitgestellt, die Daten zur Dokumentation des Vogelflugs beziehungsw eise von Tierbew egungen allgemein öffentlich verfügbar macht (movebank.org). Für das Institut in Seew iesen, an dem eine große Anzahl von Aufzeichnungen von Vogelstimmen vorliegt, w ird gemeinsam eine Schnittstelle erarbeitet, mit der diese Daten leichter verw altet w erden können. Darüber hinaus w ird das RZG auch eine zw eite Kopie dieser Daten archivieren. 3 Projektbeteiligungen auf MPG-, nationaler und internationaler Ebene Über die bereits vorgestellten Projekte mit Schw erpunkt im Datenmanagement hinaus ist das RZG an w eiteren, EDV-basierten Projekten beteiligt, die etw a die Erarbeitung und den Einsatz neuartiger Softw areTechniken oder die Inbetriebnahme umfangreicher Tools erfordern und vielfach eine Site-übergreifende Infrastruktur zum Ziel haben. So betreibt das RZG zusammen mit dem Max-Planck-Institut für Physik, dem Leibniz-Rechenzentrum (LRZ) und der Sektion Physik der LMU das Munich-Tier2-Gridzentrum für das Worldw ide LHC Computing Grid (W LCG) des CERN. In diesem Projekt w ird gemeinsame Rechenleistung für die Teilchenphysik-Experimente des CERN und die nötige Infrastruktur für den Zugriff auf die gemeinsamen Datenbestände bereitgestellt, die von vielen Instituten und Tausenden von W issenschaftlern w eltw eit genutzt w erden. Das RZG beteiligt sich auch am EU-Projekt PRACE (Partnership for Advanced Computing in Europe). © 2013 Max-Planck-Gesellschaft w w w .mpg.de 6/7 Jahrbuch 2012/2013 | Dohmen, Renate; Lederer, Hermann; Rampp, Markus; Reetz, Johannes; Reuter, Klaus; Schott, Andreas | Hochleistungsrechnen, Datendienste und Visualisierung Zusätzlich zu den neuen, dezidierten Tier-0-Systemen betreibt PRACE seit September 2011 die von früheren EU-DEISA-Projekten (ebenfalls unter Beteiligung des RZG) aufgebaute europäische Tier-1- Rechnerinfrastruktur, basierend auf nationalen HPC-Systemen. W issenschaftler der Max-Planck-Gesellschaft beteiligten sich bereits rege an Projekten zur Nutzung der Tier-0- und Tier-1-Ressourcen von PRACE. Des Weiteren ist das RZG an zw ei Projekten der Max-Planck-Gesellschaft beteiligt: MPG-AAI zum Aufbau einer MPGw eiten und föderalen Infrastruktur zur Zugriffskontrolle auf geschützte Web-Ressourcen sow ie maxNet, dem internen sozialen Netzw erk der Max-Planck-Gesellschaft. Speziell für Bioinformatik-Anw endungen stellt das RZG eine umfangreiche Soft- und Hardw areinfrastruktur zur Verfügung und unterstützt zahlreiche Arbeitsgruppen aus der Max-Planck Gesellschaft (aktuell zum Beispiel das MPI für Biophysik, Frankfurt/Main; das MPI für Ornithologie, Außenstelle Radolfzell; das MPI für Biochemie, Martinsried; das MPI für Pflanzenzüchtungsforschung, Köln sow ie das MPI für terrestrische Mikrobiologie, Marburg). © 2013 Max-Planck-Gesellschaft w w w .mpg.de 7/7