GWDG
Unserer Erfahrung nach ist StorNext die einzige Plattform, die Dateien und Daten in dem von uns geforderten Umfang stemmen kann, ohne dabei an Leistungskraft einzubüßen.

 

Stefan Teusch
Stellvertretender Leiter der Arbeitsgruppe "IT-Infrastruktur", GWDG

GWDG UNTERSTÜTZT MIT STORNEXT BAHNBRECHENDE FORSCHUNGEN DER UNIVERSITÄT GÖTTINGEN UND DER MAX-PLANCK-GESELLSCHAFT

Die GWDG unterstützt wissenschaftliche Studien der Universität Göttingen und der Max-Planck-Gesellschaft in Fachbereichen von der Genomik bis zu den Geisteswissenschaften. Die Studien erhöhen den jährlichen Speicherbedarf um nahezu das Doppelte. „DNA-Sequenzierungen der neuesten Generation zum Beispiel produzieren Unmengen an Daten“, berichtet Dr. Philipp Wieder, Stellvertretender Leiter an der GWDG (Gesellschaft für wissenschaftliche Datenverarbeitung mbH Göttingen). „Ein Team musste für ein einziges Projekt 300 TB Daten speichern.“

Die GWDG unterstützt ebenfalls die Staats- und Universitätsbibliothek Göttingen, und damit die Universität, den Staat Niedersachsen und die Akademie der Wissenschaften zu Göttingen. „Die Bibliothek digitalisiert derzeit ihre Texte und erstellt Modelle physischer Objekte“, so Wieder. „All diese Daten müssen irgendwo gespeichert werden.“

Mit mehr als 40.000 Nutzern „benötigten [wir] ein Dateisystem, das Milliarden Dateien und ein massives Datenvolumen unterstützen kann“, erläutert Stefan Teusch, Stellvertretender Leiter der Arbeitsgruppe der GWDG.

Aufbau einer 7 PB großen mehrstufigen Speicherumgebung mit Disk und Tape

Das Speichersystem der GWDG besteht aus mehreren Ebenen. „2,5 PB unserer Daten sind jetzt mit StorNext auf Disk gespeichert und 5,5 PB auf Tape“, so Teusch. „Unser Ziel war, die Daten über ein einzelnes Dateisystem abrufbar zu machen.“ Durch die Kostenvorteile von Tape Libraries kann die GWDG Daten für die geforderte Dauer von 10 Jahren oder länger vorhalten.

Das Rechenzentrum der GWDG installierte Quantum StorNext vor mehr als einem Jahrzehnt und hat das System seither laufend erweitert. „Nach unserer Erfahrung ist StorNext die einzige Plattform, die Dateien und Daten in dem von uns geforderten Umfang stemmen kann, ohne dabei an Leistungskraft einzubüßen“, so Teusch.

Unkomplizierte Unterstützung aller von den Wissenschaftlern verwendeten Betriebssysteme

StorNext ermöglicht es der GWDG, sämtliche Betriebssysteme ihrer Endanwender zu unterstützen. „Viele Wissenschaftler, vor allem Naturwissenschaftler, arbeiten mit UNIX oder Linux, während andere Nutzer Windows oder MacOS bevorzugen. Einige Institute verwenden sogar ausschließlich Macs“, so Teusch. „Mit StorNext können wir all diese Betriebssysteme mühelos unterstützen. Alle Anwender können auf die benötigten Daten zugreifen, ohne dafür Änderungen an ihren Workflows vornehmen zu müssen.“

HPC-Verarbeitung mit schnellem Shared Storage über Ethernet

Um den gemeinsamen Datenzugriff aus der StorNext-Umgebung auf das HPC-Cluster zu ermöglichen, installierte das IT-Team StorNext Distributed LAN-Clients (DLCs) und Gateways für Lastausgleich und Failover. „Dank StorNext DLC sind keine FC-Verbindungen für die HPC-Nodes erforderlich“, erläutert Teusch. „So können wir weiterhin ein herkömmliches Ethernet-Netzwerk verwenden. HPC-Nutzer benötigen eine Performance von 2 GB pro Sekunde. Mit StorNext DLC erzielen wir 3,2 GB pro Sekunde,“ so Teusch. „So können Forscher innerhalb kurzer Zeit große Datenmengen in die HPC-Cluster laden, sie dort verarbeiten und anschließend wieder in den langfristigen Speicher zurückverschieben.“

Vorhaltung von Datenkopien für DR-Zwecke

Die Datensicherung erfolgt regelbasiert, d. h. StorNext legt automatisch Kopien der Primärdaten auf Band an. „Sollte ein Hardwaregerät oder ein Speichersystem ausfallen, können wir auf die Kopie im StorNext Tape-Archiv zurückgreifen und die Daten schnell wiederherstellen“, berichtet Teusch. „Auf diese Weise verlieren die Anwender so gut wie keine Arbeitszeit.“

Trotz des anhaltenden Wachstums lässt sich die mehrstufige StorNext-Speicherumgebung nach wie vor unkompliziert verwalten. Das IT-Team musste bisher weder zusätzliche Mitarbeiter einstellen noch Teammitglieder von anderen Projekten abziehen.

Blick in die Zukunft zeigt Netz aus verbundenen StorNext-Umgebungen

Im Hinblick auf die künftige Entwicklung prüft die IT der GWDG neue Formen eines StorNext-Einsatzes, darunter den Aufbau eines deutschlandweiten Netzwerks aus verbundenen StorNext-Umgebungen. Für das IT-Team der GWDG ist StorNext in Sachen Skalierbarkeit, Performance und Verwaltbarkeit die ideale Speicherlösung.

„StorNext wurde den Erfordernissen trotz immer komplexerer Workflows, Weiterentwicklungen in der IT-Umgebung und Änderungen auf Führungsebene stets gerecht“, so Wieder. Wir sind sicher, dass StorNext auch in Zukunft unsere Anforderungen erfüllen wird.“

Verwendete Produkte

Leistungsmerkmale

  • Verwaltet PB an Daten mit Milliarden Dateien auf mehreren Speicherebenen in einem einzigen Dateisystem
  • Ausgelegt auf wachstumsintensive Umgebungen, deren Datenvolumen sich jedes Jahr nahezu verdoppelt
  • HPC-Verarbeitung in Hochgeschwindigkeit mittels StorNext DLC über IP
  • Heterogener Datenzugriff über alle gängigen Betriebssysteme
  • Daten- und Ausfallschutz durch integriertes Backup und Disaster Recovery (DR)
  • Geringer Personalaufwand für ein großes Archiv durch vereinfachte Verwaltung

Über die GWDG

Die Gesellschaft für wissenschaftliche Datenverarbeitung mbH Göttingen (GWDG) ist ein von der Universität Göttingen und der Max-Planck-Gesellschaft gemeinsam betriebenes Rechen- und IT-Kompetenzzentrum, das verschiedene grundlegende IT-Services, Datenmanagement-Lösungen und Datenverarbeitungsressourcen für wissenschaftliche Forschungs- und Ausbildungszwecke bereitstellt. Das Zentrum hat eine großvolumige Speicherumgebung aufgebaut, um Millionen Dateien und ein massives Datenvolumen für Zehntausende Anwender zu speichern, zu schützen und verfügbar zu halten.