Center for Remote Sensing of Ice Sheets
an der University of Kansas
CReSIS

Abbildung mit freundlicher Genehmigung der NASA

Mit der StorNext-Plattform können wir unsere gesamte mehrstufige Speicherlösung mit Tape, primären Festplatten und HPC-Cluster über ein zentrales Dateisystem verwalten.

 

Riley Epperson
IT Engineer, Center for Remote Sensing of Ice Sheets, University of Kansas

CRESIS MISST AUSWIRKUNGEN STEIGENDER MEERESSPIEGEL MITHILFE VON STORNEXT

Das Center for Remote Sensing of Ice Sheets (CReSIS) schickt unter Leitung eines Teams der University of Kansas Eisradar nach Grönland und in die Antarktis, wo Veränderungen an den Eisplatten aufgenommen und verfolgt werden. Zur Speicherung der wachsenden Datenbestände benötigte das CReSIS eine neue Lösung.

Mittels Radar durch Eisschichten

Das 2005 mit Fördergeldern der National Science Foundation gegründete CReSIS widmet sich der präzisen Messung der Veränderungen an den Eismassen der Erde. Die Forscher setzen hochentwickelte Radarsysteme ein, die oft an der Unterseite von Flugzeugen angebracht werden. „Durch die Kartierung der Schichten, Betten und Oberflächen von Gletschern in Grönland und der Antarktis können Wissenschaftler die aktuellen Folgen des Klimawandels auf das Eis beurteilen und daraus Prognosen zu künftigen Auswirkungen erstellen“, erläutert Riley Epperson, IT Engineer beim CReSIS.

Bis zu 150 TB an wissenschaftlichen Daten pro Mission

Das Volumen der in den Einsätzen gesammelten Daten hat sich im Lauf der Jahre drastisch erhöht. „2005 haben die Forscher pro Mission vielleicht 100 GB erfasst“, so Epperson. „Seitdem haben unsere Ingenieure die Funktionalität der Radarsysteme laufend verbessert. Heutige Systeme liefern Aufnahmen in deutlich höheren Auflösungen, sodass die Forscher inzwischen eher mit 150 TB von einer Mission zurückkehren.“

Durch das steigende Volumen an Rohdaten aus Einsätzen verlangsamen sich oft auch die Workflows. „Je mehr Daten erfasst werden, desto langwieriger ist auch die Einspeisung, Verifizierung und Bereinigung dieser Daten“, so Epperson. „Wir mussten uns deshalb nach einer Lösung umsehen, mit der wir die Effizienz unseres Workflows verbessern konnten.“

Gesucht: Eine hoch performante, skalierbare Speicherplattform

Das IT-Team des CReSIS entschloss sich dazu, das bisher zur Speicherung und Verwaltung der Forschungsdaten verwendete Dateisystem aufzugeben. „Wir benötigten einen neuen Ansatz für unser großes und wachsendes Datenvolumen, wollten aber auch unseren vorhandenen Storage weiter nutzen“, so Epperson.

Das IT-Team legte zudem Wert auf ein Dateisystem, mit dem sich der Durchsatz steigern ließ. „Kollegen und Partner müssen die von uns eingespeisten Daten analysieren und verarbeiten, um daraus geeignete Forschungsprodukte entwickeln zu können“, so Epperson. „Bei bestimmten Partnern, etwa der NASA, müssen wir unsere Daten innerhalb eines bestimmten Zeitrahmens liefern.“

Gesucht: Eine Lösung, die sich günstiger skalieren lässt

Das IT-Team des CReSIS benötigte auch Datenmanagementfunktionen für eine mehrstufige Speicherumgebung. „Wir speisen nur zwei- bis dreimal pro Jahr Rohdaten ein – das heißt, dass etwa 80 Prozent unserer Daten nicht aktiv genutzt werden“, erläutert Epperson. „Wir suchten eine Lösung, mit der wir inaktive Daten unkompliziert auf Tape verschieben und bei Bedarf wieder zurückladen können.“

Aufbau einer flexibleren großen Speicherumgebung mit StorNext

Nach Prüfung verschiedener neuer Dateisysteme und Datenmanagementlösungen entschied sich das CReSIS-Team für die Quantum StorNext-Plattform. Die Lösung basiert auf der StorNext-Datenmanagementsoftware und umfasst ein hoch performantes gemeinsames Dateisystem und eine Software für regelbasiertes Tiering.

Mit der StorNext-Plattform kann das CReSIS-Team auch eine in die Jahre gekommene primäre Festplatten weiterhin nutzen und gleichzeitig ein Tape-Archiv als zusätzliche Speicherebene einbinden. „Mit der StorNext-Plattform können wir unsere gesamte mehrstufige Speicherlösung mit Tape, primären Festplatten und HPC-Cluster über ein zentrales Dateisystem verwalten“, so Epperson.

Beschleunigte Einspeisung plus HPC-Workflows zur Klimaforschung

Die Größenbeschränkungen für die Speicherpools unseres alten Systems sind mit StorNext Vergangenheit. Anstelle der bisherigen 100 Disks setzt das CReSIS aktuell 600 Disks in einem einzelnen Dateisystem ein. Das Ergebnis ist eine überragende Performance.

„Im Vergleich zur vorherigen Umgebung haben wir unsere Speicherperformance mehr als verdreifacht“, so Epperson. „Mit StorNext lassen sich die steigenden Datenmengen schneller einspeisen und verarbeiten, sodass wir unsere Deadlines weiterhin einhalten.“

Der Hochgeschwindigkeitsspeicher trägt dazu bei, den Gesamtworkflow zu beschleunigen. „Je schneller wir Daten zur Verarbeitung in unser HPC-Cluster verschieben können, desto schneller können wir sie den Wissenschaftlern zur Verfügung stellen“, so Epperson.

Kostenkontrolle durch Multi-Tiering

Durch die Umstellung auf die StorNext-Plattform konnte das CReSIS seine Speicherumgebung erweitern und gleichzeitig dank wirtschaftlicher Tape-Archive die Kosten im Griff behalten. Die Einsparungen haben sich schnell summiert. „StorNext bietet eine äußerst attraktive Investitionsrendite“, so Epperson.

Zudem ist StorNext auch flexibel genug, um sich vorher kaum kalkulierbaren Änderungen des Speicherbedarfs anzupassen. „Unser Datenwachstum entwickelt sich nicht konstant“, erläutert Epperson. Mit jedem neuen Radarsystem, das unsere Ingenieure entwickeln, können die Speicheranforderungen für eine Mission um das Fünffache steigen Dank StorNext stellen wir uns spielend darauf ein.“

Verwendete Produkte

Leistungsmerkmale

  • Skalierbarkeit: Wächst mit den Anforderungen, da mit jeder Mission mehr Eisdaten erfasst werden
  • 3x größere Speicherperformance: Schnellere Workflows selbst bei anhaltendem Datenwachstum
  • Kosteneinsparungen durch Einsatz wirtschaftlicher Tape-Archive
  • Mehrstufige Speicherumgebung ohne zusätzlichen Verwaltungsaufwand

Über das CReSIS

Das Center for Remote Sensing of Ice Sheets (CReSIS) an der University of Kansas hat sich zum Ziel gesetzt, einen aktiven Beitrag zu den aktuellen, dringend erforderlichen Maßnahmen angesichts des Klimawandels zu leisten. Mit der Speicherung, Verwaltung und Bereitstellung der bei der Untersuchung der Eisplatten erfassten Daten unterstützt das IT-Team des CReSIS darüber hinaus auch neue wissenschaftliche Studien.