Erdbeobachtungssystem (EOS) der NASA
Wir benötigten ein robustes Speichersystem, das sich für die Verarbeitung von sehr großen Datensätzen auf unterschiedlichen Medientypen skalieren lässt. Darüber hinaus musste es eine stabile Lösung sein, die unseren Betrieb rund um die Uhr unterstützen kann.
Technischer Projektleiter für EOSDIS, Raytheon

Zugriff auf Petabytes an Daten

Datenmanagementsoftware von Quantum verwaltet Archiv für Erdbeobachtungsdaten

Die EOS-Satelliten der NASA übertragen täglich mehrere Terabyte Daten über die Erde, die Ozeane und die Atmosphäre. Im Rahmen des EOSDIS (Earth Observing System Data and Information System) stellt die NASA diese Daten Klimaforschern aus aller Welt zur Verfügung – eines der ehrgeizigsten Datenprojekte aller Zeiten. Die Speicherung dieser unersetzlichen Informationen ist der Datenmanagement-Software von Quantum anvertraut.

Eskalierendes Datenwachstum

Seit seinem Start im Jahr 1999 hat sich das EOSDIS der NASA zu einem der größten und aktivsten Datenarchive weltweit entwickelt. Pro Tag gehen allein 3 Terabyte an neuen Daten ein. Zusätzlich werden 2 Terabyte an vorhandenen Informationen an Forscher aus aller Welt weitergegeben. Insgesamt erhalten damit Hunderttausende Benutzer Zugriff auf über 20 Millionen Dateien mit einem Datenvolumen von insgesamt mehr als einem Petabyte.

Die Kernkomponenten des EOSDIS wurden von Raytheon Imagery and Geospatial Systems entwickelt. „Diese Daten stellen eine nationale Ressource dar, die uns nie da gewesene Einblicke in aktuelle Erdveränderungen liefern wird“, erklärt der technische Projektleiter bei Raytheon. „Speicherung, Organisation und Bereitstellung der Daten für Forscher sind kritische Aufgaben und stellen eine gewaltige Herausforderung dar.“

Aufgrund des schieren Umfangs des Projekts musste das System so strukturiert werden, dass Anwendungen Daten direkt in automatisierte Tape Libraries schreiben und auch wieder direkt daraus auslesen können. „…wir benötigten ein robustes, skalierbares Speichersystem, das sehr große Datensätze auf unterschiedlichen Medientypen verarbeiten kann“, erläutert der technische Projektleiter von Raytheon. „Darüber hinaus musste es eine stabile Lösung sein, die unseren Betrieb rund um die Uhr unterstützen kann.“

Hoch performanter Datenzugriff mit Disk und Tape

Ausschlaggebend für den Erfolg des EOSDIS-Projekts war die Entwicklung eines Systems zur Verwaltung des Hochgeschwindigkeits-Disk-Caches, in dem kontinuierlich die Metadaten vorgehalten werden, die für schnelle Suchläufe in den auf Tape gespeicherten Millionen von Dateien und Petabytes an Primärdaten erforderlich sind. Quantums Datenmanagement-Software fungiert in diesem System als Bindeglied, das einen effizienteren Zugriff der Anwender auf das System ermöglicht.

Die Software wandelt Tape Libraries in einen Online-Massenspeicher mit Direktzugriff um und stellt damit Anwendern, Administratoren und Anwendungen ein Datenarchiv im Petabyte-Bereich zur Verfügung. Die automatisierten Tape Libraries werden als ein Gerät mit einem UNIX-Einhängepunkt darstellt. So können Anwender auf die gleiche Weise auf die Dateien in den Tape Libraries zugreifen, als würden sie auf Disk liegen. Quantum verwaltet den Disk-Cache, hält die Metadaten online in hoch verfügbaren Serverclustern vor und kann problemlos für eine quasi unbeschränkten Anzahl von Dateien skaliert werden.

„Mit dem fertigen System holen wir das Optimum aus unseren Speicherressourcen heraus“, so der technische Projektleiter von Raytheon weiter. „Wir verfügen über eine hochleistungsfähige, äußerst robuste Speicherumgebung mit einfachem Datenzugriff aus all unseren Anwendungen sowie einer optimalen Ressourcenauslastung. Das Zurückladen von Dateien, die Bereitstellung im Disk-Cache und die Ausgabe als Datei oder Kopie auf Medien erfolgen vollständig im Hintergrund.“ Für die Anwender, die über die EOSDIS-Website auf die Daten zugreifen, sieht es so aus, als wären alle Daten in einer einzigen Datenbank gespeichert.

Mit der Unterstützung bei der Systemarchitektur sowie dem fortlaufenden Service hatte Quantum entscheidenden Anteil am Projekterfolg. Fazit des technischen Projektleiters von Raytheon: „Das uneingeschränkte Engagement der wichtigsten Anbieter war einer der größten Erfolgsfaktoren bei diesem Projekt.“

Verwendete Produkte

  • Anwendung: Automatische Speicherung und Bereitstellung von Satellitendaten der NASA
  • Quantums Datenmanagement-Software
  • Tape-Speicher: Automatisierte Tape Libraries
  • Server- und Speicherumgebung: SGI IRIX-Server

Leistungsmerkmale

  • Bereitstellung eines hoch zuverlässigen und extrem skalierbaren Archivs
  • Unterstützung mehrerer Medientypen – Tape zur Primärspeicherung und Disk-Cache für Hochgeschwindigkeits-Suche
  • Direkter Datenzugriff für die globale Benutzer-Community
  • Aktive Unterstützung durch Quantum als wesentlicher Erfolgsfaktor bei der Implementierung
  • Integration mit zahlreichen
    unterschiedlichen UNIX-Plattformen

Über EOS

Das Erdbeobachtungssystem (EOS – Earth Observing System) ist das Kernstück der NASA-Initiative Earth Science Enterprise. Es besteht aus einer wissenschaftlichen Komponente und einem Datensystem und unterstützt eine koordinierte Reihe von Satelliten mit polarem Orbit und niedriger Inklination für die langfristige Erkundung der weltweiten Landoberflächen, der Biosphäre, der Erdkruste, der Atmosphäre und den Ozeanen. Das EOS-Programm vermittelt uns ein besseres Verständnis von der Erde als integriertem System und ist daher für die gesamte Menschheit von großem Nutzen.