Airbus Defence and Space
Airbus

Bild mit Genehmigung der Airbus Defence and Space

Mit StorNext können wir unser Archiv jederzeit skalieren und sind damit auch in der Zukunft für neue Satellitenmissionen uns weitere Datensammlungen gerüstet.

 

Mark Curtis
Leiter der technischen Entwicklung, Airbus Defence and Space

Airbus Defence and Space nimmt PB-Archiv für Satellitendaten mit StorNext Scale-out Storage in Betrieb

Archivierung von Satellitendaten im Petabyte-Bereich

Die europäische Raumfahrtbehörde ESA (European Space Agency) befördert mit jeder Sentinel-Mission zwei Satelliten in den Orbit – innerhalb weniger Jahre nach Beginn des Programms wird die ESA vier Sentinel-Satelliten in der Erdumlaufbahn haben. Jeder Satellit überträgt mehr als 1 PB an Daten pro Jahr, und das über geplante 15 Jahre. Zur Speicherung all dieser Daten musste ein neues Archiv angelegt werden. „Wir archivieren nicht nur die Roh- oder Level-0-Daten der Instrumente, sondern auch die vom PGDS (Payload Data Ground Segment, für Nutzdaten zuständiges Bodensegment) verarbeiteten Daten, also Level-1- und -2-Produkte,“ erklärt Mark Curtis, Verantwortlicher für die technische Entwicklung bei Airbus Defence and Space. „Um ein langlebiges Archiv für diese Datenmengen zu erhalten, brauchten wir eine Speicherlösung, die sich auf mehrere Dutzend Petabyte skalieren lässt.“

Verwaltung mehrerer Millionen von Dateien, wirtschaftlich umgesetzt mit Tapes

„Wenn alle vier Satelliten im Orbit sind, müssen wir 40.000 Dateien täglich archivieren“, so Curtis. „Wir suchten also nach einem leistungsstarken Dateisystem, das zig Millionen Dateien verträgt.“ Außerdem sollte das Dateisystem eine ganze Palette an Dateigrößen und -typen unterstützen.

„Die Kostenkontrolle ist wesentlich, da wir für die Sentinel-Missionen Dutzende Petabyte an Daten speichern müssen“, erläutert Curtis. „Tape ist ein extrem günstiges Speichermedium: Jede Bandkassette speichert riesige Datenmengen zu geringen Kosten, und Tape Libraries haben einen geringeren Strom- und Kühlungsbedarf als schnellere Systeme.“ Tape eignet sich hervorragend für Anwendungen, in denen große Datenvolumen gestreamt werden.

Aufbau eines skalierbaren Multi-Tier-Archivs mit StorNext

Das Team von Airbus entschied sich für eine mehrstufige StorNext-Lösung mit StorNext AEL6000 Tape-Archiven, Metadaten-Appliances und Disk-Cache – alles auf der Basis von StorNext. Ein Grund für die Entscheidung zugunsten StorNexts waren frühere positive Erfahrungen mit Quantum bei Infoterra, einem Bildlieferanten für Google Earth, der inzwischen zu Airbus Defence and Space gehört.

„Bei Quantum hat man immer auf unsere Verbesserungsvorschläge für ihre Lösungen gehört“, berichtet Curtis. „Im Fall von StorNext 5 hat Quantum Feedback von uns und anderen Kunden integriert, was zur Entwicklung einer besseren Storage-Lösung beitrug.“

Das Archiv ist ursprünglich für 18 PB Daten ausgelegt, kann aber auf 37 PB skaliert werden. „Mit StorNext können wir unser Archiv problemlos skalieren“, erklärt Curtis, „und sind damit auch in der Zukunft für neue Satellitenmissionen und weitere Datensammlungen gerüstet.“

Kontinuierlicher Daten-Ingest und -Zugriff in Höchstgeschwindigkeit

„Unsere aktuelle Konfiguration liefert mit dem StorNext File System eine Performance von 1,1 GB/s“, so Curtis. „So können wir all die Rohdaten und verarbeiteten Daten, die wir erhalten, schnell einspeisen und rasch wieder auffinden, falls nötig.“ In der Regel kann das Airbus-Team einzelne Dateien in weniger als einer Minute aus dem Archiv zurückladen, und dank Fibre-Channel-Konnektivität werden auch große Datentransfers schnell bereitgestellt. Das System unterstützt alle gängigen Betriebssysteme, darunter Linux und Windows.

Sicherung von Daten mit geringem Personalaufwand

Die EDLM (Extended Data Life Management)-Funktionen helfen bei der Sicherung der Daten. „Die regelbasierten EDLM-Funktionen des StorNext-Tape-Archivs helfen dabei, die Integrität der Daten auf den Bändern langfristig zu wahren“, so Curtis. Werden bei einer Kassette Qualitätsprobleme festgestellt, migriert StorNext automatisch die Daten auf ein besseres Tape, ohne dass hierfür das Eingreifen eines Administrators nötig ist. EDLM ist ein absoluter Pluspunkt.“

„Die Administrationskosten bei StorNext sind ziemlich niedrig“, schildert Curtis. „Mit der Quantum Lösung reichen zwei Mitarbeiter, um dieses wachsende PB-Archiv mit Satellitendaten zu verwalten.“

Mehr Flexibilität für unerwarteten Datenzuwachs

StorNext passt sich auch an neuen Anforderungen an. Ein neu geplantes Relais-Satellitensystem etwa wird voraussichtlich sehr viel mehr Speicher benötigen als ursprünglich vorgesehen. „Glücklicherweise können wir mit StorNext unsere Umgebung ganz einfach skalieren. Wir können ohne großen Aufwand neue Archivsysteme hinzufügen – und auf LTO-7 umsteigen – und damit auch den neuen Anforderungen an die Datensicherung gerecht werden“, erläutert Curtis.

„Wenn die ESA die nächsten Sentinel-Satelliten ins All befördert, werden sich die Speicheranforderungen vielleicht wieder ändern“, so Curtis. „Aber dank StorNext sind wir vorbereitet.“

Leistungsmerkmale

  • Skaliert auf Dutzende Petabyte an Daten, die von Erdbeobachtungsatelliten übertragen werden
  • Bietet Millionen potenziellen Nutzern Zugang zu Satellitendaten
  • Verwaltet Millionen Dateien in allen Größen mithilfe eines Shared-File-Systems in Hochgeschwindigkeit mit regelgesteuertem mehrstufigen Archiv
  • Sichert archivierte Satellitendaten mit integrierten Datenschutzfunktionen
  • Ermöglicht einem kleinen Team die Verwaltung eines großen Archivs dank optimierter Administration

Über Airbus Defence and Space

Als Geschäftsbereich der Airbus Group ist Airbus Defence and Space das größte europäische Unternehmen in der militärischen Luftfahrt sowie militärischen und zivilen Raumfahrt. Es ist das zweitgrößte Raumfahrtunternehmen weltweit und zählt zur Top-Ten der weltgrößten Unternehmen in der Verteidigungsbranche. Airbus Defence and Space ist für die Archivierung der gigantischen Datenmengen zuständig, die ununterbrochen von den Sentinel-Satelliten der ESA (European Space Agency) übertragen werden.

Airbus Defence and Space archiviert Daten der Sentinel-Erdbeobachtungssatelliten der ESA für den kommerziellen Einsatz. „Unternehmen verwenden Satellitendaten beispielsweise, um die Gefahr von Überschwemmungen für ein bestimmtes Gebiet zu bestimmen oder um Standorte für die Errichtung von Mobilfunkmasten zu identifizieren “, sagt Mark Curtis, Spezialist für technische Entwicklung bei Airbus Defence and Space. „Vielfach wollen unser Kunden auch mithilfe von Bildvergleichen Veränderungen im Zeitverlauf nachvollziehen. Mit den Satellitenaufnahmen haben sie die Informationen, die sie benötigen, um sichere, präzise und datenzentrierte Entscheidungen treffen zu können.“