Airbus Defence and Space
Airbus

Imagen por cortesía de Airbus Defence and Space

StorNext nos permite escalar fácilmente nuestro archivo, por lo que podemos respaldar nuevas misiones de satélites y recopilar datos adicionales a largo plazo.

 

Mark Curtis
Experto en diseño técnico, Airbus Defence and Space

Airbus Defence and Space lanza un archivo a escala de petabytes para datos de satélite con almacenamiento escalable StorNext

Cómo archivar petabytes de datos de satélite

La Agencia Espacial Europea (ESA) va a lanzar dos satélites para cada misión de Sentinel; a los pocos años del inicio del programa, ESA tendrá en órbita cuatro satélites Sentinel. Cada satélite envía más de 1 PB al año, durante un período de 15 años. Conservar todos estos datos requería un nuevo archivo. "No solamente archivamos los datos de instrumentos, sin procesar, de nivel 0, sino también los datos procesados por el Segmento terrestre de datos de utilidad de ESA, que genera productos de nivel 1 y nivel 2", indica Mark Curtis, experto en diseño técnico de Airbus Defence and Space. "Para proporcionar un archivo a largo plazo para todos esos datos, necesitábamos una solución de almacenamiento que se pudiera escalar hasta decenas de petabytes."

Cómo gestionar millones de archivos, aprovechando el ahorro de cinta

"Cuando hay cuatro satélites en órbita, tendremos que archivar 40.000 archivos al día", comenta Curtis. "Necesitábamos un sólido sistema de archivos que pudiera admitir decenas de millones de archivos". Y además necesitaba soportar una amplia variedad de tamaños y tipos.

"El control de los costes es fundamental, ya que necesitamos almacenar decenas de petabytes de datos para las misiones de los Sentinel", dice Curtis. "La cinta es muy económica: Cada cartucho de cinta puede almacenar una cantidad inmensa de datos de forma económica, y las bibliotecas de cinta requieren menos potencia y refrigeración que los sistemas de almacenamiento de velocidad más rápida". Y la cinta es muy apropiada para aplicaciones en las que fluyen grandes volúmenes de datos.

Creación de un archivo de múltiples niveles escalable con StorNext

El equipo de Airbus seleccionó una solución StorNext de múltiples niveles, incluyendo los archivos en cinta StorNext AEL6000, dispositivos de metadatos, así como caché de disco: todo ello activado mediante StorNext. Se eligió StorNext en parte por las experiencias anteriores con Quantum en Infoterra, un proveedor de imágenes de Google Earth que ahora forma parte de Airbus Defence and Space.

"Quantum siempre ha respondido a nuestras solicitudes de mejora de sus soluciones", indica Curtis. "En el caso de StorNext 5, Quantum incorporó aportaciones nuestras y de otras empresas, que contribuyeron a crear una solución de almacenamiento más potente".

Inicialmente, el archivo admite 18 PB de datos, pero puede escalar hasta 37 PB. "StorNext nos permite escalar fácilmente nuestro archivo", explica Curtis, "por lo que podemos respaldar nuevas misiones de satélites y recopilar datos adicionales a largo plazo".

Cómo permitir el procesamiento y el acceso continuos de datos de alta velocidad

"Nuestra configuración actual admite un rendimiento de 1,1 GB/s con el sistema de archivos StorNext", dice Curtis. "Como consecuencia de esto, podemos procesar rápidamente todos los datos, procesados y sin procesar, que recibimos, y recuperarlos rápidamente cuando sea necesario". En muchos casos, el equipo de Airbus puede recuperar archivos individuales del archivo en menos de un minuto, y las conexiones de Fibre Channel significan que grandes transferencias también se entregan rápidamente. El sistema soporta una gama completa de sistemas operativos, que incluye tanto a Linux como a Windows.

Cómo proteger los datos mientras se mantienen niveles de plantilla reducidos

Las funciones de la gestión de la vida extendida de los datos (Extended Data Life Management o EDLM) contribuye a proteger los datos. "Las funciones de EDLM basadas en políticas del archivo de cinta de StorNext contribuye de manera proactiva a mantener la integridad de los datos de las cintas a largo plazo", explica Curtis. "Si surge un problema con una cinta, StorNext automáticamente migra datos a una cinta mejor, sin que nuestros administradores tengan que mover un dedo. EDLM ofrece una inmensa ventaja".

"Los costes administrativos con StorNext son muy bajos", afirma Curtis. "Con la solución de Quantum, dos de nosotros podemos ocuparnos fácilmente de este archivo de petaescala, cada vez mayor, de datos de satélites".

Obtener flexibilidad para un crecimiento de datos imprevisto

StorNext también contribuye a satisfacer las necesidades en continuo cambio. Es de esperar que un sistema de satélites de retransmisión de datos, por ejemplo, aumente las necesidades de datos más allá de las previsiones originales. "Afortunadamente, StorNext nos permite escalar fácilmente nuestro entorno. Podemos añadir nuevos sistemas de archivos —y transferirlos a LTO-7—para satisfacer estas necesidades de recopilación de datos nuevos sin una revisión extraordinaria", comenta Curtis.

"A medida que ESA lance la siguiente serie de satélites Sentinel, las necesidades de almacenamiento podrían cambiar de nuevo", dice Curtis. "Con la solución de StorNext, estamos preparados".

Ventajas clave

  • Escalas para soportar decenas de petabytes de datos que fluyen desde satélites de observación de la Tierra
  • Presta servicio a millones de usuarios potenciales, proporcionando acceso a datos de satélites
  • Gestiona millones de archivos, de todos los tamaños, utilizando un sistema de archivos compartidos de alta velocidad, con un archivo por niveles basado en políticas
  • Salvaguarda los datos de satélites archivados con capacidades de protección de datos incorporadas
  • Permite que una pequeña plantilla gestione un gran archivo, con funciones que racionalizan la administración

Acerca de Airbus Defence and Space

Una división de Airbus Group, Airbus Defence and Space es el principal proveedor de Europa de soluciones y servicios para las industrias de defensa y espacial. Es la segunda empresa espacial más grande del mundo y está entre las diez empresas de defensa más grandes a escala mundial. Airbus Defence and Space se encarga de archivar una inmensa cantidad de datos que fluyen continuamente desde los satélites Sentinel de la Agencia Espacial Europea (ESA). Airbus Defence and Space archiva datos de los satélites de observación de la Tierra Sentinel de ESA para uso comercial. "Una empresa podría utilizar imágenes de satélite para determinar si una zona es propensa a inundaciones o para identificar ubicaciones para construir una torre de teléfonos móviles", dice Mark Curtis, experto en diseño técnico de Airbus Defence and Space. "En muchos casos, los usuarios desean rastrear los cambios con el tiempo comparando conjuntos de imágenes de un período y otro. Las imágenes de satélite les proporcionan la información que necesitan para tomar decisiones precisas y basadas en datos".