Sistema de Observación de la Tierra de la NASA (EOS)
Necesitábamos un sistema de almacenamiento robusto que pudiera escalarse para manejar conjuntos de datos masivos almacenados en diversos tipos de medios. También necesitábamos una solución estable que pudiera soportar nuestro funcionamiento las 24 horas del día, los 7 días de la semana.
Director técnico del Proyecto EOSDIS en Raytheon

Administración del acceso a petabytes de datos

El software de administración de datos de Quantum administra el archivo de datos de observación de la Tierra

Todos los días los satélites del Sistema de Observación de la Tierra de la NASA transmiten terabytes de datos acerca de la tierra, los océanos y la atmósfera. Los datos se ponen a disposición de los investigadores del clima en todo el mundo a través del Sistema de Observación de la Tierra y el Sistema de Información de la NASA (Earth Observing System Data and Information System, EOSDIS), que es uno de los proyectos de datos más ambiciosos jamás vistos. El almacenamiento de esta información insustituible se ha encomendado al software de administración de datos de Quantum.

Escalamiento del crecimiento de datos

Desde que se puso en línea en 1999, el EOSDIS de la NASA se ha convertido en uno de los depósitos de datos más grandes y más activos de todo el mundo. Todos los días, recibe 3 terabytes de datos nuevos, distribuye 2 terabytes de información existente a investigadores en todo el mundo y otorga acceso a cientos de miles de usuarios a más de 20 millones de archivos que contienen más de un petabyte de información.

Los componentes centrales de EOSDIS fueron desarrollados por los sistemas geoespaciales y de imágenes de Raytheon. "Estos datos son un recurso nacional que proporcionará grandes conocimientos sobre cómo está cambiando la Tierra,” afirma el director técnico del proyecto en Raytheon. "Almacenar, organizar y poner a disposición de los investigadores estos datos son tareas críticas y suponen un gran desafío”.

La envergadura de la tarea requería que el sistema estuviera estructurado de forma que las aplicaciones pudieran escribir datos y leerlos directamente desde bibliotecas de cintas automatizadas. "... necesitábamos un sistema de almacenamiento robusto que pudiera escalarse para manejar conjuntos de datos masivos almacenados en diversos tipos de medios", explica el director técnico del proyecto en Raytheon. "También necesitábamos una solución estable que pudiera soportar nuestro funcionamiento las 24 horas del día, los 7 días de la semana".

Acceso a datos de alto rendimiento con disco y cinta

Una clave para el éxito de EOSDIS consistía en desarrollar un sistema para administrar el caché en disco de alta velocidad que mantuviera los metadatos disponibles continuamente para búsquedas rápidas en millones de archivos y petabytes de datos primarios que se almacenan en cinta. El software de administración de datos de Quantum une todo el sistema y permite que los usuarios tengan acceso eficaz.

El software de administración de datos de Quantum transforma las bibliotecas de cinta en un almacenamiento masivo en línea de acceso directo, lo que permite que los usuarios, administradores y aplicaciones archiven petabytes de datos. El software de administración de datos de Quantum presenta las bibliotecas de cinta automatizadas como un dispositivo y un punto de montaje de UNIX, de tal forma que los usuarios pueden tener acceso a los archivos que residen en las bibliotecas de cinta de la misma forma que lo harían con los dispositivos de disco. El software de administración de datos de Quantum administra el caché en disco, mantiene los metadatos en línea en grupos de servidores de alta disponibilidad y se escala para administrar eficazmente una cantidad ilimitada de archivos.

"El sistema completo nos permite el uso más eficiente posible con nuestros recursos de almacenamiento", agregó el director técnico del proyecto en Raytheon. "Nos brinda un alto rendimiento, un entorno de almacenamiento con gran capacidad de recuperación, fácil acceso a los datos desde todas nuestras aplicaciones y nos permite aprovechar enormemente los recursos. Todas las tareas de recuperación de archivos, la organización para caché en discos, la entrega en forma de archivo o la duplicación de un conjunto de medios se realizan en segundo plano". Para los usuarios que tienen acceso a los datos a través del sitio web de EOSDIS, los datos aparecen como si estuvieran almacenados en una misma base de datos.

El soporte de Quantum que ayudó con la arquitectura del sistema y proporcionó servicio continuo fue fundamental para el éxito del proyecto. El director técnico del proyecto en Raytheon concluye: "El compromiso general de los proveedores primarios con este proyecto ha sido una de las claves de su éxito".

Productos usados

  • Aplicación: almacenamiento y acceso automatizado de los datos de satélite de la NASA
  • Software de administración de datos de Quantum
  • Almacenamiento en cinta: bibliotecas de cinta automatizadas
  • Entorno de almacenamiento y servidor: servidores SGI IRIX

Ventajas clave

  • Proporciona un archivo altamente confiable con gran escalabilidad
  • Es compatible con diversos tipos de medios: cintas para almacenamiento primario y caché en disco para búsquedas de alta velocidad
  • Permite que comunidades mundiales de usuarios tengan acceso directo a los datos
  • El soporte activo de Quantum brinda las claves para una implementación exitosa
  • Se integra con una amplia variedad de plataformas de UNIX

Acerca del Sistema de Observación de la Tierra (EOS)

El Sistema de Observación de la Tierra (EOS) es el eje de la iniciativa de ciencias de la Tierra de la NASA. Consiste en un componente científico y un sistema de datos, que admiten una serie coordinada de satélites que orbitan los polos y satélites de baja inclinación para observaciones mundiales a largo plazo de la superficie terrestre, la biósfera, la Tierra sólida, la atmósfera y los océanos. Al permitirnos comprender mejor la Tierra como un sistema integrado, el programa EOS ofrece ventajas para todos nosotros.