El Centro de Sensoramiento Remoto de las Cubiertas de Hielo de la Universidad de Kansas
CReSIS

Imagen cortesía de la NASA

Con la plataforma StorNext, ahora tenemos un único sistema de archivado que gestiona toda nuestra solución de almacenamiento en diversos niveles, desde la cinta al disco primario al clúster HPC.

 

Riley Epperson
Ingeniero de TI, Centro de Sensoramiento Remoto de las Cubiertas de Hielo, Universidad de Kansas

CRESIS MIDE EL IMPACTO DEL CAMBIO DEL NIVEL DEL MAR CON STORNEXT

Liderado por un equipo de la Universidad de Kansas, el Centro de Sensoramiento Remoto de las Cubiertas de Hielo (CReSIS) utiliza radares para recoger imágenes y realizar un seguimiento de los cambios en las cubiertas de hielo de Groenlandia y la Antártida. CReSIS necesitaba una nueva solución para almacenar volúmenes de datos en crecimiento.

Utilizar un radar para ver a través de las capas de hielo

Fundado en 2005 por un premio de la Fundación Nacional para la Ciencia de los Estados Unidos, CReSIS ayuda a medir con precisión los cambios en las cubiertas de hielo de la Tierra. Los investigadores utilizan un radar avanzado que se suele fijar a la parte inferior de los aviones. "Al cartografiar las capas, el fondo y la cima de los glaciares de Groenlandia y la Antártida, los científicos pueden evaluar los efectos actuales del cambio climático en el hielo y predecir su impacto futuro", dice Riley Epperson, ingeniero de TI del CReSIS.

Recopilar hasta 150 TB de datos científicos por misión

La cantidad de datos recopilada por misión ha crecido drásticamente con el paso del tiempo. "En 2005, los investigadores podrían haber recopilado 100 GB por misión", dice Epperson. "Sin embargo, en los años transcurridos desde entonces, nuestros ingenieros han seguido mejorando las capacidades de los sistemas de radar. Los sistemas actuales pueden ofrecer una resolución mucho mayor de las capas de hielo. En consecuencia, ahora los investigadores traen a casa cerca de 150 TB por misión".

Puesto que la cantidad de datos brutos recopilados en el terreno crece, los flujos de trabajo pueden ralentizarse. "Cuantos más datos recojan los investigadores, más tiempo tardamos en procesar, verificar y limpiar esos datos", dice Epperson. "Necesitábamos una solución que nos ayudase a mejorar la eficiencia de nuestro flujo de trabajo".

Buscar una plataforma de almacenamiento de alto rendimiento que escale

El grupo de TI del CReSIS decidió cambiar el sistema de archivado que estaba usando para almacenar y administrar los datos de investigación. "Necesitábamos un nuevo enfoque para los grandes volúmenes de datos en crecimiento, al mismo tiempo que nos permitiese seguir usando nuestro almacenamiento existente", comenta Epperson.

El grupo de TI también quería un sistema de archivado que pudiese ayudar a aumentar el rendimiento. "Los colaboradores y socios necesitan analizar y procesar los datos que procesamos, de manera que puedan generar los productos necesarios para la investigación", añade Epperson. "Algunos socios, como la NASA, esperan de nosotros que volquemos los datos en un plazo determinado".

La necesidad de una solución que escale de manera más rentable

El grupo de TI del CReSIS necesitaba capacidades de administración de datos que pudiesen dar soporte a un entorno en diversos niveles. "Procesamos datos brutos solo dos o tres veces al año, luego solo se asientan, por lo que aproximadamente un 80 por ciento de nuestros datos son fríos", dice Epperson. "Queríamos una solución que nos permitiese mover con facilidad más datos fríos a la cinta y luego recuperarlos más adelante".

Construir un entorno de almacenamiento flexible y a gran escala con StorNext

Tras evaluar una serie de nuevos sistemas de archivado y soluciones de administración de datos, el equipo del CReSIS seleccionó la plataforma StorNext de Quantum. Con la tecnología del software de administración de datos StorNext, la solución incluye un sistema de archivos compartidos de alto rendimiento y un software de distribución por niveles basado en políticas.

Al seleccionar la plataforma StorNext, el equipo del CReSIS pudo seguir usando un disco primario antiguo al mismo tiempo que también añadía un nivel de archivado en cinta. "Con la plataforma StorNext, ahora tenemos un único sistema de archivado que gestiona toda nuestra solución de almacenamiento en diversos niveles, desde la cinta al disco primario al clúster HPC", comenta Epperson.

Acelerar el procesamiento y permitir flujos de trabajo HPC para la investigación climática

StorNext elimina las limitaciones de tamaño del grupo impuestas por el sistema de archivado anterior del equipo. CReSIS ahora tiene 600 discos en un único sistema de archivado, en lugar de solo los 100 que tenía antes. El resultado es un rendimiento superior.

"Nuestro rendimiento de almacenamiento se ha más que triplicado con respecto al entorno anterior", dice Epperson. "StorNext nos ayuda a procesar más rápido las crecientes recopilaciones de datos mientras seguimos cumpliendo los tiempos de entrega existentes".

El almacenamiento de alta velocidad ayuda a acelerar el flujo de trabajo general. "Cuanto más rápido podemos mover los datos a nuestro clúster HPC para su procesamiento, más rápido podemos entregarlos a los investigadores", afirma Epperson.

Controlar los costes con una solución de almacenamiento en diversos niveles

Al cambiar a la plataforma StorNext, el CReSIS ha podido ampliar su entorno de almacenamiento al mismo tiempo que ha mantenido sus costes bajo control al usar archivados en cinta económicos. El ahorro de costes ha aumentado rápidamente. "StorNext ofrece un enorme retorno de la inversión", dice Epperson.

StorNext también ofrece flexibilidad para responder ante cambios impredecibles en requisitos de almacenamiento. "No tenemos una tasa uniforme de crecimiento de los datos de año a año", sostiene Epperson. "Cada vez que los ingenieros crear un nuevo sistema de radar, es posible que necesitemos almacenar cinco veces más datos por misión. Con StorNext podemos escalar más rápido para cumplir esos requisitos".

Productos usados

Ventajas clave

  • Escala hasta soportar un crecimiento exponencial de los datos a medida que los científicos recogen más datos de hielo por misión
  • Triplica el rendimiento de almacenamiento para acelerar los flujos de trabajo incluso a medida que los datos crecen
  • Ahorra dinero al hacer posible el uso de archivados en cinta económicos
  • Proporciona un entorno de almacenamiento en diversos niveles sin complejidad administrativa adicional

Acerca de CReSIS

El Centro de Sensoramiento Remoto de las Cubiertas de Hielo (CReSIS) de la Universidad de Kansas luchar por realizar contribuciones importantes al trabajo constante y urgente de abordar el cambio climático. Para apoyar la nueva investigación científica, el grupo de TI de CReSIS almacena, administra y brinda acceso a grandes volúmenes de datos recopilados mediante la exploración de la cubierta de hielo.