CReSIS de l’université du Kansas
CReSIS

Image reproduite avec la permission de la NASA

Grâce à la nouvelle plate-forme StorNext, nous disposons désormais d’un système de fichiers unique capable de gérer l’intégralité de notre solution de stockage multiniveau, des bandes au disque primaire en passant par le cluster HPC.

 

Riley Epperson
Ingénieur informatique, Center for Remote Sensing of Ice Sheets, Université du Kansas

LE CReSIS MESURE L’IMPACT DE L’ÉLÉVATION DU NIVEAU DE LA MER AVEC STORNEXT

Dirigé par une équipe de chercheurs de l’université du Kansas, le CReSIS (Center for Remote Sensing of Ice Sheets) utilise des radars pour suivre l’évolution des calottes glaciaires au Groenland et en Antarctique. Le CReSIS avait besoin d’une nouvelle solution lui permettant de stocker des volumes de données en constante augmentation.

Utilisation d’un radar permettant de voir à travers les calottes glaciaires

Fondé en 2005 après avoir été primé par la National Science Foundation, le CReSIS aide à mesurer avec précision l’évolution des calottes glaciaires terrestres. Les chercheurs utilisent des radars de pointe généralement fixés sous les avions. « En établissant des correspondances entre les différentes couches, le lit et le sommet des glaciers au Groenland et en Antarctique, les scientifiques sont en mesure d’évaluer les effets actuels du réchauffement climatique sur la banquise et de prédire son impact », déclare Riley Epperson, ingénieur informatique au CReSIS.

Possibilité de collecter jusqu’à 150 To de données scientifiques par mission

La quantité de données collectées à chaque mission augmente de manière exponentielle. « En 2005, les chercheurs auraient pu collecter 100 Go de données par mission », explique-t-il. « Mais, depuis, nos ingénieurs n’ont cessé d’améliorer les performances des systèmes de radar, ce qui permet aujourd’hui d’obtenir une bien meilleure résolution des calottes glaciaires. En effet, les chercheurs rapportent désormais près de 150 To de données par mission. »

Mais alors que les quantités de données brutes collectées sur le terrain augmentent, les workflows risquent de subir des ralentissements. « Plus les chercheurs collectent de données et plus nous passons du temps à ingérer, vérifier et nettoyer ces données », explique Riley Epperson. « Nous avions besoin d’une solution en mesure de nous aider à améliorer l’efficacité de notre workflow. »

À la recherche d’une solution de stockage hautes performances évolutive

Le service informatique du CReSIS a décidé de remplacer le système de fichiers qu’il utilisait jusqu’alors pour stocker et gérer les données scientifiques. « Nous avions besoin d’une nouvelle solution capable de prendre en charge les énormes volumes de données en constante augmentation tout en nous permettant de continuer à utiliser notre système de stockage existant », explique Riley Epperson.

Le service informatique souhaitait également un système de fichiers en mesure de l’aider à augmenter la productivité. « Nos collaborateurs et nos partenaires doivent analyser et traiter les données que nous ingérons afin de pouvoir ensuite concevoir les produits dont nous avons besoin pour nos travaux de recherche. Certains de nos partenaires, comme la NASA, nous demandent de traiter les données dans un délai donné. »

Besoin d’une solution évolutive et plus économique

Le service informatique du CReSIS devait pouvoir s’appuyer sur des capacités de gestion des données capables de prendre en charge un environnement multiniveau. « Nous ingérons des données brutes seulement deux ou trois fois dans l’année, ensuite elles restent là. Près de 80 % de nos données sont des données froides », explique Riley Epperson. « Nous voulions une solution qui nous permettrait de migrer facilement les données froides sur des bandes pour pouvoir les récupérer ultérieurement. »

Développement d’un environnement de stockage à grande échelle plus flexible avec StorNext

Après avoir évalué les différents nouveaux systèmes de fichiers et solutions de gestion des données disponibles sur le marché, l’équipe du CReSIS a choisi la plate-forme Quantum StorNext. S’appuyant sur le logiciel de gestion des données StorNext, la solution comprend un système de fichiers partagé hautes performances et un logiciel de stockage multiniveau régi par des règles.

Le choix de la plate-forme StorNext a permis à l’équipe du CReSIS de continuer à utiliser un disque primaire vieillissant tout en bénéficiant d’un niveau d’archivage sur bande. « Grâce à la nouvelle plate-forme StorNext, nous disposons désormais d’un système de fichiers unique capable de gérer l’intégralité de notre solution de stockage multiniveau, des bandes au disque primaire en passant par le cluster HPC », explique Riley Epperson.

Accélération de l’ingestion et optimisation des workflows HPC pour la recherche sur le climat

StorNext élimine les limitations de taille des pools imposées par le précédent système de fichiers de l’équipe. Le CReSIS dispose désormais de 600 disques sur un système de fichiers unique contre seulement 100 auparavant, ce qui permet d’obtenir une amélioration significative des performances.

« Nous avons plus que triplé nos performances de stockage par rapport à notre environnement précédent. StorNext nous aide à ingérer et à traiter plus rapidement des volumes croissants de données tout en continuant à respecter les délais qui nous sont imposés. »

Le stockage ultrarapide contribue à accélérer le workflow dans son ensemble. « Plus vite nous pouvons migrer nos données vers notre cluster HPC en vue de leur traitement, plus vite nous pouvons les transmettre aux chercheurs », déclare Riley Epperson.

Contrôle des coûts avec une solution de stockage multiniveau

L’adoption de la plate-forme StorNext a permis au CReSIS de développer son environnement de stockage tout en assurant la maîtrise des coûts grâce à l’utilisation de solutions d’archivage sur bande économiques. Les économies ont été rapidement au rendez-vous. « StorNext assure un important retour sur investissement », explique Riley Epperson.

StorNext offre également la flexibilité nécessaire pour faire face aux évolutions imprévisibles des besoins de stockage. « L’accroissement du volume de données n’est pas homogène d’une année sur l’autre. Chaque fois que les ingénieurs conçoivent un nouveau système de radar, nous pouvons avoir besoin de stocker jusqu’à cinq fois plus de données par mission. Grâce à StorNext, nous sommes en mesure d’évoluer rapidement afin de répondre aux besoins de stockage. »

Produits utilisés

Principaux avantages

  • Solution évolutive capable de prendre en charge la croissance exponentielle du volume de données alors que les scientifiques collectent de plus en plus de données à chaque mission
  • Triplement des performances de stockage permettant d’accélérer les workflows malgré la croissance du volume de données
  • Économies importantes grâce à l’utilisation de solutions d’archivage sur bande économiques
  • Possibilité de bénéficier d’un environnement de stockage multiniveau sans accroître pour autant la complexité administrative

À propos du CReSIS

Le Center for Remote Sensing of Ice Sheets (CReSIS) de l’université du Kansas est un acteur majeur de la recherche scientifique pour la lutte contre le réchauffement climatique. Pour soutenir la recherche scientifique, le service informatique du CReSIS stocke, gère et assure l’accès à d’importants volumes de données collectées lors des expéditions sur les calottes glaciaires.