GWDG
D’après notre expérience, StorNext est la seule plateforme capable de prendre en charge le nombre de fichiers et le volume de données que nous gérons tout en offrant de hautes performances.

 

Stefan Teusch
Directeur adjoint de l’infrastructure informatique, GWDG

GRÂCE À STORNEXT, LE GWDG REND POSSIBLES DES RECHERCHES DE POINTE À L’UNIVERSITÉ DE GÖTTINGEN ET LA SOCIÉTÉ MAX PLANCK

Le GWDG permet aux chercheurs universitaires et aux scientifiques de la Société Max Planck de mener des études révolutionnaires dans un large éventail de disciplines, de la génomique aux sciences humaines, études dont les besoins en espace de stockage doublent presque d’une année sur l’autre. « Le séquençage de nouvelle génération, par exemple, génère des volumes phénoménaux de données », explique le Dr Philipp Wieder, directeur adjoint au GWDG. « Une de nos équipes a eu besoin de stocker 300 To de données dans le cadre d’un seul projet. »

Le centre prend également en charge la Bibliothèque d’État et universitaire de Göttingen, dont les services s’adressent à l’université, à l’état de Basse-Saxe et à l’Académie des sciences de Göttingen. « La bibliothèque numérise des textes et crée des modèles d’objets physiques », commente Philipp Wieder. « Toutes ces données doivent être stockées quelque part. »

Avec plus de 40 000 utilisateurs, « nous avions besoin d’un système de fichiers capable de prendre en charge des milliards de fichiers et des volumes astronomiques de données », explique Stefan Teusch, directeur adjoint de l’infrastructure informatique au GWDG.

Création d’un environnement de stockage multiniveau de 7 Po sur disques et sur bandes

Le système de stockage du GWDG repose sur plusieurs niveaux. « Dans StorNext, nous avons à l’heure actuelle 2,5 Po de données sur disques et 4,5 Po de données sur bandes », constate Stefan Teusch. « L’objectif était de rendre les données accessibles depuis un système de fichiers unique. » Le coût réduit des librairies aide le centre à satisfaire les exigences de stockage de données pour au moins dix ans.

Le centre a adopté la solution StorNext de Quantum voilà plus d’une décennie et a étendu la capacité du système au fil du temps. « D’après notre expérience, StorNext est la seule plateforme capable de prendre en charge le nombre de fichiers et le volume de données que nous gérons tout en offrant de hautes performances », explique Stefan Teusch.

Prise en charge en toute simplicité de tous les différents systèmes d’exploitation utilisés par les scientifiques

StorNext permet au centre de prendre en charge tous les systèmes d’exploitation de ses utilisateurs. « De nombreux scientifiques, en particulier dans le domaine des sciences naturelles, travaillent sous UNIX ou Linux, mais d’autres utilisateurs ont une préférence pour Windows ou Mac OS. En fait, certains départements sont exclusivement équipés de Mac », commente Stefan Teusch. « Avec StorNext, nous pouvons prendre en charge tous ces systèmes d’exploitation en toute simplicité. Les utilisateurs peuvent accéder aux données dont ils ont besoin sans apporter le moindre changement à leurs workflows. »

Mise en œuvre du traitement HPC avec un système de stockage partagé haute vitesse par Ethernet

Pour fournir au cluster HPC un accès partagé aux données depuis l’environnement StorNext, le service informatique a installé des clients LAN distribués (DLC) et des passerelles StorNext à des fins d’équilibrage de charge et de basculement. « Avec les DLC StorNext, il n’est plus nécessaire de connecter tous les nœuds HPC via Fibre Channel. Nous pouvons continuer à utiliser une connectivité Ethernet classique. Les utilisateurs HPC demandaient des performances de 2 Go par seconde. Avec les DLC StorNext, nous atteignons 3,2 Go par seconde », indique Stefan Teusch. « Les chercheurs peuvent rapidement transférer d’importants volumes de données dans le cluster HPC en vue de leur traitement et les rapatrier pour les stocker sur le long terme. »

Conservation de copies des données pour la reprise après incident

Afin de protéger les données, le service informatique fait appel à des règles StorNext pour créer des copies sur bande des données primaires. « Si un périphérique matériel tombe en panne ou si nous perdons un système de stockage, nous disposons toujours de la copie dans l’archive sur bande StorNext et nous sommes en mesure de rapidement restaurer les données », explique Stefan Teusch. « Les utilisateurs peuvent se remettre immédiatement au travail. »

Malgré la croissance continue de l’environnement de stockage multiniveau, la gestion de StorNext reste simple. Le service informatique peut poursuivre l’extension du système sans élargir son équipe ou mobiliser des collaborateurs travaillant sur d’autres projets.

Dans l’avenir, un réseau d’environnements StorNext ?

Pour l’avenir, le service informatique du centre envisage de nouvelles manières d’utiliser StorNext, notamment la création d’un réseau d’environnements StorNext connectés à travers l’Allemagne. Dans l’ensemble, le service informatique du GWDG considère StorNext comme une solution de stockage idéale qui répond aux besoins du centre en matière d’évolutivité, de performances et de facilité de gestion.

« StorNext a toujours répondu à nos besoins, quand bien même nos workflows sont devenus plus exigeants, notre environnement a évolué et notre équipe de direction a changé », explique Philipp Wieder. « Nous avons la certitude que StorNext continuera à répondre à nos besoins pendant de nombreuses années. »

Produits utilisés

Principaux avantages

  • Gestion de milliards de fichiers et de pétaoctets de données sur différents niveaux, dans un même système de fichiers
  • Solution évolutive capable de prendre en charge des volumes de données qui doublent presque d’une année sur l’autre
  • Traitement HPC haute vitesse via le protocole StorNext DLC sur IP
  • Accès hétérogène aux données sur un large éventail de systèmes d’exploitation
  • Protection des données et minimisation des périodes d’arrêt avec l’intégration de la sauvegarde et de la reprise après incident
  • Possibilité pour une petite équipe de gérer une archive volumineuse grâce à la réduction de la complexité administrative

À propos du GWDG

Le Gesellschaft für wissenschaftliche Datenverarbeitung mbH Göttingen (GWDG) est un centre informatique partagé par l’Université allemande de Göttingen et la Société Max Planck. Le GWDG remplit les fonctions d’un centre de calcul et de compétences informatiques, offrant une palette de services informatiques de base, de solutions de gestion des données et d’installations de calcul pour soutenir la recherche scientifique et promouvoir la formation professionnelle. Le centre a créé un environnement de stockage à grande échelle permettant de stocker et de protéger des millions de fichiers et des volumes considérables de données pour des dizaines de milliers d’utilisateurs, tout en y donnant accès.