O Centro de Sensoriamento Remoto dos Mantos de Gelo na Universidade do Kansas
CReSIS

Imagem cortesia da NASA

Com a plataforma StorNext, temos agora um único sistema de arquivos que gerencia toda a nossa solução de armazenamento multicamadas, desde a fita ao disco primário e ao cluster HPC.

 

Riley Epperson
Engenheiro de TI, Centro de Sensoriamento Remoto dos Mantos de Gelo, Universidade do Kansas

O CRESIS MEDE O IMPACTO DA MUDANÇA DO NÍVEL DO MAR COM O STORNEXT

Liderado por uma equipe na Universidade do Kansas, o Centro de Sensoriamento Remoto dos Mantos de Gelo (CReSIS) usa radares para captar imagens e monitorar mudanças nos mantos de gelo na Groenlândia e na Antártica. O CReSIS precisava de uma nova solução para armazenar volumes de dados em crescimento.

Usando Radares para Ver Através das Camadas de Gelo

Fundado em 2005 depois da atribuição de um prêmio pela Fundação Nacional da Ciência, o CReSIS ajuda precisamente a medir as alterações nos mantos de gelo da Terra. Os pesquisadores usam radares avançados geralmente instalados por baixo dos aviões. "Mapeando as camadas, o leito e o topo dos glaciares na Groenlândia e na Antártica, os cientistas podem acessar efeitos atuais da mudança climática no gelo e prever seu impacto futuro", afirma Riley Epperson, engenheiro de TI do CReSIS.

Coletando até 150 TB de Dados Científicos por Missão

A quantidade de dados coletados por missão aumentou significativamente com o tempo. "Em 2005, os pesquisadores poderão ter coletado 100 GB por missão", declara Epperson. "Mas nos anos seguintes, nossos engenheiros continuaram melhorando as capacidades dos sistemas de radar. Os sistemas atuais podem fornecer uma resolução muito superior das camadas de gelo. Em consequência disso, os pesquisadores agora coletam perto de 150 TB por missão."

À medida que as quantidades de dados brutos coletados no terreno aumentam, os fluxos de trabalho podem abrandar. "Quanto mais dados os pesquisadores coletam, mais tempo passamos fazendo a ingestão de dados, a verificação e a limpeza desses dados", diz Epperson. "Nós precisávamos de uma solução que nos pudesse ajudar a melhorar a eficiência de nosso fluxo de trabalho."

Pesquisando uma Plataforma de Armazenamento de Alto Desempenho Escalável

O grupo de TI do CReSIS decidiu mudar o sistema de arquivos que estava usando para armazenar e gerenciar os dados da pesquisa. "Nós precisávamos de uma nova abordagem aos grandes e crescentes volumes de dados, que também nos permitisse continuar usando nosso armazenamento existente", refere Epperson.

O grupo de TI também queria um sistema de arquivos que ajudasse a aumentar a produtividade. "Os colaboradores e parceiros precisam analisar e processar os dados sujeitos a ingestão para poderem gerar os produtos necessários à pesquisa", afirma Epperson. "No caso de alguns parceiros, como a NASA, temos de devolver os dados em um período de tempo específico."

Procurando uma Solução Escalável Mais Econômica

O grupo de TI do CReSIS precisava de capacidades de gerenciamento de dados que pudessem suportar um ambiente multicamadas. "Nós fazemos a ingestão de dados brutos somente duas a três vezes por ano, depois disso os dados ficam parados. Aproximadamente 80% de nossos dados são deixados de lado", refere Epperson. "Nós queríamos uma solução que nos permitisse mover facilmente esses dados para fita, e recuperá-los mais tarde."

Criando um Ambiente de Armazenamento Mais Flexível e de Larga Escala com o StorNext

Depois de avaliar uma variedade de novos sistemas de arquivos e soluções de gerenciamento de dados, a equipe do CReSIS escolheu a plataforma StorNext da Quantum. Potencializada pelo software de gerenciamento de dados StorNext, a solução inclui um sistema de arquivos compartilhado de alto desempenho e software de colocação em camadas baseado em uma política.

A plataforma StorNext permitiu à equipe do CReSIS continuar usando um disco primário obsoleto, ao mesmo tempo que adicionou uma camada de arquivos de fita. "Com a plataforma StorNext, temos agora um único sistema de arquivos que gerencia toda a nossa solução de armazenamento multicamadas, desde a fita ao disco primário e ao cluster HPC", declara Epperson.

Acelerando a Ingestão de Dados e Permitindo Fluxos de Trabalho HPC para a Pesquisa do Clima

O StorNext elimina os limites de tamanho do pool impostos pelo sistema de arquivos anterior da equipe. Agora, o CReSIS tem 600 discos em um único sistema de arquivos, em vez de somente os 100 que tinha no passado. O resultado é um desempenho superior.

"Nosso desempenho de armazenamento mais do que triplicou em comparação com o ambiente anterior", diz Epperson. "O StorNext nos ajuda a fazer a ingestão de dados e processar coleções crescentes de dados mais rapidamente, ao mesmo tempo que continua cumprindo nossos prazos existentes."

O armazenamento de alta velocidade ajuda a acelerar o fluxo de trabalho global. "Quanto mais depressa conseguirmos mover dados para nosso cluster HPC para processamento, mais rapidamente poderemos entregá-los aos pesquisadores", afirma Epperson.

Controlando os Custos com uma Solução de Armazenamento Multicamadas

Mover para a plataforma StorNext permitiu ao CReSIS expandir seu ambiente de armazenamento, mantendo ao mesmo tempo os custos sob controle mediante o uso de arquivos de fita econômicos. As poupanças de custos rapidamente se fizeram sentir. "O StorNext oferece um forte retorno do investimento", declara Epperson.

O StorNext fornece ainda a flexibilidade de atender as mudanças imprevisíveis nos requisitos de armazenamento. "Nós não temos uma taxa consistente de crescimento de dados de ano para ano", refere Epperson. "Sempre que os engenheiros criam um novo sistema de radares, pode ser necessário armazenar cinco vezes mais dados por missão. Com o StorNext, nós conseguimos rapidamente escalar para atender a esses requisitos."

Produtos Usados

Benefícios Chave

  • É escalável para suportar o crescimento exponencial de dados à medida que os cientistas coletam mais dados sobre o gelo em cada missão
  • Triplica o desempenho de armazenamento para acelerar os fluxos de trabalho, mesmo à medida que os dados aumentam
  • Reduz os custos, permitindo o uso de arquivos de fita econômicos
  • Fornece um ambiente de armazenamento multicamadas sem acrescentar a complexidade administrativa

Sobre o CReSIS

O Centro de Sensoriamento Remoto dos Mantos de Gelo (CReSIS) na Universidade do Kansas procura contribuir de forma significativa para o trabalho urgente e contínuo em torno das mudanças climáticas. Para suportar nova pesquisa científica, o grupo de TI do CReSIS armazena, gerencia e dá acesso a grandes volumes de dados coletados na exploração dos mantos de gelo.