캔자스 대학의 빙하 원격 탐사 센터
CReSIS

NASA 제공 이미지

"StorNext 플랫폼을 통해 테이프에서 주 디스크를 거쳐 HPC 클러스터까지 이르는 멀티 계층 스토리지 솔루션을 전반적으로 관리하는 단일 파일 시스템을 보유하게 되었습니다."

Riley Epperson
캔자스 대학, 빙하 원격 탐사 센터(CReSIS) IT 엔지니어

CRESIS는 StorNext와 함께 해수면 변화의 영향을 측정합니다

캔자스 대학의 한 팀이 이끄는 빙하 원격 탐사 센터(CReSIS)는 그린란드 및 남극대륙 빙하의 변화를 이미지화하고 추적하기 위해 레이더를 사용합니다. CReSIS는 날로 증가하는 데이터를 저장하기 위한 새로운 솔루션이 필요했습니다.

빙하층 관찰을 위해 레이더 사용

미국 국립과학재단(National Science Foundation)으로부터의 수상을 통해 2005년 설립된 CReSIS는 지구의 빙하 변화를 정확히 측정하기 위해 노력합니다. 연구원들은 종종 비행기의 아랫면에 부착된 고급형 레이더를 사용하기도 합니다. "그린란드 및 남극대륙의 빙하층과 빙하 바닥 및 상단의 지도를 작성함으로써 과학자들은 기후 변화가 현재 얼음에 미치는 영향을 평가하고 향후에 미칠 영향을 예상할 수 있습니다."라고 CReSIS의 IT 엔지니어인 Riley Epperson은 말했습니다.

프로젝트당 최대 150TB의 과학 데이터 수집

프로젝트마다 수집되는 데이터의 용량은 시간을 거듭할수록 급격히 증가합니다. "2005년에는 연구원들이 프로젝트당 100GB 정도의 데이터를 수집했습니다. 하지만 그 이후로 레이더 시스템의 용량이 지속적으로 개선되었죠. 지금은 시스템이 제공하는 빙하층의 이미지 해상도가 훨씬 좋아졌습니다. 그래서 연구원들이 프로젝트당 수집하는 데이터의 용량은 현재 150TB에 달합니다."라고 Epperson이 설명했습니다.

현장에서 수집한 원시 데이터의 용량이 커지면 워크플로우는 느려집니다. "연구원들이 수집하는 데이터가 많아지면 그 데이터를 수집, 검증, 정제하는 데 소요되는 시간도 늘어납니다. 그래서 워크플로우의 효율성을 개선할 솔루션이 필요했습니다."라고 Epperson은 덧붙였습니다.

확장 가능한 고성능 스토리지 플랫폼의 필요성

CReSIS의 IT 그룹은 연구 데이터를 저장하고 관리하는 파일 시스템을 변경하기로 결정했습니다. "기존의 스토리지를 그대로 사용할 수 있으면서도 날로 용량이 증가하는 대용량 데이터에 대처할 수 있는 새로운 접근법이 필요했습니다.

IT 그룹은 또한 처리량 증가에 도움이 되는 파일 시스템을 원했습니다. 공동 연구자 및 파트너들은 우리가 수집한 데이터를 분석하고 처리해 연구에 필요한 제품을 생산해야 합니다. NASA와 같은 일부 파트너들에게는 정해진 시간 내에 데이터를 전송해야 합니다."라고 Epperson이 말했습니다.

비용 효율성 확장을 위한 필수 솔루션

CReSIS의 IT 그룹은 멀티 계층 환경을 지원하는 데이터 관리 용량이 필요했습니다. "원시 데이터는 1년에 2~3회 인제스트되고 이후에는 그대로 보관됩니다. 약 80%의 데이터가 콜드 데이터(cold data)입니다. 콜드 데이터를 테이프로 쉽게 옮기고, 나중에 이를 되찾아올 수 있는 솔루션을 원했습니다."라고 Epperson은 말했습니다.

StorNext로 유연성이 뛰어난 대규모 스토리지 환경 조성

여러 종류의 새로운 파일 시스템과 데이터 관리 솔루션을 평가한 후에 CReSIS 팀은 퀀텀 StorNext 플랫폼을 선택했습니다. StorNext 데이터 관리 소프트웨어를 활용한 이 솔루션에는 고성능 공유 파일 시스템 및 정책 중심 계층화 소프트웨어가 포함됩니다.

StorNext 플랫폼을 선택한 CReSIS 팀은 노후된 주 스토리지를 계속 사용하면서도 테이프 계층화 아카이브를 추가할 수 있게 되었습니다. "StorNext 플랫폼을 통해 테이프에서 주 스토리지를 거쳐 HPC 클러스터까지 이르는 멀티 계층 스토리지 솔루션을 전반적으로 관리하는 단일 파일 시스템을 보유하게 되었습니다."라고 Epperson이 말했습니다.

데이터 인제스트 가속화 및 기후 변화 연구를 위한 HPC 워크플로우 활성화

StorNext 덕분에 이전 파일 시스템의 제약 사항이었던 스토리지 풀(storage pool)의 크기 제한도 사라졌습니다. 과거에 100개의 디스크만을 보유했던 CReSIS는 현재 단일 파일 시스템에 600개의 디스크를 보유하고 있습니다. 결과적으로, 성능이 매우 우수해졌습니다.

"이전 환경과 비교했을 때 현재의 스토리지 성능은 세 배 이상 향상되었습니다. StorNext를 통해 기존의 데드라인을 그대로 지키면서도 증가하는 데이터를 보다 빠르게 인제스트 및 처리하는 것이 가능해졌습니다."라고 Epperson은 말했습니다.

고속 스토리지는 전반적인 워크플로우를 가속화합니다. Epperson은 "처리를 위한 HPC 클러스터에 데이터를 빠르게 옮기면 연구원들에게 신속히 데이터를 전달할 수 있습니다."라는 말을 덧붙였습니다.

멀티 계층화 스토리지 솔루션을 통한 비용의 통제

StorNext 플랫폼으로 옮겨간 CReSIS는 경제적인 테이프 아카이브의 사용으로 비용을 통제하며 스토리지 환경을 확장하게 되었습니다. 비용 절감액은 빠르게 누적되었습니다. Epperson은 "StorNext는 높은 투자 수익을 제공하고,

예측이 불가능한 스토리지 환경의 변화를 충족할 수 있는 유연성도 제공합니다. 데이터 성장률이 매년 일정하지는 않습니다. 엔지니어들이 새로운 레이더 시스템을 하나 만들면, 프로젝트당 데이터의 다섯 배에 해당하는 저장 공간을 추가로 확보해야 합니다. StorNext의 빠른 확장을 통해 이와 같은 요구 사항을 충족할 수 있습니다."라는 말로 끝을 맺었습니다.

구축 제품

주요 특장점

  • 과학자들이 임무를 수행할수록 늘어나는 얼음 데이터의 급격한 증가를 지원하는 확장성
  • 데이터가 증가해도 빠른 워크플로우를 유지하는 3배의 스토리지 성능
  • 경제적인 테이프 아카이브의 사용으로 비용 절감
  • 복잡한 관리가 필요 없는 멀티 계층 스토리지 환경 제공

CReSIS 소개

캔자스 대학의 빙하 원격 탐사 센터(CReSIS)는 기후 변화 문제 해결을 위한 지속적이고 긴급한 활동에 기여하고 있습니다. CReSIS의 IT 그룹은 새로운 과학 연구를 지원하기 위해 빙하 탐사를 통해 수집된 방대한 양의 데이터에 대한 액세스를 저장, 관리, 제공합니다.