GWDG는 StorNext를 사용하여 괴팅겐 대학교와 막스 플랑크 협회의 혁신적 연구를 가능하게 했다.
스토리지 필요량이 매년 두 배 가까이 증가하는 유전체학부터 인문학에 이르는 다양한 범위의 주제에 대해, GWDG는 대학 연구원 및 막스 플랑크 협회 과학자들이 혁신적인 연구를 수행할 수 있게 해줍니다. GWDG 부책임자인 Philipp Wieder 박사는 “예를 들어, 차세대 염기 서열 분석을 시행하면 엄청난 양의 데이터가 생성됩니다. 한 팀이 단 하나의 프로젝트 때문에 300TB의 데이터를 저장해야 했죠.”라고 말했습니다.
이 센터는 괴팅겐 대학교, 니더작센 주 및 괴팅겐 과학 아카데미에 서비스를 제공하는 괴팅겐 니더작센 주립 도서관 겸 대학 도서관도 지원합니다. "도서관에서는 디지털 문서와 물리적인 오브젝트 모델을 만들고 있습니다. 이 모든 데이터를 어디엔가 저장해야 하죠.”라고 Wieder 박사가 덧붙였습니다.
사용자가 4만 명이 넘는 가운데, GWDG IT 인프라 팀 부책임자인 Stefan Teusch는 "우리는 수십억 개의 파일과 엄청난 양의 데이터를 처리할 수 있는 파일 시스템이 필요했습니다."라고 말했습니다.
디스크와 테이프를 포괄하는 7PB 멀티 계층화 스토리지 환경 구축하기
GWDG 스토리지 시스템은 멀티 계층을 이용합니다. Teusch 씨는 "현재 우리의 StorNext에는 디스크에 2.5PB, 테이프에 4.5PB의 데이터가 있습니다. 우리의 목표는 단 하나의 파일 시스템으로부터 데이터에 접근하는 것이었습니다.”라고 말했습니다. 테이프 라이브러리는 경제적이기 때문에, 이 센터는 10년이 넘는 기간 동안 데이터를 저장할 수 있었습니다.
이 센터는 10여 년 전에 퀀텀의 StorNext를 채택했으며 지난 수년 동안은 시스템을 확장했습니다. "우리의 경험에 비추어볼 때, StorNext는 우리가 관리하는 많은 양의 파일과 데이터를 처리하면서도 우수한 성능을 제공할 수 있는 유일한 플랫폼입니다."라고 Teusch 씨는 덧붙였습니다.
과학자들이 사용하는 다양한 모든 운영 체제를 수월하게 지원
StorNext를 이용하면 이 센터에서 사용자들이 활용하는 모든 운영 체제를 지원할 수 있습니다. “많은 과학자들, 특히 자연과학에 종사하는 과학자들은 UNIX나 Linux를 사용합니다. 그러나 Windows나 Mac OS를 선호하는 사람도 있을 수 있습니다. 사실, 일부 부서에서는 Mac만 사용합니다. StorNext를 도입하면서 우리는 이러한 운영 체제를 모두 수월하게 지원할 수 있게 되었습니다. 사용자들은 자신의 워크플로우를 변경하지 않고도 필요한 데이터에 접근할 수 있습니다.”라고 Teusch 씨가 말했습니다.
이더넷을 통해 고속으로 공유되는 스토리지를 활용하여 HPC 처리 활성화
StorNext 환경에서 데이터에 대한 HPC 클러스터 공유 액세스를 제공하기 위해, IT 그룹은 부하 균형과 장애 극복을 위한 StorNext 분산 LAN 클라이언트(DLC) 및 게이트웨이를 설치하였습니다. “StorNext DLC를 설치하면 모든 HPC 노드를 파이버 채널에 연결할 필요가 없습니다. 우리는 기존의 이더넷을 계속 사용할 수 있습니다. HPC 사용자들은 초당 2GB의 성능을 요구했습니다. 우리는 StorNext DLC를 채택하여 초당 3.2GB의 성능을 달성할 수 있었습니다. 연구원들은 대량의 데이터를 재빨리 HPC로 옮겨 처리할 수 있고, 이를 다시 HPC에서 꺼내 장기적으로 저장할 수도 있습니다."라고 Teusch 씨는 설명했습니다.
재해 복구용 데이터 사본 유지
IT 그룹은 데이터를 보관하기 위해 StorNext 정책을 사용하여 주요 데이터에 대한 테이프 사본을 만듭니다. “하드웨어 장치가 고장나거나 스토리지 시스템을 잃는 경우에도 StorNext 테이프 아카이브에 복사본이 저장되어 있기 때문에 빠르게 데이터를 복구할 수 있습니다. 사용자들은 곧장 일을 다시 시작할 수 있습니다."라고 Teusch 씨는 덧붙였습니다.
멀티 계층화 스토리지 환경이 계속 성장하고 있는 상황임에도, StorNext는 여전히 관리가 쉽습니다. IT 그룹은 추가로 직원을 고용하거나 다른 프로젝트를 진행 중인 기존 직원을 끌어오지 않고도 계속 확장될 수 있습니다.
StorNext 네트워크 환경이 포함되는 미래
미래를 위해, 이 센터의 IT 그룹은 StorNext를 도입하는 새로운 방법을 고려하고 있습니다. 여기에는 독일 전역에 연결된 StorNext 네트워크 환경을 구축하는 것이 포함됩니다. 종합적인 관점에서, GWDG IT 팀은 StorNext가 규모, 성능 및 관리성에 대한 센터의 요구를 충족하는 이상적인 스토리지 솔루션이라고 생각합니다.
“StorNext는 워크플로우가 훨씬 까다로워지고, 환경이 진화하고, 관리 팀이 바뀌는 동안에도 우리의 요구를 충족했습니다. 우리는 StorNext가 앞으로도 우리의 요구를 온전히 충족해줄 것이라고 확신하고 있습니다."라는 말로 Wieder 박사는 끝을 맺었습니다.