StorNext 스케일아웃 스토리지로 PB 규모의 위성 데이터 아카이브를 시작한 Airbus Defence and Space

PB 규모의 위성 데이터 아카이브

유럽우주기구(ESA)는 각 센티넬 임무용 위성 2기를 발사합니다. ESA는 프로그램 출범 이후 몇 년 내에 센티넬 위성 4개를 궤도에 올릴 예정입니다. 각 위성은 최장 15년 동안 매해 1PB 이상을 스트리밍합니다. 이 모든 데이터의 보유를 위해 새로운 아카이브가 필요했습니다. Airbus Defence and Space의 기술 설계 책임자인 Mark Curtis는 “당사는 레벨 0의 원시 계기 데이터뿐만 아니라 ESA의 페이로드 데이터 지상 부분에서 처리되는 데이터도 보존합니다. 이 지상 부분에서는 레벨 1과 레벨 2 결과물을 생성합니다. 이 모든 데이터를 장기적으로 보존하기 위해 수십 PB까지 확장할 수 있는 스토리지 솔루션이 필요했습니다.”라고 말했습니다.

수백만 개의 파일 관리, 테이프의 경제성 활용

Curtis는 “위성 4기가 궤도에 오르면 매일 40,000개의 파일을 아카이브해야 합니다. 우리는 수천만 개의 파일을 지원할 수 있는 견고한 파일 시스템이 필요했습니다.”라고 말했습니다. 그리고 광범위한 크기와 종류도 지원할 수 있어야 합니다.

Curtis는 “센티넬 임무에 필요한 수십 PB의 데이터를 저장해야 하므로 관리 비용이 매우 중요합니다. 테이프가 매우 경제적이죠. 각 테이프 카트리지로 엄청난 양의 데이터를 적은 비용으로 저장할 수 있으며 테이프 라이브러리는 속도가 더 빠른 스토리지 시스템보다 전력 및 냉각 요구량이 적습니다.”라고 말했습니다. 그리고 테이프는 방대한 양의 데이터가 스트리밍되는 애플리케이션에 적합합니다.

StorNext로 확장 가능한 멀티 계층화 아카이브 구축

Airbus 팀은 StorNext AEL6000 테이프 아카이브, 메타데이터 어플라이언스 및 디스크 캐시(모두 StorNext로 구동)를 포함하는 멀티 계층화 StorNext 솔루션을 선택했습니다. 현재 Airbus Defence and Space의 일원이 된 Google Earth용 이미지 공급 업체인 Infoterra가 퀀텀을 경험했던 것도 StorNext가 선택되는 데 한 역할을 했습니다.

Curtis는 “퀀텀은 항상 우리 요청을 경청하며 솔루션을 개선해 주었습니다. StorNext 5의 경우, 퀀텀이 우리 및 다른 조직의 의견을 수용하면서 더욱 강력한 스토리지 솔루션이 만들어졌습니다.”라고 말했습니다.

이 아카이브는 처음에는 18PB의 데이터를 지원하지만 최대 37PB까지 확장될 수 있습니다. Curtis는 “StorNext 덕분에 아카이브를 쉽게 확장할 수 있습니다. 따라서 새로운 위성 임무를 지원할 수 있고 향후 데이터도 더 수집할 수 있습니다.”라고 설명했습니다.

연속적인 고속 데이터 인제스트 및 액세스 지원

Curtis는 “현재 구성은 StorNext 파일 시스템으로 1.1GB/s의 성능을 지원합니다. 따라서 수신되는 모든 원시 데이터와 처리된 데이터를 빠르게 인제스트해서 필요할 때 신속하게 검색할 수 있습니다.”라고 말했습니다. 대부분의 경우 Airbus 팀은 아카이브에서 개별 파일을 1분 이내에 검색할 수 있으며, 파이버 채널로 연결되어 있어 대용량 전송도 신속하게 진행됩니다. 이 시스템은 Linux와 Windows를 포함하는 전체 운영체제 범위를 지원합니다.

적은 인력을 유지하며 데이터 보호

이 시스템의 확장 데이터 수명 관리(EDLM) 기능으로 데이터를 간편하게 보호할 수 있습니다. Curtis는 “StorNext 테이프 아카이브의 정책 기반 EDLM 기능을 이용해 테이프로 데이터를 장기간 완벽한 상태로 보존할 수 있습니다. 테이프에 문제가 생길 경우 StorNext가 자동으로 데이터를 양호한 테이프로 마이그레이션하므로 관리자들은 할 일이 전혀 없습니다. EDLM은 장점이 매우 큽니다."라는 설명에 이어

"StorNext를 사용하면 관리비가 매우 적게 듭니다. 퀀텀 솔루션을 사용하면 계속 증가하는 PB 규모의 위성 데이터 아카이브를 간편하게 관리할 수 있습니다.”라고 덧붙였습니다.

데이터 급증에 대비할 수 있는 유연성 확보

StorNext는 달라지는 요구 사항 충족에도 도움이 됩니다. 예를 들어, 새로 계획된 릴레이 위성 시스템은 스토리지 요구량이 최초 추산치 넘게 증가할 것으로 예상됩니다. “다행히도 StorNext가 있어 우리 환경을 쉽게 확장할 수 있습니다. 아카이브 시스템을 새로 추가하고 이를 LTO-7으로 이동하여 전면적인 배치 없이도 이러한 새로운 데이터 수집 요구를 충족할 수 있습니다.”라고 Curtis가 말했습니다.

Curtis는 “ESA에서 다음 시리즈 센티넬 위성을 발사하므로 스토리지 요구 사항이 다시 변할 수도 있습니다. 우리는 StorNext 솔루션으로 잘 대비하고 있습니다.”라는 말로 끝을 맺었습니다.