Lattus 오브젝트 스토리지로 미디어 아카이빙의 혁신을 이룬 Crawford Media Services

전국에서 가장 뛰어난 미디어 서비스 기업 중 하나인 Crawford Media Services는 포스트 프로덕션부터 자산 관리, 그리고 아카이빙에 이르기까지, 그야말로 모든 것을 제공합니다. Crawford의 프로젝트는 워킹 데드(The Walking Dead) 등의 TV 드라마부터 링컨(Lincoln)이나 히든 피겨스(Hidden Figures)와 같은 메이저 영화까지 모든 분야를 망라하며, 업계 최고 기업인 Coca-Cola, PBS, Viacom 등을 고객으로 두고 있습니다.

Crawford의 수석 부사장이자 최고 기술 책임자인 Steve Davis는 "우리가 지난 30년간 꾸준히 성공을 거두면서 성장할 수 있었던 비결 중 하나는 업계가 나아가는 방향을 지속적으로 인지하고, 고객들에게 장기간 경쟁 우위를 유지할 수 있게 해주는 수준과 유형의 서비스를 제공하는 것"이라고 설명했습니다. 완벽한 예시 중 하나는 아카이빙에 대한 Crawford의 접근 방식입니다.

오래된 선형 미디어의 사용 수명이 지나면서, Crawford는 무수히 많은 분량의 콘텐츠를 장기간 저장하기 위해서는 디지털화와 아카이브화가 필요하다는 것을 깨달았습니다.

RAID의 한계를 시험하는 용량 요건

Crawford는 이미 고객에게 RAID 어레이와 디지털 테이프, 그리고 자체 디지털 자산 매니저인 Engage를 사용한 아카이빙을 제공하고 있었습니다. 그러나 콘텐츠 1시간당 100GB 이상을 소모하는 보존 등급의 미디어 파일로부터의 엄청난 데이터 유입은 빠른 속도로 RAID를 앞질렀습니다.

"RAID는 디스크 수준에서 불필요한 중복성을 가집니다. 이제 4TB짜리 디스크는 흔할 정도로 디스크가 많아지고 그 용량이 커지면서 고장의 가능성도 높아집니다. 그 결과는 엄청납니다. 디스크를 재구축하는 데 며칠이 소요될 수 있습니다. 그동안 데이터는 취약해지고, 시스템 성능은 하락되었습니다."

오브젝트 스토리지 조사

Crawford는 2년 가까이 제2세대 자체 아카이브인 AMBER를 지원하기 위한 기술을 검토한 결과 오브젝트 스토리지에 사용되는 기술 중 하나인 이레이저 코딩이 해답이라고 확신했습니다. 이레이저 코딩은 데이터를 다수의 개별 유닛으로 나눈 후 이를 여러 스토리지 노드에 분배합니다. 이때 각 유닛은 패리티 및 리던던시를 가집니다. 오류가 발생하거나 디스크가 고장날 경우, 데이터는 자동으로 다른 위치에서 판독됩니다. 디스크를 대체할 수 있는 선택지는 무수히 많으며, 재구축을 진행하는 동안 다운타임은 사실상 0에 수렴하고, 데이터 무결성은 RAID 대비 훨씬 높습니다.

확장 가능하며 탄력적인 아카이브를 위한 Lattus 활용

다양한 대안을 살펴본 후, Crawford 팀은 퀀텀의 Lattus 오브젝트 스토리지 솔루션이 AMBER에 가장 적합한 솔루션이라고 결론지었습니다.

Davis는 이렇게 말했습니다. "우리는 Lattus에 사용되는 기술을 이미 알고 있었으며, 그 완성도와 탄력성, 그리고 확장 가능성에 깊은 인상을 받았습니다. 퀀텀은 어플라이언스 기반 구현인 Artico도 제공합니다. Lattus를 퀀텀의 StorNext 데이터 관리 플랫폼과 통합시켜줍니다. 나아가서, 퀀텀이 제공하는 StorNext File System은 아카이브를 보다 쉽게 사용하는 데 도움이 되며, 그 API를 통한 Engage와의 통합도 가능합니다. 이 시스템은 또한 콘텐츠 전송에 이동식 디스크를 주로 사용하는 고객을 위한 테이프도 지원해줍니다."

데이터 보존 및 비용 절감을 위한 확장성

Lattus 사용자는 SSD나 전통적인 하드 디스크를 캐시로 선택해서 사용할 수 있습니다. Lattus는 작은 단위로 확장되므로 새로운 기술을 추가하고 그 기술을 기존 스토리지 풀에 통합시키기가 쉽습니다. 결과적으로 Crawford는 AMBER 서비스를 전통적인 클라우드 서비스 대비 상당히 낮은 요금으로 제공할 수 있게 됐습니다.

새로운 아카이브는 기본적으로 Crawford의 1.2PB 고객 아카이브를 수용할 수 있는 크기로 만들어졌으나 확장을 위한 공간을 제공합니다. 고객은 Engage를 사용해서 프록시를 보며, Engage는 FTP 서버나 테이프에 전체 해상도 사본을 전송합니다. Davis는 이렇게 설명합니다. "이 시스템의 장점 중 하나는 당사의 고객들이 전체 파일 복구 이상의 작업을 수행할 수 있게 해주는 것입니다." "StorNext는 부분 파일 복구를 지원하기 때문에 사용자는 특정 타임코드 범위를 불러와서 데이터 이동을 최소화할 수 있습니다."

Lattus 덕분에 우리는 업계 내 그 어디에서도 보지 못했던 수준의 아카이빙 서비스 제공 능력을 가지게 됐습니다. 완벽한 데이터 무결성, 비파괴적 확장성을 통한 미래의 최신 기술로의 마이그레이션, 그리고 DR 보호 수준 강화를 위해 데이터 복사본을 여러 위치에 저장할 수 있는 옵션을 구축할 수 있게 되었습니다."