가변 길이 중복 제거

데이터 중복제거는 데이터센터를 혁신하여 데이터 보호를 향상시키고 스토리지 비용을 절감합니다. 오늘날, 데이터 중복 제거는 디스크 백업 어플라이언스는 물론, 플래시 어레이에서 백업 어플리케이션까지, 활용할 수 있는 방법이 매우 다양합니다. 그렇다면, 중복 제거 기술을 선택할 시 고려해야 할 핵심 요소는 무엇일까요?

가변 길이 중복 제거란?

데이터 중복제거의 목적은 디스크 어레이에 저장될 수 있는 정보의 양을 늘리고 네트워크를 통해 전송될 수 있는 효과적인 데이터의 양을 증가시키는 것입니다. 압축 알고리즘을 사용해서 디스크에 기록된 데이터를 줄이고, 중복된 비트나 데이터 블록의 중복을 제거하는 등 데이터를 감소시키기 위한 다양한 알고리즘이 있습니다. 파일 기반, 또는 고정된 길이의 데이터 세그먼트를 사용하거나 가변 길이 방식을 사용한 중복제거가 주된 방법입니다.

퀀텀이 사용 및 시행하는 데이터 중복 제거는 체계적으로 특정 데이터 세트 내에서 반복되는 가변 길이 블록(또는 데이터 세그먼트)의 참조 포인터를 대체하는 방법을 기반으로 데이터 감소에 접근하는 방식입니다.

퀀텀의 중복 제거 기술은 데이터 종속 방법을 사용하여 데이터 흐름을 여러 위치와 문맥에서 같은 블록 경계선을 찾을 수 있는 가변 데이터 세그먼트로 분할합니다. 이 블록을 만들어내는 과정은 데이터 흐름 내에서 경계선이 "자유롭게 감지하도록" 하여, 데이터 세트의 한 부분에 일어난 변화가 데이터 세트의 다른 위치에 있는 경계선에 아주 적거나 혹은 거의 영향을 미치지 않도록 합니다. 이 방법을 통해, 중복된 데이터 세그먼트는 하나의 파일, 다른 여러 개의 파일, 다른 어플리케이션에서 만든 파일, 다른 시간에 만든 파일 내의 여러 위치에서 발견될 수 있습니다.

데이터 감소의 차이

가변길이 방식을 통해 6배 향상된 중복 제거는 스토리지, 네트워크, 클라우드 비용을 감소시킵니다.

궁극적으로, 데이터 감소의 양은 중복 제거 알고리즘과 데이터의 특성에 따라 50% 감소(2:1 비율)에서 99% 감소(100:1비율)까지, 또는 가변 길이 중복 제거를 사용하여 이 이상까지도 급격하게 달라질 수 있습니다. 중복 제거의 이중적 이점: (1) 디스크에 저장된 데이터 감소와 (2) 네트워크 트래픽 감소(LAN or WAN), 이렇게 두 가지로 정리될 수 있기 때문에, 데이터 감소에서의 두 배 혹은 열 배의 차이는 스토리지, 네트워크 및 클라우드 비용에 매우 실질적인 영향을 미칠 수 있습니다.

퀀텀이 특허 받은 가변 길이 방식은 고정 블록 접근 방식보다 6배 더 효율적으로 공동 데이터 센터 데이터를 중복 제거하는 가장 효과적인 방법입니다.

가변 길이 데이터 세그먼트에 기반하여 중복 제거할 시, 데이터 중복 제거는 동일한 전체 파일의 반복되는 인스턴스만을 제거하는 단일 인스턴스 저장 기술보다 더욱 세분화시킬 수 있습니다. 실제로 가변 길이 중복 제거는 파일 기반 데이터 감소 시스템과 결합하여 효율성을 증가시킬 수 있습니다.

90% = 10:1 = "100TB의 데이터를 디스크에 10TB 로 저장"

73% = 3.75:1 = "100TB의 데이터를 디스크에 27TB 로 저장"

디스크 절감 %
Exchange 백업 DXi 가변 길이 고정 블록
1 33% 48%
2 62% 61%
3 73% 60%
4 78% 65%
5 82% 70%
... ... ...
18 90% 73%

위 차트는 중복제거 효율의 차이점을 나타냅니다. 이 차트는 18개의 순차적 Microsoft Exchange 환경 백업을 완료한 결과를 보여주고, 그 다음 DXi® 가변 길이 중복 제거와 고정 블록 중복 제거 알고리즘에 대한 18개 백업의 디스크 절감 %의 확실한 차이를 보여줍니다. 결과를 보면, 18개의 백업 이후, 가변 길이 중복 제거는 디스크 요구량을 90% 줄인 반면, 고정 블록은 데이터를 73% 밖에 줄이지 못한 것을 알 수 있습니다. 실제적인 측면에서 볼 때, 가변 중복 제거는 같은 양의 데이터를 저장할 때 고정 블록 접근 방식을 사용했을 때의 디스크 용량의 1/3만큼만을 사용한다는 것을 의미합니다!

중복 제거 지원 복제

오프사이트 및 클라우드로의 데이터 이동

중복 제거는 본래 백업을 위해 테이프 사용을 감소 또는 제거하는 기술로, 백업과 재해 복구를 위해 설계된 기술이었습니다. 또한 백업 데이터가 시간이 지남에 따라 많은 양의 중복 데이터를 갖고 있기 때문에 백업 기술로도 훌륭합니다. 하지만 중복 제거는 단지 데이터 감소를 넘어 그 이상의 일을 가능하게 만들었기에, 현재 클라우드 기술의 기본이 되고 있습니다.

데이터 중복 제거는 네트워크에 중복 데이터 세트를 만들고 유지하는 데 필요한 대역폭과 비용을 감소시킴으로써 백업 데이터 복제 과정을 실용적으로 만듭니다. 기본 수준에서는 중복 제거 기반의 원격 복제와 중복 제거 기반의 데이터 저장이 흡사합니다. 일단 백업 데이터 저장 이미지가 소스와 타겟으로 두 개가 생성되고 나면, 소스와 동일한 복사본이나 대상을 보관하는 데 필요한 것은 매 백업 시 마다 추가된 새로운 데이터 세그먼트를 메타 데이터와 함께 주기적으로 복사 및 이동시키는 것 뿐입니다.

가변 길이 중복 제거는 디스크 스토리지를 감소시키지만, 중복 제거된 데이터만 복제되기 때문에 네트워크 대역폭 요구량 또한 획기적으로 감소시킵니다. 이는 데이터가 네트워크 트래픽과 비용을 최소화하는 매우 효율적인 방법으로 사이트 간, 클라우드에서 사이트로 복제될 수 있다는 것을 의미합니다.

위치 사항: 중복 제거 장소

중복 제거가 리소스 전산 작업에 미치는 영향

모든 데이터 감소 알고리즘의 공통 사항: 다양한 비트의 데이터를 추적하고 알고리즘을 수행하는 데에 전산 / 처리 능력을 사용합니다. 따라서 사용자가 주 스토리지, 플래시나 SSD에서 중복 제거 기능을 작동시키면, 스토리지의 클라이언트, 어플리케이션 및 사용자를 지원하는 등 다른 업무에는 사용할 수 없는 중복 제거 기능을 수행하기 위해 많은 처리 능력을 사용해야 합니다. 그리고, 데이터가 중복 제거 되기 시작하는 그 시간 동안 처리 능력만 사용될 뿐만 아니라 일종의 조각이나 디스크 공간 교정 과정 또한 실행되어 비트와 블록의 풀을 같이 정리해야 합니다. 이 또한 추가 처리 능력이 소모되므로, 장치가 이 기능을 수행 할 때, 다른 업무를 수행할 능력과 여유가 줄어듭니다. 간단히 말해서, 공짜는 없다는 이야기입니다. 중복 제거를 수행해야 하는 CPU, RAM, 및 스토리지가 별도로 구성되어야 합니다.

이것이 중복 제거가 백업 기술을 위해 설계된 기술로도 적합하며 최고의 어플라이언스로도 구현되는 이유입니다. 백업은 시간이 지남에 따라 데이터 센터의 특정 백업 윈도우(목표 시간)에만 일어나는 과정으로 변화되었습니다. - 예를 들어, 이 시간 동안, 밤이든 주말이든 백업 시간이 정해져 있는 동안만, 백업 서버와 스토리지는 '작동 중'이어야 합니다. 하지만 백업 스토리지는 백업 시간이 끝나면 '비활성화'될 수 있습니다. 이 시기가 백업 어플라이언스가 백업이나 제품 어플리케이션에 영향을 미치지 않고 해당 중복 제거와 관련된 백업 작업을 수행할 최적의 시간입니다.

퀀텀 솔루션은
데이터 중복제거 및 복제 기능 솔루션으로 입증되었습니다.

온라인 정보 요청
전화번호 02-560-7400 | 이메일 KOREA.SALES@QUANTUM.COM
유사한 솔루션이 필요합니다정보 요청하기연락처