ペタバイト規模のデータへのアクセスを管理

クアンタムのデータ管理ソフトウェアで地球観測データ・アーカイブを管理

NASAの地球観測システムの衛星からは、毎日、地球、海洋、大気に関するテラバイトのデータが送られてきます。データは、今までに考えられたものの中で最も有望なデータのプロジェクトであるNASAの地球観測システムのデータおよび情報システム(EOSDIS)を使用して、世界中の気象研究者に利用されています。このかけがえのない情報の保管には、クアンタムのデータ管理ソフトウェアが利用されています。

著しく増加するデータ

1999年の運用開始以来、NASAのEOSDISは最もよく利用されている世界最大のデータ・リポジトリの1つとなっています。毎日3テラバイトもの新しいデータを格納しつつ、世界中の研究者にアーカイブの中から2テラバイトの情報を配布しており、ペタバイト以上の情報を含む2,000万以上のファイルにアクセスするユーザーの数は数十万人に達しています。

EOSDISのコア・コンポーネントは、Raytheon Imagery and Geospatial Systems社によって開発されました。「このデータは、地球の変化についてさまざまな洞察を提供する国家資源であり、これを保存・整理し、研究者が利用できるようにすることは、重要なタスクであり、大きな課題でもあります」と、Raytheon社のプロジェクト技術ディレクターは述べています。

タスクの規模から、アプリケーションがデータを書き込み、自動テープ・ライブラリから直接データを読み取ることができるようにシステムを構築する必要がありました。Raytheon社のプロジェクト技術ディレクターは次のように述べています。「当社はさまざまな媒体に保存されている大量のデータ・セットを処理できる堅牢なストレージ・システムを必要としていました。また、365日24時間の運用をサポートできる安定したソリューションも必要としていました」

ディスクおよびテープへのデータ・アクセスに優れたパフォーマンスを発揮

EOSDISの成功の鍵となったのは、テープへ格納された数百万のファイルとペタバイトの重要データをすばやく検索できるよう、メタデータを常に利用可能な状態にしておく高速ディスク・キャッシュの管理システムを開発したことでした。クアンタムのデータ管理ソフトウェアによってシステム全体を統合管理することで、ユーザーは効果的にシステムへアクセスすることができます。

クアンタムのデータ管理ソフトウェアで、テープ・ライブラリをオンラインで直接アクセス可能な大容量ストレージへ移行すれば、ユーザーや管理者、アプリケーションは、数ペタバイトのデータをアーカイブすることができます。管理ソフトウェア上には、自動化されたテープ・ライブラリが1台のデバイスおよび1つのUNIXのマウント・ポイントとして表示されるため、ユーザーは、ディスク・デバイスを操作するのと同じように、テープ・ライブラリ内のファイルにアクセスすることができます。クアンタムのデータ管理ソフトウェアは、ディスク・キャッシュを管理し、可用性の高いサーバ・クラスタ内でメタデータをオンライン状態に維持し、無制限の数のファイルを効果的に管理できるようにサイズを調整します。

Raytheon社のプロジェクト技術ディレクターはさらにこう述べています。「完成したシステムでは、ストレージ・リソースを可能な限り効率的に使用することができます。パフォーマンスに優れた、非常に弾力性のあるストレージ環境が構築され、あらゆるアプリケーションからデータにすばやくアクセスでき、多数のリソースを活用することができます。ファイルの検索、ディスク・キャッシュへのステージング、ファイルまたはメディアの複製セットの配信は、すべてバックグランドで処理されます」。EOSDISのWebサイトを介してデータにアクセスしたユーザーは、データが1つのデータベース内に保存されているかのように表示されます。

システム・アーキテクチャを支援し、継続的なサービスを提供するクアンタムのサポートは、プロジェクトの成功に大きく貢献しました。Raytheon社のプロジェクト技術ディレクターは次のように結論付けています。「このプロジェクト全体に対して主要ベンダーが関わったことが、成功を導いた1つの鍵でした」