管理对 PB 数据的访问

昆腾数据管理软件管理地球观测数据归档

每天,NASA 的地球观测系统卫星向地面传输 TB 级的数据,这些数据涉及地球、海洋和大气。这些数据使用美国国家航空航天局地球观测系统的数据和信息系统 (EOSDIS)(人类所能构想的最雄心勃勃的数据项目之一)提供给世界各地的气候研究人员。存储这些不可替代的信息的任务委托给了昆腾数据管理软件。

不断激增的数据

自 1999 年上线以来,美国国家航空航天局的 EOSDIS 已成为全球最大和最活跃的数据存储库。每天,它接收 3 TB 的新数据并向全球各地的研究人员分发 2 TB 的现有信息,让成千上万的用户可以访问 2000 多万个文件(包含超过 1 PB 的信息)。

核心 EOSDIS 组件是由 Raytheon Imagery 和 Geospatial Systems 开发。Raytheon 的项目技术主管指出:“这一数据是研究地球演变的国家资源。存储、组织并将其提供给研究人员是重要的任务,并且充满挑战性。”

任务的规模意味着系统需要进行结构化处理,以便应用程序可以直接从自动磁带库写入和读取数据。Raytheon 的项目技术主管坦言:“我们需要一个可以进行扩展的可靠的存储系统,以处理存储在多种类型介质中的大规模数据。我们还需要可支持全天候操作的稳定的解决方案。”

使用磁盘和磁带的高性能数据访问

EOSDIS 成功的关键是开发一个系统来管理高速磁盘缓存,以使元数据可持续用于快速搜索,搜索范围涉及存储在磁带上的数以百万计的文件和 PB 级的主数据。昆腾数据管理软件将整个系统联系在一起,让用户能够有效访问该系统。

昆腾的数据管理软件将磁带库转换为在线、直接访问的海量存储(允许用户、管理员和应用程序归档 PB 级的数据)。昆腾数据管理软件提供了作为一个设备和一个 UNIX 安装点的自动磁带库,这样用户能够以访问磁盘设备中的文件相同的方式访问驻留在磁带库中的文件。昆腾数据管理软件可以管理磁盘缓存,在线维护高度可用的服务器集群中的元数据,以及进行扩展来有效地管理无限数量的文件

Raytheon 的项目技术主管继续解释道:“完成后的系统让我们能够以最有效的方式使用我们的存储资源。它给我们提供了一个高性能、非常有弹性的存储环境,使我们可以轻松访问我们所有的应用程序中的数据,并让我们能够利用大量的资源。所有的文件检索、磁盘缓存转储以及以文件或介质复制形式的交付都在后台进行。”对于通过 EOSDIS 网站访问数据的用户,数据看起来就像存储在一个单一的数据库中。

昆腾在提供系统架构和持续服务方面的支持和帮助对项目的成功至关重要。主要供应商全面致力于该项目也是取得成功的关键因素之一。”