蓝鲸并行文件系统助力石油勘探行业高性能计算

    存储在线 12月15日北京消息：2005年10月26日，国家高性能计算机工程技术研究中心(以下简称“工程中心”)自主研发的蓝鲸并行文件系统中标新疆油田公司研究院2005年度装备采购项目。蓝鲸并行文件系统成功应用于新疆石油公司研究院地球物理研究所（以下简称“地物所”）石油勘探地震资料处理的HPC集群计算环境中。
  
    国家高性能计算机工程技术研究中心是由国家科技部和中科院于1997年联合组建成立的，其目的是促进863计划高性能计算研究成果的产品化，促进高性能计算机产业的发展。工程中心依托于中国科学院计算技术研究所，在院所各级领导的关怀下取得了丰硕的成果。
  
    工程中心作为网络存储和高性能计算方面的权威研发机构，在科学院百人计划、国家863等项目科研成果的基础上，经过多年的产品化和性能优化工作，于近期推出了专门针对高性能计算集群的存储产品—-蓝鲸并行文件系统，有效地解决了大型计算系统中存储子系统的I/O瓶颈问题，极大地释放了前端集群服务器的计算能力。
  
    现在高性能计算领域的发展呈现出不平衡的态势，服务器以及集群技术已经非常成熟，但是与之配套的存储系统却面临很大的问题。计算环境和存储环境的不匹配牵制了高性能计算的发展，这种情况在石油天然气HPC应用方面尤为明显，以石油行业内有位专家的话说，就是“存储绊了高性能计算的腿”。
  
    在高性能计算领域中，石油天然气勘探资料处理是典型的计算密集型和存储密集型相结合的应用环境。在处理中，大量使用集群来进行各种地质数据的计算、处理和分析，其中涉及大量的数据，需要非常高的数据吞吐率。因此，它对集群系统的I/O性能提出了更高的需求，也使得传统的存储架构难以满足现有的应用，难以适应处理程序的需求，不能很好发挥集群的计算能力和处理程序的性能，从而造成计算资源的浪费。
  
    蓝鲸并行文件系统是针对集群环境下的数据传输和数据共享而设计的高性能分布式文件系统。它可以轻松管理多个存储节点上的海量存储空间，向集群中的众多计算节点提供高带宽、低延迟、可扩展的数据共享服务，从而克服传统存储模式下存在的数据传输瓶颈，简化数据管理，降低整个集群以及存储系统的总体拥有成本。
  
    通过使用蓝鲸并行文件系统，可以充分发挥集群系统的计算能力，有效管理海量存储空间，大幅度提高集群资源的使用效率，提高生产能力和生产效率。蓝鲸并行文件系统在地物所的应用效果充分地证明了这一点。
  
    地物所试用蓝鲸并行文件系统后，原有的应用软件无需做任何改动，计算平台即可被透明的转移到蓝鲸文件系统中。在并行计算中，128个计算节点同时完成一个作业，其I/O性能呈线性分布，高性能计算得出结果的时间能够比NAS系统缩短一半甚至更多；在常规计算中，计算时间比NAS系统缩短的更多，而且性能呈线性增长。原来需要计算3个月的项目，现在只需要1个月左右就可以完成，极大地缩短了项目的完成周期。到目前为止，地物所通过使用蓝鲸并行文件系统已经成功地完成多个项目的计算任务，高峰期有3到4个项目同时在一套存储上进行，极大地缩短了项目的完成周期。