中国数据存储服务平台

蓝鲸遥感接收与初级产品处理系统解决方案

应用背景:

遥感的英文是"Remote Sensing", 意即"遥远的感知"。其科学含义一般理解为:在遥远的地方,感测目标物的"信息",通过对信息的分析研究,确定目标物的属性及目标物之间的关系。也就是说:不与目标物接触,凭借其发来的某些信息,识别目标。遥感主要有航天遥感和航空遥感两种。

航天遥感系统一般由航天遥感平台与传感器、地面控制系统、地面数据接收系统和地面处理系统等部分组成。地面数据接收系统由地面接收站或接收站网组成。整个地面系统的数据流程是:地面接收站根据地面处理系统的接收计划任务单,接收卫星下行的遥感数据。各接收站把接收的卫星原始数据在地面站汇集后,向地面处理系统发送。航空遥感系统与航天遥感的差异是一般没有接收系统部分,主要由航空遥感平台与传感器、地面处理系统系统等部分组成,所以本系列方案对于航空遥感来说主要就是对应处理系统的方案。

无论是航空遥感还是航天遥感,数据到达地面处理系统后,会进行数据录入和处理,经帧格式同步、解压缩、解扰后生成0级数据和辅助数据文件与浏览图像,生成相应编目信息。编目信息立即进行发布,供数据查询、浏览和获取。再根据自动化产品生产策略,对获取的相应的0级数据和辅助数据进行各级标准化产品的处理。各级标准化产品经质量检查合格后进行发布,用户对数据产品进行查询、订购和下载。时效要求较高的用户通过专用光纤数据传输直接获得数据产品。(注:本方案主要讨论接收与初级产品处理部分的存储需求,高级数据产品生产系统的存储需求后面会分开讨论,由于有单位会建立从接收到高级产品生产的一整套接收处理系统,如需建立整套系统可以理解为是相关两套方案的整合)

遥感接收与初级产品处理系统对存储系统提出了非常高的要求:

  • l 需要能支持每处理步骤巨大存储需求差异的存储多面手:遥感数据处理的每一个处理步骤都有其独特性,各处理步骤对存储系统特性(包括单机单文件性能、多机并发性能、文件并发性与随机性等)存在巨大差异化的需求;
  • l 需要能支持处理步骤间业务数据流的紧密联系:遥感数据处理的步骤与步骤之间紧密地联系着,需要能互联互通具有良好的文件共享性,最好能做到业务流的数据传输零拷贝以保证应急处理能力;
  • l 需要能实现高要求与成本控制的平衡:在对存储系统要求偏高的情况下需能合理的控制成本,一方面是购买成本与后续维护成本,另一方面是要能做到容量与性能的按需扩展、按需购买。

存储方案:

本系列方案是根据系统规模推荐了大、中、小三种规模的方案。并假定按方案规模不同,冗余度需求也不同,在大规模的高端系统中采用双控制器标准存储设备、双冗余光纤网络、双冗余BWStor元数据控制器、N+1冗余BWStor I/O节点等多种冗余机制,充分保证系统运行可持续性;在小规模的普通系统中采用成本较低的冗余度设计来保证经济性。当然这种搭配仅是推荐方案,在实际情况中方案冗余度需求与方案规模没有必然联系,在实际方案中方案配置会根据用户实际需求来确定。

本系列方案从小规模系统可平滑升级为中规模系统直至大规模系统,做到系统与外部系统的全面协调可持续发展。

大规模遥感数据接收处理系统蓝鲸存储方案建议拓扑图

中规模遥感数据接收处理系统蓝鲸存储方案建议拓扑图

小规模遥感数据接收处理系统蓝鲸存储方案建议拓扑图

方案配置与特点说明:

综合考虑目前各种存储结构,既支持光纤通道连接又支持以太网连接,既可以通过集群方式把标准化的存储设备整合到一起又可以提供文件级共享访问的蓝鲸集群存储系统BWStor无疑是遥感接收处理系统的最优选择。

  • l 本系列方案可以根据遥感数据处理每一个处理步骤的存储特性来提供不同带宽特性的存储服务,例如:为数量较少的需要持续高带宽的服务器提供光纤通道连接,为数量较多的需要低成本连接方式的服务器提供以太网连接;为不同的处理步骤配置不同的卷与设备的组合;充分满足每处理步骤存储需求的巨大差异;
  • l 本系列方案采用标准光纤通道(4Gb、8Gb)存储设备的不同档次(在线、近线和离线)产品构成在线与近线存储硬件平台;并通过BWStor元数据控制器的总体控制把标准光纤通道存储集群化成为一个操作简单大的存储池来提供文件级服务;BWStor提供遥感数据的集中存储与文件级数据共享:将遥感数据生产的各个处理阶段中的数据,进行集中存储、统一管理做到业务流的数据传输零拷贝,减化了数据处理的复杂环节与使用流程,并通过分布处理,减少数据的冗余,降低了管理的复杂度,充分保证了应急处理能力;充分满足处理步骤间业务数据流的紧密联系;
  • l 本系列方案由于BWStor存储系统具有线性扩展的特点,扩容时只需添加标准存储设备即可实现容量与性能的按需扩展,可实现合理的成本控制,而无须通过传统的升级换代的方式来实现系统扩展。并由于完全掌握自主知识产权,能提供的优质服务,便于用户控制TCO。做到高要求与成本控制的较好平衡;
  • l 用户可以根据需求选配相应的管理系统,例如:有自动归档需求需选择配置数据归档系统,数据归档的一组系统将负责在在线、近线、离线存储设备上进行迁移;有部署与服务保护需求可选择配置Bladmin系统负责相关服务器的持续服务保护和新硬件环境的快速部署。
未经允许不得转载:存储在线 » 蓝鲸遥感接收与初级产品处理系统解决方案
分享到: 更多 (0)