在中国气象局国家卫星气象中心的副总设计师施进明看来,新一代数据中心应该更为自动化,具有更高的可靠性和更加无缝的扩展性。只有这样,才能帮助他们更为得心应手地适应高速发展的气象卫星资料处理和产品应用业务。

  对于数据中心来说,安全肯定是必备要素,除此之外,所谓新一代数据中心应该尽可能地降低能耗,提升制冷效率,强化自动化管理,最好能够达到无人值守、全自动的状态。要能够做到无缝的可扩展性,增加资源而无须修改应用。

  —中国国家卫星气象中心的副总设计师 施进明

  中国气象局国家卫星气象中心的副总设计师施进明一直对他们所部署的IT系统引以为豪。对于5月份即将发射的风云三号气象卫星,他们已经做好了数据接收、传输、资料处理、产品服务的准备工作。为了做好这样的准备,他们构筑了新型的服务器系统、网络系统、存储系统、空调制冷系统,部署了网格调度、广域网加速、服务器虚拟化技术。甚至针对新使用的SQL数据库,还邀请微软美国总部的专家进行了专门的设计,使其更适应风云三号气象卫星大容量产品服务的需要。

  三个阶段的IT基础设施

  施进明在国家卫星气象中心已经工作了20多年,作为国家卫星气象中心的IT元老级人物,对曾经为国家卫星气象中心做出贡献的所有计算系统记忆犹新,她将国家卫星气象中心所采用的计算系统分成了三个大的阶段。

  最初的1985年到1995年,被她称为“大型机时代”,大型机系统完成了我国第一代风云一号和风云二号01批次气象卫星的资料处理任务。那个时候采用的是IBM和富士通的大型机进行卫星气象数据的计算,由于处理的遥感产品的种类不断增加导致计算能力总是不足,需要数台大型机才能够联合完成计算任务,是由于采用大型机的集中式处理方式,最重要的问题是系统不能及时方便扩充,大型系统的维护人员和应用开发人员都要经过专门的技术培训,大型系统在遥感资料可视化方面差距也很大。

  1995年到2007年的这一个阶段的系统,主要负责我国风云一号和风云二号02批次气象卫星的资料处理。随着IT技术的发展,国家卫星气象中心1995年开始引入了分布式计算的方式构筑IT基础设施,施进明将该阶段称为“分布式计算时代”。在这个阶段,采用了大量的HP和IBM的服务器,如何实现多台服务器之间的计算资源的协调、共享,如何尽可能地实现作业调度系统的高效与自动化,如何提高计算机群的高可用性则是该阶段一直在解决与改善的技术问题。

  而从2008年开始,国家卫星气象中心为满足新一代极轨气象卫星风云三号大容量数据处理的需要,开始引入配置1280颗CPU的SGI系统与IBM的System p595 Unix系统,通过这种高性能计算机的引入来实现更为快速的卫星数据处理,从而使得卫星气象中心的数据处理即将迈向“高性能计算时代”。

  大规模共享内存提升性能

  无论是在2007年之前的“分布式计算”阶段,还是2008年开始的“高性能计算”阶段,国家卫星气象中心最需要解决的就是增进数据的传输和处理能力,这也是他们各阶段部署的IT设备都是高端系统的原因。

  FY-3应用系统中的计算机及网络系统(FY-3 Computer & Network System,CNS)是风云三号气象卫星地面应用系统工程的主要功能系统之一。它不仅是应用系统的基本支撑系统与运行平台,也是一个功能系统,负责五个地面站的资料传输、数据处理和服务中心资料汇集、业务作业调度等功能的业务软件研发,以及系统软件的部署和配置等。

  FY-3应用系统架构设计中要求FY-3系统处理中的数据最好能够都在内存中共享,而一般的x86服务器所能提供的内存极为有限,即便是16路的x86服务器,所能提供的内存也极为有限,更不用说双路或者四路的x86服务器了。而此次配备的SGI服务器,其中每个节点都有256颗CPU,内存按照1:3的配比,单机能够达到768GB内存。而IBM的服务器,由于每台设备只有64颗CPU,如果按照1:4的配比进行内存配置,每台服务器拥有256GB的内存。“这样就能保证一份数据能在内存中直接共享,被反复处理使用,FY-3卫星每接收处理一次轨道的原始遥感数据就有36GB之多,除OS必须占用的内存外,FY-3卫星0、1、2级数据几乎时刻占满了全部几百GB的内存。”施进明说,“时效当然是越快越好,最理想的模式莫过于我们从卫星接收到数据,经过计算系统之后瞬间计算完毕,自动输出产品到用户、自动存档、自动网络产品共享服务。”

  在为风云三号所部署的新系统中,包括了SGI的一套高性能计算机以及IBM的p595 UNIX服务器,p595负责0级数据的处理和加工,生成的1级数据直接从p595内存发往各个SGI服务器的内存。卫星气象中心采用这种独特的传输是为了随后的计算时效,因此他们否决了通过FTP方式或者其他的文件传输方式进行数据传输,而是通过在多套服务器之间部署Infiniband和捆绑的千兆网络光纤来实现内存之间直传的方式,使得大容量遥感数据的传输与处理都变得极为迅捷。

  “我们实现了各级数据在内存中的反复处理使用,如果不是生成了可以分发的产品或中间产品,则数据几乎不会被保存到盘上面去。”施进明表示。

  高效作业调度使流程自动化

  国家卫星气象中心的原始数据是卫星不断实时探测到的各种气象遥感数据,而输出的则是各种大气、海洋、陆地图像和定量应用产品,这些产品被广泛应用于天气预报、气候预测、自然灾害监控以及环境监测、专业气象服务等各个方面。

  现阶段,国家卫星气象中心需要每天从风云一号、风云二号以及国外的一些卫星上接收数据,然后进行处理,输出成产品,不同的时段、不同的卫星接收的数据都有不同,而输出的产品也有不同,因此这要求数据处理系统能够快速处理。

  由于卫星的数据接收窗口时间有固定的限制,必须在限定的时间内完成计算,所以单靠人工干预,基本上无法完成所需要的作业调度任务。

  “因此卫星气象中心的工作必须制定好严格的作业流程,要根据预先制定的工作流程和调度策略启动,有条有理地、像流水线一样井然有序地处理和运行。” 施进明表示,“否则,前面的流程还没有结束,后面的流程又接踵而至,会更加困难和麻烦。”

  这就需要能够有一种自动化的作业调度系统,它能够自动分配计算资源,实现资源调度的自动化。他们选择了使用Platform公司的作业调度系统来实现,并且将其作为了卫星气象中心运作的基础支撑工具。

  由于此前的系统就已经采用了这种技术,大大提升了作业调度的效率和计算资源利用的效率,因此在最近的十多年间一直在使用该产品。最新一期的风云三号项目中,也使用了该公司的产品。

  施进明甚至表示,已经很难想象,倘若离开了这种基于网格技术的自动化作业调度系统,大量的卫星气象数据如何才能有条不紊地得到处理?气象中心的计算资源利用率又怎么能够达到85%以上?

  WAN加速提升网络效率

  国家卫星气象中心除了北京地面站之外,还有乌鲁木齐、广州和佳木斯三个国内地面站和一个在瑞典的国外站。它们相互之间需要传送大量的卫星资料。在未来的二期工程规划中,还要增建两个国内地面站,即在乌鲁木齐、广州建设西部和东部数据中心。另计划通过“云计算”的调度规划来共享分中心的处理性能。这些都对网络传输的效率提出了极高的要求。

  国家卫星气象中心CNS主任设计师林曼筠表示,由于资金等各方面的因素,国家卫星气象中心经过仔细计算,目前申请的是66M带宽的线路连接国内地面站,45M带宽的线路连接国外地面站。这对于大批量的卫星数据传输来说,只能是勉强够用,如果任务增加或者有其他突发事件,便会使得网络资源相当紧张。近年来,业务数据传输通过网络的多线程并行传输技术,使得网络的传输效率稳定在80%以上。

  目前通过在各国内站部署Riverbed公司的WAN加速技术,使得网络传输性能有了相当大的提升。经过模拟数据测试,该技术使用户能够100%占用广域网带宽,即使对苛刻的压缩数据文件,传输速度也能提高30%以上,对于处理后的产品传输效果尤其突出。

  能耗压力严重

  对于新一代数据中心中节能和绿色的建议,施进明表示,这已经不仅是口号的问题,而是已经对CNS系统构成了实实在在的压力。

  对于国家卫星气象中心来说,不仅每年500多万元的电费是一个相当严峻的运营成本。现在他们数据中心已经消耗了所在大楼的60%以上的电力,预计2008年数据中心电费将超过300万元,如果今后继续扩展IT设备,需要申请更多电力和运行经费,甚至需要对整个供电系统进行改造。

  同时,数据中心的散热问题也相当严峻。他们已经为新设备的引入而更新、增加了空调设备,同时也在考虑有关水冷空调设备、水冷机柜等方面的问题,以便提升制冷效率,进而进一步提升数据中心的计算密度。“而且,安装更多的空调机柜本身对数据中心来说,也会给机房空间造成压力。”施进明还表示。

  在谈到未来的新一代数据中心建设问题时,她说,希望未来的数据中心能够尽可能地降低能耗、提升制冷效率,强化自动化管理,能够达到远程控制、无人值守、全自动的状态,尤其要能够做到灵活、有效的可扩展性。最好以后在数据中心性能不足时,不管什么品牌的服务器都能够无缝加入现存的系统中,而不要像目前这样,必须动用大量的软件工程师来进行遥感资料处理软件的移植和改造。

  国家卫星气象中心

  相关链接一

  风云三号

  风云三号卫星是在风云一号卫星基础上发展起来的我国新一代极轨气象卫星,是我国首颗高性能综合探测卫星,其探测性能将比风云一号(简称FY-1)卫星有显著的提高。星上携带仪器除了可见光和红外扫描辐射计外,增加了微波温度计,微波湿度计、微波成像仪、红外分光计、中分辨率光谱成像仪、紫外臭氧垂直探测仪、紫外臭氧总量探测仪、太阳辐照监测仪、地球辐射探测仪、空间环境监测器等遥感仪器。在功能和技术上向前跨越了一大步,具有获取全球、全天候、多谱段、三维、定量探测和地表、海洋及空间环境参数的能力,并与美国的新一代气象与环境监测卫星NPOESS、欧洲的新一代极轨气象卫星METOP相当,世界气象组织已将FY-3卫星纳入新一代世界极轨气象卫星网。