中国数据存储服务平台

HPC与云计算交融,超算技术铺开大圈子

10月26日-29日,中国西安,2016年HPC Advisory Council (国际高性能计算咨询委员会)中国研讨会和HPC China 2016相继召开,针对人工智能、机器学习、数据挖掘、大数据分析概念等新兴概念激发的针对超算应用热的讨论,达到了一个新的高潮。期间,国际高性能计算咨询委员会亚太区主席刘通接受了笔者的采访。除此身份,刘通还是Mellanox亚太区市场开发总监。无疑,这样预示了Mellanox在超算市场的某种成程度的发言权。

wechatimg2

国际高性能计算咨询委员会亚太区主席刘通

HPC与云计算交融,超算技术铺开大圈子

众所周知,超算话题在国内最火的两天就是两个榜单公布的时候,一个是国际范围的TOP500,一个就是国内的TOP100(笔者注:明天会公布2016年度的TOP100)。两个榜单制造了很多超算界的明星,例如项目方的天河计算系统,基础设施供应商如Mellanox、Intel、联想、曙光等。刘通介绍,Mellanox独爱TOP500。

wechatimg3

首先,TOP500的超算系统统计基数大,刘通这些先进的超算系统采用的网络方案实施更具代表性。据统计,Mellanox 互联了TOP500中70.4%的HPC系统,互联了TOP500中近50%的千万亿次系统(Petasale),相比采用其它互连方案的系统多出超过1倍。今年6月的榜单相比去年底的,无论是采用56Gb/s的FDR InfiniBand还是100Gb/s 的EDRInfiniBand网络,都有所增加。

其次,刘通认为TOP500已经演变为HPC与云计算/互联系统的混合排名,而这需要Mellanox基于超算互联技术向基于云需要的高可扩展性方面做出创新的能力。不难发现,在两份榜单中,越来越多的国内基于以太网互连的Web 2.0和云计算的数据中心开始入驻榜单。这些数据中心对于网络传输的计算能力需求或许未必如传统超算在MPI层那么高,但却对高可扩展的系统网络追求更高的效率。在这方面,Mellanox的以太网卡因为拥有RoCE(RDMA over Converged Ethernet)特性,通过远程直接内存访问机制在以太网上提供高效数据传输以及非常低的延迟,从而为这些数据中心带来极高的性能、可扩展性、效率并且带来极高的投资回报。

image2

刘通介绍,其实RDMA技术在超算领域早已有之,但在近两年才开始得到了云数据中心更广泛的认知。一方面,是云计算技术在人工智能、机器学习、数据挖掘、大数据分析领域的开展,RDMA技术有个更大范围的用武之地。同时,Mellanox也在近两年积极推动RDMA技术的产学研合作。例如,HPC Advisory Council接连举办大学生RDMA编程挑战赛,本年度第四届大赛吸引了全国及亚太区近60支高校队伍参赛,辐射地域包括上海、西安、四川、武汉站、南京、合肥等地。

将CPU减负到底,开始注重节能

很长时间以来,超算领域都算是IT界一个不温不火的话题。例如,天河计算和神威·太湖之光似乎在打榜成功后才能成为一个公众话题。除此之外,这个圈子很多时候的创新与进展都是自己偷着乐的状态。不过这两年情况有所改观,在随着传统人工智能、机器学习、数据挖掘概念的火热,超算技术实现这些概念落地上优势愈发明显。很多超算领域的技术开始普世,甚至挑战起传统计算观念,正如刚才提到的RDMA,以及接下来要说到的网络协议卸载技术等等。

一直以来,Mellanox在高性能网络领域都是和Intel唱的对台戏。后者总是想让自己的CPU承担更多的网络能力,例如OPA,而后者则致力于为CPU减负,按照刘通的说法就是深耕“协处理器”的开发,即网络协议卸载技术。

wechatimg5

例如,Mellanox前不久推出 Switch-IB 2交换机,主打的也是高性能计算、Web 2.0数据库和云数据中心交换市场。Switch-IB 2能够实现100Gb/s的端口传输速率。 其中最为醒目的亮点就是,Switch-IB 2号称是世界上首台智能网络交换机,能将MPI操作从CPU卸载至网络,将系统性能提升10倍。

wechatimg4

Mellanox的多通路技术(Multi-HOST)能够让多个主机直接与单一网络控制器相连接,同时保证各主机间的完全独立、互不干涉。而且,这里面的主机可以基于不同的CPU架构(例如: x86,Power,ARM等),每个主机也能保证拥有其专用的服务质量(QoS)机制和主机管理通道。与此同时,多个主机共享同样的网络接口,从而还节省了交换机端口、电缆数量、占地面积和系统能耗等。

不难看出,随着超算技术圈子的越铺越大,高性能计算的应用也有了更大的范围和外延。在Mellanox的身上,我们很容易对未来高兴计算正在发生的以越发明显的特征,更高的效能同时要注重更加有利于低碳环保的理念,而这又会助理超算应用范围进一步拓宽。

未经允许不得转载:存储在线 » HPC与云计算交融,超算技术铺开大圈子
分享到: 更多 (0)