数据存储产业服务平台

NetApp全新Novus架构:全球首个ZB级的文件系统,单集群吞吐超100TB/s,可支持数十万块GPU同时工作

北京时间9月30日凌晨,NetApp推出新一代存储架构 Novus,主打给超大规模GPU集群喂数据。官方称其聚合吞吐超过100TB/s,可支撑数十万块GPU同时工作,容量设计最高可达ZB级,这是业界首个单命名空间支持ZB的文件系统。其目标客户是Neocloud 运营商、超大规模云厂商、自建 GPU 云的大企业,以及GPU即服务提供商。

5万张卡需要 100TB/s

单块GPU最高可能需要2GB/s的吞吐才能保持满载,5万块GPU就要100TB/s。而传统存储阵列只有40到 80GB/s,想凑够100TB/s 得部署一百多台,每台各有命名空间、故障域和运维负担,最后运营商要管的是一答堆存储,还得处理繁琐的数据搬迁。

NetApp 的判断是,存储跟不上时GPU利用率可能掉到个位数,这已经不是性能问题,而是利润问题:GPU 是资产负债表上最大的资本支出,也是唯一产生收入的资产,等数据的每一小时都在白白折旧。

Novus的技术思路:元数据和数据分离

NetApp认为,光堆控制器是解决不了问题的,元数据才是更早出现的瓶颈。小文件元数据操作要求大量独立请求快速响应,而checkpoint写入要求整个系统专注一条大顺序写流,两者放在同一批控制器上会互相拖累。

Novus 的做法是拆成两层:数据层跑在企业级ONTAP系统上,首发采用NetApp AFF A90 存储。元数据层由 Novus Data Director承担,是独立扩展的软件定义控制层,运行在标准 x86 服务器上。

工作时,客户端先问 Data Director 文件在哪、拿到布局信息,然后直接和存储节点通信。两个平面互不等待,数据可以跑满线速。

Novus的其他卖点

Novus采用的是标准协议,基于 pNFS/NFS,通过受支持的 Linux 客户端就能访问,不需要在 GPU 服务器上部署专有客户端,内核和 GPU 代际更替时也不用额外维护。

Novus支持单一命名空间,数千个存储节点统一在一个命名空间下,扩容时不需要改应用、重新挂载或中断租户。

此外,Novus继承了ONTAP各种能力,包括安全、韧性、QoS 和多租户方面都沿用 ONTAP 体系。 

洛斯阿拉莫斯国家实验室计算技术高级总监 Gary Grider 表示,AI 工厂规模继续扩大后,会有数十万块 GPU 同时访问一个命名空间,元数据操作大量积压会拖慢甚至卡死文件系统。他称 Novus 是首个能让元数据层和数据层独立扩展的架构。

未经允许不得转载:存储在线-存储专业媒体 » NetApp全新Novus架构:全球首个ZB级的文件系统,单集群吞吐超100TB/s,可支持数十万块GPU同时工作