如何构建基于 Ceph 的高性能云存储解决方案?

Ceph*是最常见的块和对象存储后端解决方案。作为一款开源的分布式存储软件解决方案,它在公有云和私有云环境中有着广泛的应用。伴随着固态盘(SSD)价格的不断走低,云提供商纷纷开始着手为客户打造具备卓越性能和高可靠性的全闪存存储。为此,他们迫切希望获得基于 Ceph 的全闪存参考架构,并了解具体的性能表现和最佳优化实践。

英特尔® 傲腾™ 技术前所未有地集高吞吐量、低延迟、高服务质量和高耐用性优势于一身。它由 3D XPoint™ 内存介质、英特尔® 内存控制器、英特尔® 存储控制器、英特尔® Interconnect IP 和英特尔® 软件组合而成。这些构建模块相互配合,在降低延迟和加速系统性能方面实现了具体提升,能够全面满足工作负载对于大容量和快速存储的需求。

本篇文章将围绕 Ceph 全闪存存储系统参考架构和基于英特尔® 至强® 可扩展处理器的软件优化等方面,介绍我们所取得的进展。在本文中,我们将重点为您介绍最新的 Ceph 参考架构和性能结果,该架构的配置包括 RADOS 块设备(RBD)接口、英特尔® 傲腾™ 技术和英特尔® 至强® 可扩展处理器产品家族(英特尔® 至强® 铂金 8180 处理器和英特尔® 至强® 金牌 6140 处理器)。

采用英特尔® 傲腾™ 技术和英特尔® 至强® 可扩展处理器的 Ceph AFA

在本节中,我们将介绍采用英特尔® 傲腾™ 技术和英特尔® 至强® 可扩展处理器的 Ceph 全闪存阵列(AFA)参考架构,以及典型工作负载的性能结果和系统特性。

采用英特尔® 至强® 铂金 8180 处理器的配置

英特尔® 至强® 铂金 8180 处理器是英特尔® 至强® 可扩展处理器产品家族中最先进的处理器。该配置使用英特尔® 傲腾™ 固态盘(SSD)作为 WAL 设备,使用基于 NAND 固态盘作为数据硬盘,并使用 Mellanox* 40 GbE 网络接口卡(NIC)作为高速以太网数据端口,具备最高性能(吞吐量和延迟)。它是 I/O 密集型工作负载的最佳选择。

图 1. 集群拓扑
 表 1. 集群配置
对于客户端,每个节点配置了英特尔® 至强® 铂金 8180 处理器、384 GB 内存和 1 个 Mellanox 40GbE NIC。同时,每个节点均使用 Ceph 12.2.2,并且每个英特尔® 固态盘 DC P3520 系列运行一个对象存储守护程序(OSD)。用于测试的 RBD 池配置有 2 个副本。

测试方法

我们设计了四种不同的工作负载来模拟云中典型的全闪存 Ceph 集群(基于带 librbd 的 fio),其中包括 4K 随机读写和 64K 顺序读写,以分别模拟随机工作负载和顺序工作负载。对于每个测试用例,IO 性能(IOPS 或带宽)使用卷扩展数量(最大扩展到 100)来衡量,每个卷配置为 30 GB。这些卷已预先分配,以消除 Ceph 精简配置机制的影响,获得稳定且可复制的结果。每次测试之前停止 OSD 页高速缓存,以消除页高速缓存的影响。在每个测试用例中,fio 配置了 300 秒的准备时限和 300 秒的数据采集时限。如需了解详细的 fio 测试参数,请参见可下载的 Ceph 配置文件

4K 随机写入的系统指标

4K 随机读取的系统指标

 64K 随机写入的系统指标
64K 随机读取的系统指标
基于英特尔® 傲腾™ 固态盘的全闪存 Ceph 在不同英特尔至强处理器下的性能表现

采用英特尔® 至强® 处理器 E5 2699 的测试系统与采用英特尔® 至强® 铂金 8180 处理器的测试系统使用相同的集群拓扑和硬件配置。唯一的区别是每个服务器或客户端节点均配置了英特尔® 至强® 处理器 E5-2699 v4 和 128 GB 内存。

对于软件配置,英特尔® 至强® 处理器 E5 2699 测试采用 C eph 12.0.3,每个英特尔® 固态盘 DC P3520 系列运行四个 OSD 守护程序。这与英特尔® 至强® 铂金 8180 处理器配置不同,它仅运行一个 OSD 守护程序。

 表 2. 性能对比概览
对于采用英特尔® 至强® 铂金 8180 处理器的系统客户端,每个节点都配置了英特尔® 至强® 金牌 6140 处理器、192 GB 内存和 1 个 Mell anox 40 GbE NIC。同时,每个节点均使用 C eph 12.2.2,并且每个英特尔固态盘 DC P3520 系列运行 1 个 OSD 守护进程。用于测试的 RBD 池配置有 2 个复制系统拓扑。

表 3. 性能比较

【本文版权归存储在线所有,未经许可不得转载。文章仅代表作者看法,如有不同观点,欢迎添加存储在线微信公众号(微信号:doitmedia)进行交流。】
标签: Ceph   Optane   英特尔