NETGEAR ReadyNAS RR4312S是2016年底发布的一款2U机架式NAS（IP SAN+NAS），在NETGEAR的产品线定位里面是属于机架式最高性能的产品。从其硬件来看，采用较新的Intel Xeon ES-1245v5 4核 3.5GHz CPU以及标配16GB的DDR4 ECC内存，可升级扩展到64GB，同时配备有2个SFP+（或10GBase-T）端口。对于该级别NAS来说应该已经是非常高的硬件配置了。这篇评测我们主要关注硬件和性能，软件功能部分下面概述一下。

软件功能

作为NAS，必然需要提供软件服务，如SMB/AFP/FTP/NFS等等，以及IP SAN（iSCSI）。ReadyNAS也不例外，基本上常见的文件共享协议都是支持的。这里NETGEAR主推一个5级数据保护的功能。我们简单来看一下：

X-RAID自动扩展RAID技术；

Bit-Rot位衰减保护；

无限制次数的快照提供连续数据保护；

免费实时防病毒软件；

ReadyDR功能实现灾备；

细节部分这里不详述，有需要可以访问官网获取详情。

开箱部分

首先来看一下官网的RR4312的硬件参数

其中，RR4312S和RR4312X的区别在于10G网口分别为SFP+光口和10GBase-T RJ45电口。

首先，外包装是一个巨大无比的NETGEAR的纸箱，由于RR3312和RR4312外观和大小相同，所以纸箱上有两个型号的标注

打开箱子，可以看到附件

分别有上架的导轨，电源线，面板还有冗余电源。

设备拿出来，放在桌子上，标准的2U高度的机架式设备

顶上为铭牌，标识了硬盘槽位的信息，以及机器的SN,所有网口的MAC地址，以及一些必要的信息

推开背上的盖子，就可以露出设备内部

设备硬件分布非常合理，热量通过3个8CM暴力风扇带出，而且对于CPU,还有导风罩配置，帮助风扇吹出的气流更好的流过CPU散热片以及旁边的10G网卡的芯片散热片

硕大的CPU散热片旁边是内存槽，和风扇垂直，以便于气流流过散热，内存使用的2跟8G ECC内存，组成16G双通道配置

CPU旁边为万兆网卡，网卡使用的是INTELX710芯片

CPU导热罩的一边为3个SFF-8087接口，正面12个硬盘槽位均通过这里连接至主板

接下来我们转到设备的背面，左侧为两个冗余电源，每个电源550W，白金效率

设备背后一共有4个千兆RJ45 LAN口，2个SPF+万兆接口，2XUSB3.0,2XESATA可以外挂硬盘柜

为了整机的散热，上面满布散热孔，所以无需担心机器过热的问题。

回到机器正面，正面12盘位的硬盘槽

而且所有网件的机架式的NAS的硬盘架均为防震设计，即使您硬盘满配，也无需担心震动对硬盘以及设备带来的影响，为您的数据安全提供周全的保护

接下来我们只要把硬盘安装至硬盘架，然后插入NAS，就可以完成硬件安装了

通电后可以看到硬盘架上的LED状态灯亮起

至此，RR4312S的开箱部分结束

性能测试

多数NAS性能测试，都是使用IOmeter加多台高性能服务器/工作站/台式机，同时配置尽可能多的SSD/SATA硬盘，如36颗、60颗等等，多数情况下测试出来的数据在一般用户层面是达到不了。当然，这也有其意义，第一是这么测试能得到整套存储解决方案的“极限性能”，其次是厂商也会表明这是实验室环境，一般客户达到不了。那么我这里的测试，我们从更贴近实际普通用户的角度，从SATA到SSD都会有所涉及。一方面主要是考察RR4312S的IO性能，一方面也可以简单对比一下SATA/SSD、不同RAID级别、不同的功能集的性能区别。这里测试使用FIO软件，这虽不是工业级标准性能测试软件（如IOmeter或者NASPT），但是其好处是我测试的数据，跟你搭配类似级别的硬盘所测试出来的数据估计八九不离十。而不会是我测试出2GBps，而你只能跑出来200MBps。

关于测试软件：FIO

Fio的开发者是Jens Axboe，Jens Axboe是Linux Kernel block level和众多IO Scheduler的maintainer。目前供职于Facebook。FIO的开发基本上是因为Jens Axboe平常测试Linux IO所需，下面的介绍摘自Github（https://github.com/axboe/fio）

Fio was originally written to save me the hassle of writing special test case programs when I wanted to test a specific workload, either for performance reasons or to find/reproduce a bug. The process of writing such a test app can be tiresome, especially if you have to do it often. Hence I needed a tool that would be able to simulate a given I/O workload without resorting to writing a

tailored test case again and again.

A test work load is difficult to define, though. There can be any number of processes or threads involved, and they can each be using their own way of generating I/O. You could have someone dirtying large amounts of memory in an memory mapped file, or maybe several threads issuing reads using asynchronous I/O. fio needed to be flexible enough to simulate both of these cases, and many more.

Fio spawns a number of threads or processes doing a particular type of I/O action as specified by the user. fio takes a number of global parameters, each inherited by the thread unless otherwise parameters given to them overriding that setting is given. The typical use of fio is to write a job file matching the I/O load one wants to simulate.

装备

设备	型号	数量
2U机架式存储	RR4312S	1
交换机	M4300-28G	1
SATA硬盘	WD WD4000F9YZ	10
SSD	Intel SSD DC S3710	6
SSD	Intel SSD 710	4
10G光纤DAC	NETGEAR AXC761	1

准备测试RAID级别

RAID5, RAID50, RAID10

测试的项目

ReadyDR功能速度
存储后台dd命令
FIO测试项目：

4K文件随机读
4K文件随机写
512K顺序读
512K顺序写

项目一：RR4312S存储后台dd

RAID配置一：RR4312 SATA*8 RAID10

root@nas-E7-4F-68:/data/test# dd if=/dev/zero of=test.img bs=1M count=10000

10000+0 records in

10000+0 records out

10485760000 bytes (10 GB, 9.8 GiB) copied, 20.3509 s, 515 MB/s

RAID配置二：RR4312 SATA*8 RAID50

root@nas-E7-4F-68:/data/test# dd if=/dev/zero of=test.img bs=1M count=10000

10000+0 records in

10000+0 records out

10485760000 bytes (10 GB, 9.8 GiB) copied, 14.7158 s, 713 MB/s

RAID配置三：RR4312S SSD*12 RAID5

root@nas-E7-4F-68:/data/test# dd if=/dev/zero of=test2.img bs=1M count=20000

20000+0 records in

20000+0 records out

20971520000 bytes (21 GB, 20 GiB) copied, 11.8209 s, 1.8 GB/s

Linux dd命令，这是最简单粗暴的测速方法了。从上述测试结果来看，SSD写入一个20G的文件基本上可以达到1.8GBps的速度。从SATA的测试来看，RAID50比RAID10的速度还快？当然，这可能是因为RAID50（和RAID5）对于大文件写入的性能还是比较理想的。

项目二：ReadyDR备份

备份源：RR4312为SATA RAID50

备份目标：RN526X为SSD RAID5

200MB不到的速度，应该是备份源的SATA速度导致。

项目三：FIO测试随机/顺序读写

由于RR4312是16GB内存，测试文件至少要大于内存才能直接避免缓存等因素过分的影响结果。

以下是测试的配置脚本：

随机读

[Random_Read]

rw=randread

bs=4k

direct=0

size=512M

numjobs=32

iodepth=16

ioengine=libaio

runtime=240

group_reporting=1

directory=/data/test

随机写

[Random_Write]

rw=randwrite

bs=4k

direct=0

size=512M

numjobs=32

iodepth=16

ioengine=libaio

runtime=240

group_reporting=1

directory=/data/test

顺序读

[Seq_Read]

rw=read

bs=512K

size=4G

numjobs=8

iodepth=1

ioengine=libaio

runtime=240

group_reporting=1

directory=/data/test

顺序写

[Seq_Write]

rw=write

bs=512K

size=4G

numjobs=8

iodepth=1

ioengine=libaio

runtime=240

group_reporting=1

directory=/data/test

FIO测试结果

测试命令行输出如下所示，这里我贴2个示例吧，后面直接画个表格出来，不然整篇文章就太长了。

RR4312S RAID5 (10 x SATA), 512K顺序读，950MBps左右

Seq_Read: (g=0): rw=read, bs=512K-512K/512K-512K/512K-512K, ioengine=libaio, iodepth=1

…

fio-2.1.11

Starting 8 processes

Seq_Read: Laying out IO file(s) (1 file(s) / 4096MB)

Seq_Read: (groupid=0, jobs=8): err= 0: pid=27325: Tue Aug 8 15:37:28 2017

read : io=32768MB, bw=950174KB/s, iops=1855, runt= 35314msec

slat (usec): min=44, max=510594, avg=4231.24, stdev=26369.82

clat (usec): min=0, max=7, avg= 0.37, stdev= 0.53

lat (usec): min=44, max=510595, avg=4231.72, stdev=26370.04

clat percentiles (usec):

| 1.00th=[ 0], 5.00th=[ 0], 10.00th=[ 0], 20.00th=[ 0],

| 30.00th=[ 0], 40.00th=[ 0], 50.00th=[ 0], 60.00th=[ 0],

| 70.00th=[ 1], 80.00th=[ 1], 90.00th=[ 1], 95.00th=[ 1],

| 99.00th=[ 2], 99.50th=[ 2], 99.90th=[ 3], 99.95th=[ 3],

| 99.99th=[ 4]

bw (KB /s): min= 2355, max=272532, per=12.68%, avg=120522.40, stdev=32883.72

lat (usec) : 2=98.00%, 4=1.97%, 10=0.03%

cpu : usr=0.02%, sys=2.36%, ctx=8160, majf=0, minf=1067

IO depths : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%

submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%

complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%

issued : total=r=65536/w=0/d=0, short=r=0/w=0/d=0

latency : target=0, window=0, percentile=100.00%, depth=1

Run status group 0 (all jobs):

READ: io=32768MB, aggrb=950173KB/s, minb=950173KB/s, maxb=950173KB/s, mint=35314msec, maxt=35314msec

RR4312S RAID5 (10 x SATA), 4K随机读，IOPS为1512。

Random_Read: (g=0): rw=randread, bs=4K-4K/4K-4K/4K-4K, ioengine=libaio, iodepth=16

…

fio-2.1.11

Starting 32 processes

Random_Read: Laying out IO file(s) (1 file(s) / 512MB)

Random_Read: (groupid=0, jobs=32): err= 0: pid=27106: Tue Aug 8 15:31:29 2017

read : io=1418.4MB, bw=6049.5KB/s, iops=1512, runt=240080msec

slat (usec): min=43, max=1651.2K, avg=21152.26, stdev=49526.06

clat (usec): min=0, max=2407.1K, avg=316815.10, stdev=194304.98

lat (msec): min=4, max=2420, avg=337.97, stdev=200.85

clat percentiles (msec):

| 1.00th=[ 112], 5.00th=[ 135], 10.00th=[ 149], 20.00th=[ 174],

| 30.00th=[ 198], 40.00th=[ 225], 50.00th=[ 255], 60.00th=[ 297],

| 70.00th=[ 351], 80.00th=[ 429], 90.00th=[ 570], 95.00th=[ 701],

| 99.00th=[ 1045], 99.50th=[ 1172], 99.90th=[ 1483], 99.95th=[ 1598],

| 99.99th=[ 1975]

bw (KB /s): min= 3, max= 482, per=3.23%, avg=195.68, stdev=82.96

lat (usec) : 2=0.01%, 4=0.01%, 10=0.01%, 20=0.01%

lat (msec) : 10=0.01%, 20=0.01%, 50=0.01%, 100=0.30%, 250=48.25%

lat (msec) : 500=37.42%, 750=10.01%, 1000=2.78%, 2000=1.20%, >=2000=0.01%

cpu : usr=0.01%, sys=0.06%, ctx=363158, majf=0, minf=689

IO depths : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=99.9%, 32=0.0%, >=64=0.0%

submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%

complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.1%, 32=0.0%, 64=0.0%, >=64=0.0%

issued : total=r=363089/w=0/d=0, short=r=0/w=0/d=0

latency : target=0, window=0, percentile=100.00%, depth=16

Run status group 0 (all jobs):

READ: io=1418.4MB, aggrb=6049KB/s, minb=6049KB/s, maxb=6049KB/s, mint=240080msec, maxt=240080msec

因为ReadyNAS支持Bit Rot保护，也支持压缩功能，所以下面的测试分成好多种组合，首先是RAID分为10和50，然后分别包括是否启用Bit Rot保护、是否开启压缩，以及SATA或者SSD。

另外，随机读写只列出IOPS，顺序读写只列出吞吐量。

图例：

R表示：RAID，所以R10就是RAID10

B表示：开启了Bit-Rot功能

C表示：Compression，开启了压缩功能

10-12块SATA硬盘应该是最为常见的12盘位配盘选择了，这里配置了10块SATA盘，做了随机IO测试，对比8块盘的结果来说，增加硬盘对IO的增加还是有明显效果了（相比8块盘增加了20%左右）。

10块盘、RAID5下的顺序读写吞吐量，950MBps读和805MBps写，一般来说可以粗略认为普通SATA盘的顺序读写大文件吞吐量是100MBps左右，那么这里去掉RAID5的开销，跑出这个吞吐量应该都是非常高效而又不离谱的结果了。

这里针对几项可能影响性能的参数做了对比：RAID级别、是否开启Bit Rot保护和压缩。从结果来看：

对于读，不同RAID、是否开启Bit Rot和压缩对性能影响不大。
对于写，开了Bit Rot和Compression，对写的性能影响还是挺大的。

8块SATA盘的顺序测试结果。

读比写快（一般是这样），顺序读吞吐量可以达到700MBps上下，顺序写吞吐量可以达到450MBps上下。
Bit Rot和Compression对大文件写似乎影响不像随机读写那么大。
RAID10和RAID50在只有8块盘的时候，大文件性能差不多。

6块Intel SSD DC S3710，较贵，较新的SSD果然性能就是不一样。19万的读IOPS，6万的写IOPS。

SSD进行顺序读写的测试，1400MBps读，900MBps的写吞吐量。

试试12块SSD，虽然SSD的型号不一致：

RAID5和RAID10的性能对比

结合上面两个测试项目来看，RAID5和RAID10在ReadyNAS上面的性能相差其实没有那么大，顺序大文件，RAID5较好，随机小文件是RAID10较好。所以要不要在12盘位NAS上面使用RAID10？这样会有一半的硬盘用于镜像、校验，似乎开销比较大了。在对比上面一项6块盘SSD的测试，可以看到当硬盘数量增加的时候，顺序读写的性能提升非常明显，但是随机性能反倒是下降了，可能的原因是12块盘测试的硬盘里面，有几块是早期的Intel SSD，性能相比后面的3710系列要差不少。

总结

我们这篇文章主要是从硬件和性能的角度进行测试，所以并无重点深入软件和功能方面的。从一方面考察RR4312S单个主柜的大致性能极限，另外一方面也从RAID和功能对性能的影响的角度进行测试。

从硬件的角度来说，采用同类产品中较新的CPU: Intel Xeon ES-1245v5 4核 3.5GHz CPU以及标配16GB的DDR4 ECC内存，可升级扩展到64GB，同时配备有2个SFP+（或10GBase-T）端口。对于该级别NAS来说应该已经是非常高的硬件配置了。

关于性能：

性能测试使用的是硬盘类型是SATA和SSD，硬盘类型的对比应该不需要说明了，SSD完全碾压SATA。
10块SATA盘的大文件读写吞吐量达到950+MBps和800+MBps，8块SATA硬盘的读吞吐量达到700MBps左右，写为500MBps左右，那么RR4312S的硬件基本上实现了SATA硬盘的最高速度了。本次测试尽量避免了主机内存和系统缓存的影响，所以基本上就看系统的优化了。
SSD测试印象深刻。

1) 速度和响应时间都远超SATA（这个基本上不用做啥测试都知道了）

2）RR4312S主柜的极限读吞吐量应该在2GBps以上，写应该在1GBps以上

3）Intel不同时期不同SSD性能区别还是挺大的

NETGEAR ReadyNAS RR4312S开箱及性能测试

软件功能

开箱部分

性能测试

关于测试软件：FIO

装备

准备测试RAID级别

测试的项目

项目二：ReadyDR备份

项目三：FIO测试随机/顺序读写

总结

崔欢欢

相关推荐

近期文章