系统集成论坛

标题: 数据库压力测试工具tiobench,orion,lmbench,netperf [打印本页]

作者: 思考的牛 时间: 2011-7-28 14:37
标题: 数据库压力测试工具tiobench,orion,lmbench,netperf
这篇文章主要介绍了Tiobench,Orion,Lmbench,netperf这4种压力测试工具的安装及简单使用，只是一个入门级的教程，大牛请绕过。

1. Tiobench 基于文件系统的IO压力测试

下载：

http://sourceforge.net/projects/tiobench/files/tiobench/0.3.3/tiobench-0.3.3.tar.gz/download

解压缩: tar xzvf tiobench-0.3.3.tar.gz

再进入到tiobench-0.3.3目录中

Make

Make install

IO测试（对文件系统读写测试工具）可以使用以下命令取得帮助。

./tiotest -h

使用预定义或者可配置测试可以使用可以命令获取帮助。

./tiobench.pl –help

执行可以如下：tiobench.pl其实只是包装了一层，里面调用了tiotest

./tiobench.pl –block 4 –random 10000 –numruns 5 –threads 10 –size 2048

上面这句话的意思是：

1个块大小为4字节，10个线程，执行10000个随机IO，写2048MB数据，共执行5次。

测试完之后可以看到产生的测试报告如下：

Unit information================

File size = megabytes

Blk Size  = bytes

Rate    = megabytes per second

CPU%    = percentage of CPU used during the test

Latency = milliseconds

Lat%    = percent of requests that took longer than X seconds

CPU Eff = Rate divided by CPU% – throughput per cpu load

Sequential Reads

2.6.18-164.el5 1024  4 10 4.94 8210.%    0.004    7.27 0.00000  0.00000    0

Random Reads

2.6.18-164.el5 1024  4 10 4.64 7483.%    0.004    0.04 0.00000  0.00000    0

Sequential Writes

2.6.18-164.el5 1024  4 10 2.21 9521.%    0.015    11.56 0.00000  0.00000    0

Random Writes

2.6.18-164.el5 1024  4 10 0.02 98.51%    0.012    0.06 0.00000  0.00000    0

想知道各行分别代表什么含义，请执行：./tiosum.pl可以得到各行的TIILE。感觉这个地方很山寨。
组装一下就是：

Unit information================

File size = megabytes

Blk Size  = bytes

Rate    = megabytes per second

CPU%    = percentage of CPU used during the test

Latency = milliseconds

Lat%    = percent of requests that took longer than X seconds

CPU Eff = Rate divided by CPU% – throughput per cpu load

Sequential Reads

                           File  Blk Num                   Avg    Maximum    Lat%    Lat% CPU

Kernel                      Size  Size  Thr Rate  (CPU%) Latency    Latency    >2s    >10s Eff

—————————- —— —– —  ————————————————————

2.6.18-164.el5             1024 4 10 4.94 8210.%    0.004       7.27 0.00000  0.00000    0

Random Reads

                           File  Blk Num                   Avg    Maximum    Lat%    Lat% CPU

Kernel                      Size  Size  Thr Rate  (CPU%) Latency    Latency    >2s    >10s Eff

—————————- —— —– —  ————————————————————

2.6.18-164.el5             1024 4 10 4.64 7483.%    0.004       0.04 0.00000  0.00000    0

Sequential Writes

                           File  Blk Num                   Avg    Maximum    Lat%    Lat% CPU

Kernel                      Size  Size  Thr Rate  (CPU%) Latency    Latency    >2s    >10s Eff

—————————- —— —– —  ————————————————————

2.6.18-164.el5             1024 4 10 2.21 9521.%    0.015    11.56 0.00000  0.00000    0

Random Writes

                           File  Blk Num                   Avg    Maximum    Lat%    Lat% CPU

Kernel                      Size  Size  Thr Rate  (CPU%) Latency    Latency    >2s    >10s Eff

—————————- —— —– —  ————————————————————

2.6.18-164.el5             1024 4 10 0.02 98.51%    0.012       0.06 0.00000  0.00000    0

发现一个读IO只要0.004毫秒，非常快，这是因为IO是基于文件系统cache的，其实测试的是内存，并非文件系统。所以，可以使用下面一个工具来测试IO。

2. 使用Orion做基于裸设备的IO压力测试

下载
http://www.oracle.com/technetwork/topics/index-089595.html，需要一个OTN的免费帐号。

下载安装之后，可以以下命令获取帮助：

./orion_linux_x86-64 –help

为了避免文件系统cache，我们可以将需要测试的目录先进行umount

如：我要测试的目录为/data/对应的盘为/dev/sda8（映射关系保存在/etc/fstab中）

先执行:

umount /data

然后执行命令，命令执行完成后，再执行mount /data即可重新mount回来。

mount /data

测试如下：

2.1数据库OLTP类型，假定IO类型全部是8K随机操作，压力类型，自动加压，从小到大，一直到存储压力极限。读写比各为50%
2.2.1       测试8KB的块，这个是数据库块大小
   创建一个文件名为zhoucang8k.lun的文件，内容为/dev/sda8

./orion_linux_x86-64 -run advanced -testname zhoucang8k -size_small 8 -size_large 8 -type rand -write 50 &

这里能够得到一些报告如下：

文件1:zhoucang8k_20110520_1757_lat.csv表示每个IO的延时，1，2，3，4，5分别代表并发数
Large/Small 1 2 3 4 5
0 3.55 4.18 4.77 5.35 5.94
1
2

文件2:zhoucang8k_20110520_1757_iops.csvIOPS的能力，1，2，3，4，5分别代表并发数。
Large/Small 1 2 3 4 5
0 281 478 628 747 842
1
2

文件3:zhoucang8k_20110520_1757_mbps.csv IO吞吐量，单位：MB/每秒
Large/Small 0 1 2 3 4 5
1 2.14
2 3.72

还有两个文件trace文件内容较长，这里不贴了，另一个summary文件如下：

文件4:zhoucang8k_20110520_1757_summary.txt
ORION VERSION 11.1.0.7.0Commandline:

-run advanced -testname zhoucang8k -size_small 8 -size_large 8 -type rand -write 50

This maps to this test:

Test: zhoucang8k

Small IO size: 8 KB

Large IO size: 8 KB

IO Types: Small Random IOs, Large Random IOs

Simulated Array Type: CONCAT

Write: 50%

Cache Size: Not Entered

Duration for each Data Point: 60 seconds

Small Columns:,    0

Large Columns:,    0,    1,    2

Total Data Points: 8

Name: /dev/sda8 Size: 1053115467264

1 FILEs found.

Maximum Large MBPS=3.72 @ Small=0 and Large=2

Maximum Small IOPS=842 @ Small=5 and Large=0

Minimum Small Latency=3.55 @ Small=1 and Large=0

2.2.2 测试128KB的随机IO,这个是db_file_multiblock_read_count的默认值。
   创建一个文件名为zhoucang128k.lun的文件，内容为/dev/sda8

./orion_linux_x86-64 -run advanced -testname zhoucang128k -size_small 128 -size_large 128  -type rand -write 50 &

结果(见附件):

Maximum Large MBPS=29.11 @ Small=0 and Large=2

Maximum Small IOPS=311 @ Small=5 and Large=0

Minimum Small Latency=5.93 @ Small=1 and Large=0

2.2.3       测试1MB的随机IO，这个是操作系统上能够支持的最大IO。
   创建一个文件名为zhoucang1024k.lun的文件，内容为/dev/sda8

./orion_linux_x86-64 -run advanced -testname zhoucang1024k -size_small 1024-size_large 1024 –write 50 -type rand &

结果(见附件):

Maximum Large MBPS=109.76 @ Small=0 and Large=2

Maximum Small IOPS=135 @ Small=5 and Large=0

Minimum Small Latency=11.49 @ Small=1 and Large=0

2.2 IO吞吐量的测试，跟数据库归档等相关。
2.2.1       数据库吞吐量测试，假定IO全部是1M的序列性IO
./orion_linux_x86-64 -run advanced -testname zhoucang1m -size_small 1024 -size_large 1024 –write 50 -type seq &

IOPS:

Large/Small 1 2 3 4 5
0 83 110 123 129 133

Lat:

Large/Small 1 2 3 4 5
0 11.92 18.12 24.33 30.86 37.56

整完之后，可能需要重新创建文件系统。因为/dev/sda8的label头信息被覆盖了。

/etc/fstab内容如下

LABEL=/data          /data                ext3 defaults       1 2

执行以下命令创建文件系统。

mkfs -t ext3  /dev/sda8

/etc/fstab中加入：

/dev/sda8             /data                ext3 defaults       1 2

mount -a

3. Lmbench 内存测试:

下载一个Lmbench：

www.bitmover.com/lmbench

http://www.bitmover.com/bitkeeper（里面的链接，打不开）

tar xzvf lmbench-3.0-a9.tgz

lmbench-3.0-a9

make results

输入1000，大概1G的内存测试。（这个值越大，测试结果越准确，同时，值大，测试的时间也会稍稍有点长）

其它参数可以自选，这里我选择了全部默认（调带大小等参数），漫长的执行过程。。。。

测试完毕执行make see可得到以下四个文件，

在result目录下：percent.errs  percent.out  summary.errs  summary.outITPUB个人空间8w K4E c?'HN@{
percent.errs和summary.errs

其它：具体如何使用这个工具呢？发现这个工具BIN目录下有非常多的文件，功能很强大，具体可以参看这个链表上面有详细的介绍：

http://www.bitmover.com/lmbench/man_lmbench.html

详尽的测试结果见附件：

4. netperf针对网络做压力测试

这个工具是由HP公司开发的，测试网络栈的一个工具，详细的使用文档可以参看附件。

从官方网下载一个netperf，登录：

ftp://ftp.netperf.org/netperf/

拷贝文件：netperf-2.4.5.tar.gz

执行

Tar xzvf netperf-2.4.5.tar.gz

cd netperf-4.0.0rc2

Mkdir bin

./configure –prefix /root/zhoucang/netperf-2.4.5/bin

检测安装平台的目标特征的,能够直接linux下的makefile，

再执行make和make install

安装完成之后，进入安装目录的 bin目录。

执行以下命令可以查看帮助:

./netperf –help

4.1批量(bulk)网络流量的性能
批量数据传输典型的例子有ftp和其它类似的网络应用（即一次传输整个文件）。根据使用传输协议的不同，批量数据传输又分为TCP批量传输和UDP批量传输。

4.1.1       测试TCP_STREAM传输：
Netperf缺省情况下进行TCP批量传输，即-t TCP_STREAM。测试过程中，netperf向netserver发送批量的TCP数据分组，以确定数据传输过程中的吞吐量：

测试结果如下

[root@tstpay1 bin]#  ./netperf -H 10.253.34.8 -l 60TCP STREAM TEST from 0.0.0.0 (0.0.0.0) port 0 AF_INET to 10.253.34.8 (10.253.34.8) port 0 AF_INET

Recv Send Send

Socket Socket  Message  Elapsed

Size Size Size    Time    Throughput

bytes  bytes bytes secs. 10^6bits/sec

87380  16384  16384 60.03    949.29

从netperf的结果输出中，我们可以知道以下的一些信息：

1）远端系统（即server）使用大小为87380字节的socket接收缓冲

2）本地系统（即client）使用大小为16384字节的socket发送缓冲

3）向远端系统发送的测试分组大小为16384字节

4）测试经历的时间为60.03秒

5）吞吐量的测试结果为949.29Mbits/秒

4.1.2       UDP_STREAM的测试
UDP_STREAM用来测试进行UDP批量传输时的网络性能。需要特别注意的是，此时测试分组的大小不得大于socket的发送与接收缓冲大小，否则netperf会报出错提示：

执行：./netperf -t UDP_STREAM -H 10.253.34.8 -l 60

执行结果如下：

[root@tstpay1 bin]# ./netperf -t UDP_STREAM -H 10.253.34.8 -l 60UDP UNIDIRECTIONAL SEND TEST from 0.0.0.0 (0.0.0.0) port 0 AF_INET to 10.253.34.8 (10.253.34.8) port 0 AF_INET

Socket  Message  Elapsed    Messages

Size Size    Time       Okay Errors Throughput

bytes bytes secs          #    # 10^6bits/sec

262144 65507 60.00    110099    0    961.62

129024          60.00    110098          961.61

UDP_STREAM方式的结果中有两行测试数据，第一行显示的是本地系统的发送统计，这里的吞吐量表示netperf向本地socket发送分组的能力。但是，我们知道，UDP是不可靠的传输协议，发送出去的分组数量不一定等于接收到的分组数量。

第二行显示的就是远端系统接收的情况，由于client与server直接连接在一起，而且网络中没有其它的流量，所以本地系统发送过去的分组几乎都被远端系统正确的接收了，远端系统的吞吐量也几乎等于本地系统的发送吞吐量。但是，在实际环境中，一般远端系统的socket缓冲大小不同于本地系统的socket缓冲区大小，而且由于UDP协议的不可靠性，远端系统的接收吞吐量要远远小于发送出去的吞吐量。

4.2 请求/应答(request/response)网络流量的性能
另一类常见的网络流量类型是应用在client/server结构中的request/response模式。在每次交易（transaction）中，client向server发出小的查询分组，server接收到请求，经处理后返回大的结果数据。

4.2.1       TCP_RR
TCP_RR方式的测试对象是多次TCP request和response的交易过程，但是它们发生在同一个TCP连接中，这种模式常常出现在数据库应用中。数据库的client程序与server程序建立一个TCP连接以后，就在这个连接中传送数据库的多次交易过程。

[root@tstpay1 bin]#  ./netperf -t TCP_RR -H 10.253.34.8TCP REQUEST/RESPONSE TEST from 0.0.0.0 (0.0.0.0) port 0 AF_INET to 10.253.34.8 (10.253.34.8) port 0 AF_INET

Local /Remote

Socket Size Request  Resp. Elapsed  Trans.

Send Recv Size    Size Time    Rate

bytes  Bytes  bytes bytes secs. per sec

16384  87380  1       1    10.00 11294.81

Netperf输出的结果也是由两行组成。第一行显示本地系统的情况，第二行显示的是远端系统的信息。平均的交易率（transaction rate）为11294.81次/秒。注意到这里每次交易中的request和response分组的大小都为1个字节，不具有很大的实际意义。用户可以通过测试相关的参数来改变request和response分组的大小，TCP_RR方式下的参数如下表所示：

参数说明
-s size 设置本地系统的socket发送与接收缓冲大小
-S size 设置远端系统的socket发送与接收缓冲大小
-r req,resp 设置request和reponse分组的大小
-D 对本地与远端系统的socket设置TCP_NODELAY选项

通过使用-r参数，我们可以进行更有实际意义的测试：

#./netperf -t TCP_RR -H 10.253.34.8 — -r 32,1024TCP REQUEST/RESPONSE TEST from 0.0.0.0 (0.0.0.0) port 0 AF_INET to 10.253.34.8 (10.253.34.8) port 0 AF_INET

Local /Remote

Socket Size Request  Resp. Elapsed  Trans.

Send Recv Size    Size Time    Rate

bytes  Bytes  bytes bytes secs. per sec

16384  87380  32    1024 10.00 8955.26

16384  87380

从结果中可以看出，由于request/reponse分组的大小增加了，导致了交易率明显的下降。注：相对于实际的系统，这里交易率的计算没有充分考虑到交易过程中的应用程序处理时延，因此结果往往会高于实际情况。

4.2.2       TCP_CRR
与TCP_RR不同，TCP_CRR为每次交易建立一个新的TCP连接。最典型的应用就是HTTP，每次HTTP交易是在一条单独的TCP连接中进行的。因此，由于需要不停地建立新的TCP连接，并且在交易结束后拆除TCP连接，交易率一定会受到很大的影响。

[root@tstpay1 bin]# ./netperf -t TCP_CRR -H 10.253.34.8TCP Connect/Request/Response TEST from 0.0.0.0 (0.0.0.0) port 0 AF_INET to 10.253.34.8 (10.253.34.8) port 0 AF_INET

Local /Remote

Socket Size Request  Resp. Elapsed  Trans.

Send Recv Size    Size Time    Rate

bytes  Bytes  bytes bytes secs. per sec

16384  87380  1       1    10.00 4607.63

16384  87380

即使是使用一个字节的request/response分组，交易率也明显的降低了，只有4607.63次/秒。TCP_CRR使用与TCP_RR相同的局部参数。

4.2.3       UDP_RR
UDP_RR方式使用UDP分组进行request/response的交易过程。由于没有TCP连接所带来的负担，所以我们推测交易率一定会有相应的提升。

[root@tstpay1 bin]# ./netperf -t UDP_RR -H 10.253.34.8UDP REQUEST/RESPONSE TEST from 0.0.0.0 (0.0.0.0) port 0 AF_INET to 10.253.34.8 (10.253.34.8) port 0 AF_INET

Local /Remote

Socket Size Request  Resp. Elapsed  Trans.

Send Recv Size    Size Time    Rate

bytes  Bytes  bytes bytes secs. per sec

262144 262144 1       1    10.00 11367.45

129024 129024

结果证实了我们的推测，交易率为11367.45次/秒，高过TCP_RR的数值。不过，如果出现了相反的结果，即交易率反而降低了，也不需要担心，因为这说明了在网络中，路由器或其它的网络设备对UDP采用了与TCP不同的缓冲区空间和处理技术。

欢迎光临系统集成论坛 (http://bbs.xtjc.com/)