【通信学报 论文 模板 word】论文word标准格式模板

第27卷第1期 2006年1月

通 信 学 报

Journal on Communications

V ol.27 No.1 January 2006

网络存储系统I/O响应时间边界性能研究(标题1，3号黑体，外文为

Times New Roman加粗)

崔宝江1，刘军2,3，王刚2，刘璟2（人名，5号楷体_GB2312）

(1. 北京邮电大学 信息安全中心，北京 100876；2. 南开大学 计算机科学系，天津 300071) （地名，6号宋体、外文Times New Roman）

摘 要：为了对网络存储系统性能进行预测和改进，利用定量分析法研究了系统I/O响应时间与各性能影响因素之间的关系。通过分析网络RAID 存储系统的数据传输原理，建立了该系统的闭合排队网络模型，并研究了其I/O当并发任务数较低时，存储中心服务器CPU 处理能力和缓冲区命中率是影响I/O响应时间的关键因素。 关键词：网络存储；性能建模；排队网络；I/O响应时间

中图分类号：TP302 文献标识码：A 文章编号：1000-436X(2006)01-0001-06 (“摘 要”题名为小5号黑体，摘要正文为小5号宋体) (“关键词”题名为小5号黑体，关键词正文为小5号宋体)

(“中图分类号、文献标识码、文章编号”题名为小5号黑体，内容为小5号Times New Roman体)

Study on I/O response time bounds of network storage systems(标题1，3

号Times New Roman加粗)

CUI Bao-jiang1, LIU Jun2,3, WANG Gang2, LIU Jing2（人名，5号Times New Roman）

(1. Information Security Centre, Beijing University of Posts and Telecommunications, Beijing 100876, China; 2. Dept. of Computer Science, Nankai University, Tianjin 300071, China)（地名，6号Times New Roman）

Abstract: In order to predict and improve the performance of networked storage systems, the relationship was explored between the system I/O response time and its performance factors by quantitative analytical method. Through analyzing dynamic trend of its actual performance. Furthermore, we conclude that the CPU processing power and cache hit rate of the server at the storage center are the key factors affecting the I/O response time as the concurrent jobs are lower. Key words: networked storage; performance modelling; queueing networks; I/O response time (英文摘要、关键词为小5号Times New Roman，题名加粗)

1 引言（标题2，小4号黑体，占2行）

网络技术的飞速发展，促使信息量正以超乎人们想象的速度增长。随着海量数据处理需求的日益迫切，用户对数据存储系统在性能方面提出了更高

的要求。现有对存储系统性能方面的研究主要集中在DAS 存储系统[1]，随着网络存储技术的快速发展，针对网络存储系统性能方面的研究逐渐成为当前热点。

由于存储网络的引入，使影响网络存储系统性

收稿日期（小5号黑体）：2005-10-10；修回日期（小5号黑体）：2005-11-10 基金项目（小5号黑体）：国家自然科学基金资助项目（60273031）；高校博士点科研基金资助项目（[1**********]）；天津市科技发展计划重点基金资助项目（043800311）（小5号宋体）

Foundation Items: National Natural Science Foundation of China (60273031) ; Education Ministry Doctoral Research Foundation of China ([1**********])（加基金项目中文的译文，小五号Times New Roman，题名加粗）

的因素更加复杂，不仅涉及到DAS 存储系统，而且和网络、主机系统性能密切相关。对于网络存储系统性能方面的评价和研究，国内外都做了大量工作。目前，这些关于性能方面的研究大都是定性的[2~4]，定量研究模型仍然有限[5]。本文构建了基于网络RAID 结构的网络存储系统，对其结构和数据处理流程进行了分析，建立了它的闭合排队网络模型CQNM(closed queueing networks model)，并在排队网络理论基础上提出了其性能定量分析模型。利用此模型可快速分析网络RAID 存储系统I/O响应时间的性能边界，定量地分析影响网络存储系统性能的关键性能影响因素，并区分各种影响因素对系统性能的影响程度。

本文的结构如下：第2节，描述网络RAID 存储系统的结构；第3节，建立了网络RAID 存储系统的排队网络模型，并在此基础上提出了其I/O响应时间的边界性能分析模型；第4节对I/O响应时间的性能分析模型进行了验证，并利用模型分析了网络RAID 存储系统的性能影响因素；第5节，结论。

端程序接收到数据包后，解析出原数据和命令，将读写请求通过设备文件系统或设备驱动程序对存储设备完成具体读写操作，最后将相应信息再反馈回存储中心服务器。在上面对网络存储系统的基本存储数据处理流程进行分析的基础上，可建立其抽象性能分析模型。

图1 网络RAID 存储系统的网络拓扑图

3 网络RAID 存储系统的性能分析模型

3.1 建立网络模型（标题3，5号黑体，占1行）

（以下为正文，正文为5号宋体，外文Times New Roman。注意：正文中单个数字和外文字母不得用公式编辑器生成）

基于以上对网络RAID 存储系统基本存储流程的分析，我们将数据处理流程中的主要环节抽象为一个个服务节点，其中，存储中心服务器和存储服务器中的中央处理器抽象为CPU 服务节点，网卡抽象为网卡服务节点，用于在存储中心服务器和存D 存储系统的CQNM 模型，见图2，图中左侧的存储中心服务器通过网络连接到右侧的存储服务器。CPU 服务节点负责处理本地的应用程序和数据，网卡服务节点通过网卡向网络中发送或接收数据，网络传输节点通过网络传输数据，磁盘I/O节点负责对磁盘进行读写操作。

3.1.1 建立边界性能分析模型（标题4，5号楷体，占1行）

建立网络RAID 存储系统的CQNM 模型后，我们利用BJB [6]（balanced job bounds

）方法定量分

2 网络RAID 存储系统的结构

网络RAID 存储系统的系统结构如图1所示，构建了基于两级RAID5冗余结构的网络存储系统。分布于网络中的存储设备，利用IP 存储协议ENBD 映射为存储中心服务器的虚拟存储设备。这些虚拟设备通过存储中心服务器中的软RAID 设备驱动程序构建成不同级别的RAID 存储空间。从而把在网络中分布的存储资源组织成存储中心服务器可利用的具有统一地址空间的虚拟存储空间。

在网络RAID 存储系统中，存储中心服务器应用程序对本地虚拟RAID 存储设备的读写请求，通过调用ENBD Client端程序，将数据由网络传送到远端的存储服务器。存储服务器中的ENBD Server

图2 网络RAID 存储系统的排队网络模型

（图片居中排，图片中字号为6号华文中宋，段前空为12磅，段后空为5磅）（图名为6号宋体，居中，段前空2磅，段后空为10磅）

析其响应时间的性能边界。假定D i 为节点i （i ∈ {1,„K }）的服务需求，定义D max =max{D i , i ∈(1,„K )}, D sum =

∑K

D i

, i∈(1,„K ) ，D

avg ＝D sum /K，

则网络i =1

RAID 存储系统I/O响应时间的性能边界为 (公式另行居中单倍行距，用制表符隔开，编号右对

齐，公式字号大小是10.5磅)

max(ND max , D sum +(N -1) D avg ) ≤R (N )

(1)

下面根据网络RAID 存储系统中数据处理的具体流程，进一步建立每个服务节点服务需求D i 的分析模型。

CPU 服务节点服务需求的计算又分为存储中心服务器和存储服务器两类。存储中心服务器中CPU 服务节点的服务需求D Cm 是指用于处理存储行为的时间，包括CPU 服务节点对网络虚拟磁盘数据读写操作的时间，以及缓存未命中时ENBD Client 对数据处理的时间和进行传输所消耗的TCP/IP协议处理时间，可表示为

D S Cm = T mpro m

STU +(1-P m ) T mp IP num

(2)

m

其中，S m 为单个任务操作所处理的字节数，T mpro

为单个数据条纹单元的平均处理时间，包括内存拷贝和读写操作时间。STU m 为中心服务器条纹单元的大小，P m 为读写的缓存命中率，1−P m 为读写操作访问存储服务器磁盘的概率。在实验环境中，由于文件大小远大于系统缓存，假定写操作的缓存命中率为0。T mp 为ENBD Client 对单个IP 包包含的数据进行数据处理和传输所消耗的TCP/IP协议处理时间之和。IP num 为单个任务被分片所得的IP 数据包数，则

IP num =⎡⎢S mRi /MSS ⎤⎥

(3)

MSS 为以太网中TCP 最大分段大小。S mRi 为

RAID i 时，存储中心服务器处理单个任务所实际操作的字节数。例如，对于RAID5系统的写操作，由于要同时写数据单元和校验单元，故

S m R 5=S m ·

STP m /(STP m -1) (4)

STP m 为存储中心服务器一个条纹包含的条纹

单元数；对于读操作，则

S mR5=S m

(5)

同理，存储服务器中CPU 服务节点的服务需

求D Csn 可表示为

D 1-P Csn =

m

STP ·（T S snpro sn +T snp ·

IP snnum ） (6) m STU m

其中，T snpro 为存储服务器单个数据条纹单元的平均处理时间，S sn 为存储服务器对于存储中心服务器的一个RAID5任务所需要实际处理的字节数，可表示为S sn =SmR5/STP m 。T snp 为存储服务器处理单个IP 包包含的数据所花费的处理时间。IP snnum 为存储服务器对于中心服务器的一个RAID5任务所需要实际处理的IP 数据包数，可表示为IP snnum =IPnum /STP m 。

存储中心服务器网卡服务节点的服务需求可以表示为每个任务通过网卡进行传输所用的平均时间

D IP ⋅Frames Nm =（1-P m ）num e

TRate

(7)

e

其中，TRate e 为以太网的传输速率，Frames e 为以太帧的大小。

与之类似，存储服务器中网卡服务节点的服务需求表示为

D Nsn =

1-P m Frames e

STP ·IP snnum TRate (8)

m e

网络传输节点的服务需求可以表示为每个任

务在网络传输过程中所用的平均时间

D -P S

Net =(1m m R 5TRate

(9)

e

磁盘I/O节点的服务需求表示为每个任务在磁盘中进行操作所需时间 Dd =1-P m STP ·(1-P sn )·

(seek +latency +STU m

) ⋅S sn m TRate d STU m

(10)

其中，P sn 为存储服务器的缓存读命中率，1−P sn 为读操作访问磁盘的概率，由于文件大小大于系统缓存，假定写操作的命中率为0。seek 和latency 分别读操作访问磁盘的概率，由于文件大小大于系统缓存，假定写操作的命中率为0。seek 和latency 分别为磁盘的平均寻道时间和平均延迟时间，TRate d 为磁盘的最大持续传输速率。

将上面各节点的服务需求模型代入式(1)中，即可得到基于网络RAID 存储系统I/O响应时间的性能边界分析模型。

4 性能测试与分析

我们利用上述模型的基础上，对网络RAID5存储系统的响应时间和性能影响因素进行分析。网络存储系统实验环境是由4台运行Linux7.3操作系统的PC 机组成的一个网络RAID5存储系统，其网络拓扑参见图1。PC 机的配置为P III 650 CPU，64MB 内存，10/100Mbit/s网卡，36GB IBM DDYS-T36950 SCSI 磁盘，磁盘为4MB 缓存，4.9ms 平均寻道时操作时响应时间、并发任务数与存储服务器CPU 单个任务处理时间的关系图，以及响应时间、并发任务数与存储服务器中磁盘最大持续传输速率的关系图。和前面几个影响因素不同，在不同并发任务数时存储服务器CPU 性能和磁盘性能对系统I/O响应时间的影响很小。

通过上述分析可知，在并发任务数较低时，存储中心服务器CPU 处理能力是系统响应时间的关键性能影响因素，通过提高存储中心服务器CPU 间，2.99ms 平均延迟，磁盘的最大持续传输速率为35Mbit/s。存储中心服务器条纹单元的大小为16KB, 一个条纹包含3个条纹单元，单个任务处理的数据量为200MB 。以太网的带宽为100Mbit/s，TCP 最大分段大小为1460B ，以太帧的大小为1518B 。此外，CPU 平均处理时间T mpro 、T mp 、T snpro 、T snp 分别取实际测试的平均值0.027ms 、0.045ms 、0.033ms 、0.028ms 。

图3为上述网络存储系统实验环境中，在并发写操作时系统响应时间和并发任务数的实际测试值和采用性能分析模型所获得的理论边界值的对比图。从图中可以看出，从性能分析模型获得的理论边界值在不同的并发任务数时，都准确的反映了实际响应时间的变化趋势和其性能边界。在上面验证的基础上，下面利用所建立的性能分析模型，对网络RAID5存储系统响应时间的性能影响因素进行深入分析。

图4为网络RAID5存储系统写操作时响应时间、并发任务数与网络带宽之间的关系图。从图中可以看出，网络带宽在并发任务数较高时是影响网络存储系统响应时间的主要因素，但在并发任务数较低时，对响应时间的作用不明显。图5为网络RAID5存储系统写操作时响应时间、并发任务数与存储中心服务器缓存命中率之间的关系图。和网络带宽的作用不同，从图中可以看出存储中心服务器缓存命中率在不同并发任务数时，对系统响应时间的影响作用很明显，没有因并发任务数的不同而波动。图6为网络RAID5存储系统写操作时响应时间、并发任务数与存储中心服务器CPU 单个任务处理时间的关系图。经过对上图的分析可以看出，在并发任务数较小时，随着CPU 处理性能的提高，系统响应时间在降低；而当并发任务数较大时，CPU 处理性能的高低对系统响应时间变的没有影响了。图7和图8分别为网络RAID5存储系统写

处理能力的方法可改善网络RAID5存储系统的性能；而网络带宽则是非关键性能影响因素，它对系统响应时间的影响较小。而在并发任务数较高时，网络带宽则成为关键性能影响因素，通过提高网络带宽可有效改善系统的响应时间，而CPU 处理能力则变为非关键性能影响因素，它对性能的影响变的很小。除此之外，存储中心服务器的缓冲区命中率

图3 网络存储系统的实测性能与理论性能

图4 响应时间、并发任务数与网络带宽的关系

图5 响应时间、并发任务数与缓存命中率的关系

图6 响应时间、并发任务数与存储中心服务器CPU 性能的关系

图7 响应时间、并发任务数与存储服务器CPU 性能的关系

图8 响应时间、并发任务数与磁盘最大持续传输速率的关系

在不同任务数时都是影响系统性能的关键因素，

而存储服务器CPU 性能和磁盘性能则在不同任务数时对系统I/O响应时间的影响都很小，属于非关键性能影响因素。上述网络RAID 存储系统因素的一种有效手段，在优化系统性能时，可基于上述分析结果着重考虑改善关键性能影响因素，忽略非关键性能影响因素，即可达到事半功倍的效果。

表1

表题为小五黑居中

表文六号 表文六号 表文六号 表文六号 表文六号 表文六号 表文六号 表文六号 表文六号

表文六号

表文六号

表文六号

（表题小5号黑体，表格内容6号宋体，三线表，上下线为反线(即0.75磅) ，中间为正线（即0.5磅））

5 结论

由于存储网络的引入，使影响网络存储系统性能的因素更加复杂。为了定量的分析网络RAID 存储系统的I/O响应时间，并区分各种影响因素对系统性能的影响程度，本文通过对网络RAID 存储系统数据传输过程的分析，建立了其排队网络模型，并在此基础上提出了网络RAID 存储系存储系统数据传输过程的分析，建立了其排队网络模型，并在此基础上提出了网络RAID 存储系因素。存储服务器的CPU 处理能力和磁盘的最大持续传输速率对系统性能影响很小，是非关键性能影响因素。

参考文献：（“参考文献”题名为5号黑体，占2行）

[1] BARVE R, SHRIVER E, GIBBONS P B. Modeling and optimizing

I/O throughput of multiple disks on a bus[A]. Proceedings of Sigmetrics "98/Performance "98[C]. New York: ACM Press,1998. 264-275.

[2] LU Y P, DA VID H C D. Performance study of iscsi-based storage

subsystems[J]. IEEE Communications Magazine,2003,41(8): 76-82. [3] HE X B, BEEDANAGARI P, ZHOU D. Performance evaluation of

distributed ISCSI RAID[A]. Proceedings of the 2003 IEEE/ACM International Workshop on Storage Network Architecture and Parallel I/O (SNAPI"03)[C]. New Orleans, LA, USA, 2003.

[4] WEE T N, HILLYER B K, SHRIVER E, Obtaining high performance

for storage outsourcing[A]. Proceedings of Conference on File and Storage Technologies (FAST "02)[C]. Monterey, California, 2002. 145-158.

[5] ZHU Y L, ZHU S Y, XIONG H. Performance analysis and testing of

the storage area network[A]. 19th IEEE Symposium on Mass Storage Systems and Technologies[C]. Maryland, USA, 2002.

[6] LAZOWSKA E D, ZAHORJAN J, GRAHAM G S, et al . Quantitative

System Performance: Computer System Analysis Using Queueing Network Models[M]. Englewood Cliffs, NJ: Prentice-Hall, 1984.

[7] 郑少仁等. Ad hoc网络技术[M]. 北京：人民邮电出版社, 2005.

ZHENG S R, et al . Ad Hoc Network Technology[M]. Beijing: post Telecom press, 2005.

[8] 马建仓等. 蓝牙核心技术及应用[M]. 北京：科学出版社, 2003.

MA C J, et al . Bluetooth Core Technology and Application[M]. Beijing: Science press, 2003.

（“参考文献”中文内容为6号宋体，英文内容为6号Times New Roman；文献是中文的，请附加中文的译文。例如：文献[7]、文献[8]类型文献）

作者简介：（小5号黑体）（作者简介格式参照以下）

崔宝江（1973-），男，山东东营人，博士，北京邮电大学讲师，主要研究方向为数据安全、网络攻防、网络存储。

（作者简介内容为：人名、出生年、性别、出生地、学位和研究方向）

王刚（1974-），男，北京人，博士，南开大学副教授，主要研究方向为数据布局、并行与分布式系统。

刘军（1963-），男，河北香河人，南开大学博士生，天津财经大学副教授，主要研究方向为网络存储、并行与分布式系统等。

刘璟（1942-），男，北京人，南开大学教授、博士生导师，主要研究方向为并行与

分布式系统、海量存储、算法设计与分析。

请各位作者注意：

对于您给本刊提供的作者照片，必须清晰，裁剪整齐（黑白证件照片，大小：高3厘米，宽2厘米，可以参照以上照片），否则照片刊登效果不佳。