用户工具

站点工具


service:techmag:201906_035:10

差别

这里会显示出您选择的修订版和当前版本之间的差别。

到此差别页面的链接

后一修订版
前一修订版
service:techmag:201906_035:10 [2019/08/14 08:54]
- 创建自 wiki:newitem 的表单
service:techmag:201906_035:10 [2019/09/11 09:31] (当前版本)
-
行 1: 行 1:
-====== 低时延网络的性能度量方案和测试方法 ====== +====== 低时延网络性能度量方案及测试方法 ====== 
-简要介绍本条目 +本文选自[[service:​techmag:​201906_035:​start|《交易技术前沿》总第三十五期文章(2019年6月)]] 
-{{tag>}}+{{tag>​云应用}} 
 +<WRAP centeralign>​ 
 +何志东 / 华锐分布式技术实验室 \\ 
 +佘鹏飞 / 上交所技术公司 \\ 
 +</​WRAP>​ 
 +  摘 ​ 要:低时延网络技术和设备在证券行业广泛应用,作为核心交易系统基础设施支撑平台,其性能表现决定了交易系统整体的性能表现。低时延网络由超低时延的网络设备和高速光纤链路组成,网络的转发时延处于极低的水平,如何使用非专业测试仪器度量和比较低时延网络的时延表现成为一个难题;同时由于行业还没有低时延网络的度量和测试标准,缺乏统一的测试方法和标准去评估低时延网络。华锐分布式技术实验室和上交所低时延实验室基于大量的测试实践,提出低时延网络设备的选型标准和关键指标,并提出低时延网络性能度量方案及测试方法,为行业在低时延网络的测试规范选型依据提供建设性的参考方案。\\ 
 +  关键词:低时延网络;时延;吞吐;度量方案;测试方法;\\ 
 +===== 1 引言 ​===== 
 +  价格优先、时间优先的竞价规则决定了证券市场竞争性交易的质,也决定了时延和吞吐是衡量核心交易系统整体性能最重要的指标。低时延网络作为核心交易系统的基础设施支撑平台,其性能表现决定了交易系统整体的性能表现。低时延网络由超低时延的网络设备、高速光纤链路互联而成,网络转发时达到纳秒级水平,如何度量低时延网络的性能成为一个重要的课题。业界通常采用高精度的网络测试仪器测试网络设备的转发时延、抖动、丢包,这些测试结果成为网络设备的出厂指标,证券行业机构作为低时延网络设备的重要用户,不具备网络测试仪器的环境,因此网络设备的出厂指标成为证券行业机构购买设备的重要参考依据。证券行业核心交易系统对低时延网络设备的要求高且应用场景有其自身的特点,而网络设备的出厂指标测试并不针对特定行业特定的应用场景,行业需要一套通用的、更贴近行业应用特点的测试方法和测试用例,满足多种件下对低时延网络度量和评估的需求。\\ 
 +  为了做好低时延网络构建的基础研究工作,华锐分布式技术实验室联合上交所低时延实验室根据行业特点,进行了大量、全面的验证测试工作,在测试的工具、方法、用例、环境建设方面积累了较多经验,通过概括和提炼,提出了低时延网络设备的选型指标,从时延、带宽等方面提出度量方案,为行业在低时延网络的选型标准和测试规范提供建设性的参考方案。\\ 
 +===== 2 设备选型原则 ===== 
 +  低时延网络设备选型的基本原则:\\ 
 +  1、标准和开放原则。网络交换机及网络协议符合国际通用标准和工业标准。\\ 
 +  2、先进性原则。关注网络设备的转发时延与延时抖动指标,低时延网络交换机可大幅降低端到端的业务时延,选择转发时延排在同类市场前列的低时延网络设备;全线速转发,设备支持10G或以上带宽接入,支持极速无损转发。\\ 
 +  3、高可靠原则。网络设备具备硬件冗余、操作系统高可靠运行功能;通过全冗余链路和设备互联构建高可用网络架构,在复杂故障场景下,网络保持稳定运行和快速收敛,使得业务无感知。\\ 
 +  4、综合评估原则:从实际效果来看,业务处理时延和系统开销远大于网络设备时延。网络设备单机转发时延、性能表项等可作为一个对比参考项,更应关注业务端到端整体时延、突发大流量的时延抖动以及不同流量并发下的动态时延。\\ 
 +===== 3 设备技术指标 ===== 
 +  随着网络设备制造工艺不断发展及芯片处理能力不断提升,单台低时延网络设备具备极高的处理能力和超低的转发时延。为了获得极致的时延表现,数据中心的低时延网络大多采用低时延的交换机构建而成。常用的低时延交换机关键指标见下表:\\ 
 +<WRAP centeralign>​ 
 +表1 低时延交换机关键指标表 
 +</​WRAP>​ 
 +{{ :​service:​techmag:​201906_035:​1.dishiyan.png |}} 
 +===== 4 度量方案和测试方法 ===== 
 +  度量方案分两部分,一部分是测试仪器度量方案,另一部分是网络基准测试工具度量方案。\\ 
 +  测试仪器度量方案作为一个硬件基准测试方案,能客观反映网络设备的硬件性能,是设备选择的重要参考指标,本文方案根据证券行业的应用特点,挑选了贴合行业需求的场景进行测试。\\ 
 +  网络基准测试工具度量方案涵盖了证券行业核心应用场景的基础通信场景,通过使用开源的、行业广泛使用的、已经被证实可靠有效的测试工具对网络的时延性能、带宽性能进行测试。\\ 
 +==== 4.1 测试仪度量方案 ==== 
 +  对TCP和UDP协议的支持是网络设备的基本通信功能,这两种传输协议也是证券行业应用系统使用最广泛的两种基础协议,因此我们的测试仪器度量方案也围绕这两种协议展开。\\ 
 +  对于证券行业核心系统,尤其是低时延领域,组播是最重要的通信技术之一,因此我们需要将对组播的基准测试纳进测试方案。\\ 
 +=== 4.1.1 关键性能指标 === 
 +  业界常用的IETF RFC 2544和IETF RFC 3918作为网络设备的标准测试方法。RFC 2544定义了网络互联设备的基准测试方法(关于RFC2544的详细信息可参考[1]),RFC 3918则定义了网络设备的组播基准测试方法(关于RFC3918的详细信息可参考[2]),结合证券行业的场景特点及需求,我们定义如下几个测试关键指标:\\ 
 +  1、吞吐率(Throughput):在不丢包情况下,交换机所能转发的最大速率。吞吐率为100%,说明被测交换机的吞吐能力在各种固定包长流量下或混合流量情况都能达到全线速转发;\\ 
 +  2、转发时延(Latency):交换机的转发时延越小,说明交换机处理数据包的速度越快,性能表现就越好;\\ 
 +  3、时延抖动(Jitter):抖动是数据包到达间隔的统计方差,​抖动越小越好,抖动测试度量交换机在精确可预测的间隔内以恒定速率传输数据包的能力。\\ 
 +=== 4.1.2 测试方法 === 
 +  交换机转发报文有两种模式:存储转发模式(Store-forward)和 直通模式(Cut-through)。时延相对应有两种定义方法,存储转发模式是将整个数据帧接收完成,进行必要的数据校验之后,才会向输出端口发送数据,存储转发模式时延按后进先出(LIFO)方式计算;直通模式是设备接收到数据帧一经处理就立即转发,而不会等待整个帧被完整接收才转发,直通模式时延按先进先出(FIFO)方式计算(关于LIFO和FIFO度量方法的详细信息可参考[3])。\\ 
 +  以下是LIFO与FIFO差异以及转换方法:\\ 
 +  (1) Latency(FIFO) = Latency(LIFO) + t\\ 
 +  (2) t =(帧长度 + 20)* 8 / 带宽\\ 
 +  在测试仪器中,可以同时提供LIFO和FIFO两种测试结果。在对比结果时,根据交换机的工作模式选择对应的时延结果进行对比,便可得出低时延网络的时延和性能差异。测试方法如下:\\ 
 +  业界主流的测试仪器厂家包括Spirent和IXIA,各大主流交换机厂家也会有自己的测试仪器。IETF RFC 2544定义了在各种条件下测量二层、三层流量的吞吐量、数据包转发速率、转发时延和抖动时延;RFC 3918则定义了在各种条件下测量二层、三层组播流量的吞吐量、数据包转发速率、转发时延和抖动时延。数据帧长度采用64、128、256、512、1024、1280、1518、9216字节,建议采用端口全网状的模式,这是评估交换机性能的最严苛的性能测试模式。\\ 
 +=== 4.1.3 RFC2544测试用例 === 
 +<WRAP centeralign> 
 +表2 RFC2544测试用例表 
 +</​WRAP>​ 
 +{{ :​service:​techmag:​201906_035:​2.rfc2544.png |}} 
 +<WRAP centeralign>​ 
 +表3 RFC3918测试用例表 
 +</​WRAP>​ 
 +{{ :​service:​techmag:​201906_035:​3.rfc3918.png |}}
  
-<WRAP center round important 60%> +==== 4.2 网络基准测试工具度量方案 ==== 
-这是个页模板编写新页前请必阅读[[wiki:newbie:start|编写须知]]。+  使用仪表对网络设备进行测试,设备的最终使用者一般不具备测试条件另一方仪表的测试指标仅能作为选型参考,实际应用系统的性能效果无法得到有力的支撑,我们需要在更接近应用系统的层面找到通用的测试方法,网络基准测试工具除了与应用系统的业实现不一致意以外,能最大程度地模拟应用系统度量网络的基准。\\ 
 +==== 4.2.1 测试组网 ==== 
 +  因为本度量方案只是基准性能的度量,因此我们选取行业使用最广泛且足够简单的交换机双活组网方案。交换机下连两台服务器,这两台服务器会作为网络基准测试工具的宿主机,服务器网卡做双端口绑定,分别上连到两台交换机,具体组网方式见图1:\\ 
 +{{ :service:techmag:​201906_035:​4.png ​|}} 
 +<WRAP centeralign>​ 
 +图1 网络基准测试组网图
 </​WRAP>​ </​WRAP>​
-===== 二级标题 ​ ===== 
-\\ 
-\\ 
-==== 三级标题 ==== 
-\\ 
-\\ 
-=== 四级标题 === 
-\\ 
-\\ 
-== 五级标题 == 
-\\ 
-\\ 
----- 
-===== 参考文档 ​ ===== 
-最后请列出所有参考的公开资料的URL。 
  
  
- +=== 4.2.2 时延性能度量 === 
 +  qperf 是一款开源的网络性能测试工具,且目前已成为Linux操作系统默认自带的网络测试工具,该工具可以用来测试两个节点之间的网络时延,且该工具不仅可以测试 TCP或UDP 协议的时延,还可以用来测试 RDMA 传输的时延。RDMA作为低时延传输的重要技术,已经在证券行业追求极致低时延的应用场景下使用,因此本章节把RDMA的测试方法也作为测试方案的一部分。\\ 
 +  因为低时延网络的时延在软件层面的测试方案中的占比很低,因此测试数据正确的使用方法是采用同样的服务器,更换不同的网络设备,通过相互比较时延数据,得出低时延网络设备的时延表现差异(关于qperf的相关信息可参考[4])。\\ 
 +  以表是网络基准时延性能测试用例:\\ 
 +{{ :​service:​techmag:​201906_035:​5.shiyanxingnengceshi.png |}} 
 +<WRAP centeralign>​ 
 +表4 时延性能测试用例表 
 +</​WRAP>​ 
 +  
 +=== 4.2.3带宽性能度量 === 
 +  iperf 是一个网络性能测试工具,可以测试最大TCP和UDP带宽性能,具有多种参数和UDP特性,可以根据需要调整,可以报告带宽、延迟抖动和数据包丢失(关于iperf的相关信息可以参考[5])。\\ 
 +  以下是网络基准带宽性能测试用例:\\ 
 +{{ :​service:​techmag:​201906_035:​6.dikuangceshi.png |}} 
 +<WRAP centeralign>​ 
 +表5 带宽性能测试用例表 
 +</​WRAP>​ 
 + 
 +===== 5 总结 ===== 
 +  低时延网络在证券行业广泛使用,针对行业应用特点,本文提出低时延网络设备的选型标准和关键指标,并提出低时延网络性能度量方案及测试方法,为行业在低时延网络的测试规范和选型依据提供建设性的参考方案。\\ 
 +  低时延网络的构建,除了要关注性能指标,基于证券行业对应用系统可靠性安全性的严格要求,网络架构的可靠性是低时延网络构建的另一重要研究课题,我们后续也将会就如何构建高可用的低时延网络进行深入研究探讨。\\ 
 +===== 参考文献: ===== 
 +[1] Benchmarking Methodology for Network Interconnect Devices, [[https://​tools.ietf.org/​html/​rfc2544| Methodology for IP Multicast Benchmarking 
 +]], March 1999\\ 
 +[2] Methodology for IP Multicast Benchmarking,​ https://​tools.ietf.org/​html/​rfc3918,​ October 2004\\ 
 +[3] Gary Lee, Fulcrum Microsystems,​ LIFO or FIFO? How to accurately measure data center Ethernet latency, https://​www.eetimes.com/​document.asp?​doc_id=1278822&​print=yes,​ February 2006\\ 
 +[4] https://​github.com/​linux-rdma/​qperf\\ 
 +[5] https://​iperf.fr/​\\ 
 + 
 + 
 +作者简介:何志东,hezhidong@archforce.com.cn,华锐分布式技术实验室主任,具有丰富的交易系统、消息总线和高可靠架构设计与开发经验,目前主管华锐分布式技术实验室,对分布式系统架构、高性能计算基础设施、低时延技术、系统性能调优等领域有深入研究。\\
  
阅读
service/techmag/201906_035/10.1565772883.txt.gz · 最后更改: 2019/08/14 08:54 由 -