开创新时代:开创新时代歌词

　　上一期连载内容中（见本报今年35期第36、37版），我们记录了上海交通大学网络信息中心的老师们通过严谨的测试，选择基于英特尔5520平台的x86服务器打造校园网流量分析与优化系统的全过程。那么，万众瞩目的英特尔新一代Sandy Bridge平台在网络通信应用中又会有怎样的表现？它是否可以将效能推进到一个新的高度？就让测试数据去证明一切吧。
　　
　　价格越来越低、性能与可靠性越来越高，这就是x86平台在网络通信领域的发展现状。从之前的一系列测试中也可以看出，目前英特尔嵌入式产品解决方案已经很好地覆盖了百兆级、千兆级乃至准万兆级应用领域，并有着继续向上延伸的趋势。向上拓展的先锋自然是英特尔Sandy Bridge平台，基于该架构的桌面级产品自发布之日起就凭借超强的实力在市场上独领风骚，也大大增加了人们对其企业应用效能的期待。千呼万唤始出来，在经历了更多的设计与验证周期后，基于Sandy Bridge的网络通信硬件平台终于批量入市。本次我们测试的立华科技提供的FW-8865，就是首发产品中的优秀代表。
　　
　　规格放大 体积缩小
　　
　　FW-8865的核心是英特尔Cougar Point C200芯片组中最高端的型号C206，支持LGA1155接口的Sandy Bridge处理器，包括企业级的Xeon E3和桌面级的Core i3/i5/i7。理论上，LGA1155平台的Sandy Bridge处理器和芯片组可以混合搭配，但前提是使用正确的、高质量的BIOS，因此并不是所有的主板都能良好地兼容两种处理器。FW-8865在这方面显然不存在问题，因为测试中使用的就是一颗四核心、32nm工艺制造的Core i7 2600K。该处理器具有256KB L2缓存（每核）和共8MB容量的通过环形总线和CPU核心连结的共享L3缓存，主频为3.4GHz，最大Turbo Boost频率可以达到3.8GHz。不过从稳定性的角度考虑，该特性在测试中没有被启用。同样的道理，Core i7 2600也支持超线程技术，可以提供8个硬件线程，但在测试中也被关闭。
　　针对处理器内置PCIe 2.0 Lane数量的差异，FW-8865的主板也分为支持Core i系列的MB-8865A和支持Xeon E3系列的MB-8865B。对于后者来说，Xeon E3系列处理器额外的4个PCIe Lane也连接到左起第三个扩展接口模块，与C206提供的另外4个PCIe Lane共同工作，使接口带宽加倍；另外两个接口扩展模块的规格则没有区别，使用的都是处理器上16个PCIe Lane配成的两个x8接口。内存方面，MB-8865A/B都提供了4个ECC DIMM插槽，最大支持32GB的Unbuffered ECC/Non-ECC DDR-1333内存。而我们测试的这台设备配备了两条2GB容量的DDR3-1333内存，工作在双通道模式。FW-8865的标准配置还包括一个Mini-PCI插槽、一个x4的PCIe Riser（与OPMA远程控制模块复用）、一个CF卡插槽和4个SATA端口，并使用一颗Realtek出品的RTL8110SC千兆网络控制器作为管理配置接口。
　　作为最新一代的网络通信硬件平台，FW-8865提供了多种高速以太网接口扩展模块（甚至包括万兆电口的型号），可供用户灵活选配。对于这个目前最强大的x86平台来说，千兆级别的负载显然不能充分挖掘其性能，所以本次测试都在搭配双万兆接口扩展模块的FW-8865上进行（使用与处理器直连的槽位）。该模块基于英特尔82599ES打造，它是常见的82599EB的串行版本，主要区别是针对高密度/刀片应用增加了对串行背板总线的支持，功能、性能都极其强大。在T540尚未推出前，它们是英特尔万兆网络控制器产品线中最顶级的型号。82599ES/82599EB使用了5GT/s的PCIe 2.0 x8接口，支持32个PCIe并发请求和512字节的PCIe有效载荷，以及MSI和MSI-X（Extended Message Signaled Interrupt，扩展消息告知中断)特性。单芯片提供双万兆以太网接口是82599ES/82599EB的标准规格，每个接口可以支持128个TX/RX队列，并可根据需要最多划分为64个RSS（Receive Side Scaling，接收方扩展）队列。此外，它们还支持RSC（Receive Side Coalescing，接收方聚合）、低延迟中断等技术，以及包括基于L2 Ethertype、5元组、SYN标识以及英特尔Ethernet Flow Director在内的多种分类/过滤特性。
　　也许是因为英特尔在芯片层面就开始整合，基于Sandy Bridge平台的FW-8865在设计上显得并不复杂，2U规格的机箱内留有大量空间，对系统散热十分有利。而从最大300W的冗余电源的配置来看，该机的整体功耗也相对较低。有了这样的优势，立华科技也推出了接口数量略低的1U规格产品，在机架空间愈发宝贵的今天相信会有更强的竞争力。
　　
　　40G：理想照进现实
　　
　　我们依旧采用了NCPBench 0.8评估软件，依照RFC 2544标准对多达4个万兆接口进行了纯转发模式下的测试（NCPBench的功能介绍和使用方法见本报今年第16/17期51版）。起初我们曾怀疑这个发布已有一段时间的版本不能充分发挥最新硬件平台的性能，但事实证明这种担心是多余的。FW-8865在测试中的表现，足以用震撼二字来形容：当我们将一个扩展模块上的两个万兆接口配置为网桥进行测试时，64Byte帧的整体转发速率达到22.3Mpps，吞吐量达到14.98Gbps；换用128Byte帧时，吞吐量上升为19.37Gbps，已接近线速。有了这样的铺垫，FW-8865在使用256Byte-1518Byte帧的测试中做到线速转发就丝毫不令人惊讶了，这台基于Sandy Bridge架构的网络通信硬件平台就这样轻松刷新了x86平台的性能记录。
　　
　　测试项
　　
　　表1 FW-8865吞吐量测试结果（1组桥，1组双向流量，同模块）
　　
　　一直关心本专题的读者朋友们可能记得，在上一篇关于英特尔5520平台的测试记录中，由上一代顶级至强处理器X5690搭配82599万兆网络控制器的系统在同样的测试条件下只达到整机10.24Mpps的64Byte帧转发能力。仅仅更新系统平台就能让性能翻倍，Sandy Bridge的火力未免也太过强劲。为了寻找系统瓶颈，我们开始人为地制造一些障碍。在以往的测试中，我们曾经遇到过一些产品，其跨模块测试时的性能要远低于同模块内测得的性能。为验证这种现象在FW-8865是否存在，我们将隶属不同模块的两个万兆口配置为网桥，重新进行了一次测试，结果不降反升：系统自128Byte帧起就已线速转发，64Byte帧时的整机转发速率更是达到了惊人的28Mpps，吞吐量接近19Gbps。我们猜测之前单模块时的接口资源有限，如PCIe接口的并发请求数量和重传缓冲都可能受到限制；跨模块测试时，可以调用的资源翻倍，从而提升了平台的整体性能。而两个万兆接口模块直接连接到CPU，其间没有了可能成为性能瓶颈的桥片，也许是性能提升的另一个因素。
　　
　　表2 FW-8865吞吐量测试结果（1组桥，1组双向流量，跨模块）
　　
　　看来20G已经无法阻止彪悍的Sandy Bridge平台了，感谢立华科技为我们提供了两个万兆接口扩展模块，能让压力测试继续上升到x86从未染指过的40G级别。在巨大的压力下，当同一模块上的两个万兆口分别配置为网桥进行测试时，整机64Byte帧的转发速率为23.3Mpps，较同模块1组桥时略有上升，但大大低于跨模块1组桥时的性能。但在使用128Byte帧的测试中，FW-8865的整机转发速率基本没有下降，吞吐量达到27.54Gbps。并且从256Byte开始，做到40G流量的线速转发。我们随后也在跨模块两组桥的配置下重复了测试，结果没有发生任何变化。老实说，有了之前的测试结果打底，本次测得的多个40G线速转发的结果并没太令人惊讶。照这种情况推断，只要接口带宽不成为瓶颈，Sandy Bridge平台的大包转发能力即便测到60G也不足为奇。相反，64Byte帧时的性能下降是个很意外的情况，在以往测试中很少出现，推断其瓶颈应出现在I/O层面。
　　
　　
　　表3 FW-8865吞吐量测试结果（两组桥，两组双向流量，同模块）
　　
　　表4 FW-8865吞吐量测试结果（两组桥，两组双向流量，跨模块）
　　
　　为了弄清造成这种情况的原因，我们又构造了一个新的测试用例。在刚才的环境中，我们去掉了1组桥中某个方向上的所有数据流，对FW-8865施加共30Gbps的测试流量（1组双向流量+1组单向流量）。这次的结果又高得令人感到意外，该平台在使用128Byte帧测试时吞吐量就基本接近线速；64Byte帧时的整机转发速率更是大幅增加至32.5Mpps，吞吐量达到21.86Gbps。并且无论将同模块还是不同模块中的两个接口配置为网桥，性能都保持一致。虽然这一结果依然无规律可寻，但我们确实是第一次在x86平台上见到64Byte帧转发能力超过20Gbps，就请记住这个由Sandy Bridge创造的里程碑吧。
　　
　　
　　表5 FW-8865吞吐量测试结果（两组桥，1组双向流量+1组单向流量，同模块）
　　
　　表6 FW-8865吞吐量测试结果（两组桥，1组双向流量+1组单向流量，跨模块）
　　
　　需要说明的是，以上所有测试结果都是在NCPBench中设定一个vcpu（即一个物理核）做管理、两个vcpu做I/O时得到的。我们也尝试着使用除了管理核外的其它所有3个vcpu做I/O，但测得的性能并没有像预期那样线性增长，反而会略有下降。但当NCPBench运行在“转发+简单业务”模式时，两个vcpu情况下的性能会有超过20%的下降，3个vcpu时的性能则不受影响。这至少说明在第二种情况下，处理器的负荷仍未达到100%，理论上可以在保证速度的前提下进行更加复杂的业务处理。
　　纵观所有测试数据，即便只使用一个万兆接口扩展模块，基于Sandy Bridge平台的FW-8865也能够达到接近15Gbps的64Byte帧转发性能。而在帧长度超过256Byte时，该平台在任何情况下均可做到线速转发，吞吐量最大可达40Gbps。根据经验，如果基于FW-8865打造传统的状态检测防火墙，在40G的现网环境中正常工作是毫无问题的。我们甚至认为，如果软件的效率足够优秀，使用该硬件打造40G规格的流控产品也是极有可能的。无论如何，英特尔最新的Sandy Bridge平台已经创造了历史，凭借革命性的性能表现开启了x86在网络通信领域的新篇章。
　　
　　测试后记
　　
　　x86，真的开始给力了
　　
　　自从2月28日刊登第一篇内容开始，本专题已陆续进行了9期连载。我们与读者朋友们一起，回顾了x86平台在网络通信领域的应用历程，也分析了曾经活跃在市场上的一些产品解决方案。此后，我们开始了网络通信硬件平台的实际测试工作，对几款目前主流的x86解决方案进行了分析，亲眼见证了其规格与性能不断提高的过程。虽然它们与同级别的专用产品解决方案相比仍不占优，但差距已明显缩小，表现出一定的市场竞争力。而英特尔最新的Sandy Bridge平台在测试中表现出的超群实力，完全扭转了之前的被动局面，达到业界领先水平。在用户业务逐步由网络层转向应用层的今天，x86平台凭借I/O与计算能力方面的综合优势，也有机会去赢得更多的市场。如果说以前英特尔在网络通信领域处于追随者的位置，那么Sandy Bridge平台的横空出世，则意味着这个通用领域的巨擘已经站在了该领域的最前沿，抢占了云时代的先机。（文/韩勖）
　　
　　链接：“企业级”价值何在？
　　
　　今年4月，英特尔面向四路及四路以上服务器市场发布了代号为Westmere-EX的Xeon E7系列处理器。一同发布的还有Xeon E3，一类面向单路服务器/工作站市场的产品。实际上，Xeon E3就是1月份发布的Sandy Bridge-DT处理器的Xeon版本，它们非常相似，例如一样都是LGA 1155封装，使用的芯片组也同属Cougar Point PCH系列。甚至在价格上，英特尔官方给出的两类同级别产品的指导价也只有很小的差异。
　　
　　图注：英特尔Xeon E3-1200系列平台架构图
　　
　　不过，面向企业市场的产品和面向桌面市场的终究还有一些不同。目前，大部分英特尔平台已经走向单芯片组方案，很多功能融合进CPU，因此差异也更多地体现在CPU上。与桌面版本一样，Xeon E3也集成了传统的北桥，提供PCI Express 2.0接口，但它提供了20个Lane，比桌面版本多出4个，较为明显地增强了其综合I/O能力。例如对工作站用户来说，可能需要使用一个x16接口或者两个x8接口连接单显卡/双显卡，同时还需要通过阵列卡连接磁盘系统，并使用高速网卡连接到局域网。这时，桌面级处理器的16个Lane就显得捉襟见肘，虽然设备也可连接到PCH上，但其带宽和延迟均无法与CPU直连的模式相提并论。而对于网络通信应用来说，PCIe Lane的数量直接决定了最大接口数量，自然是多多益善。
　　第二个差别体现在内存支持上，几乎所有的桌面级处理器都不支持ECC内存。而企业级应用通常都会长期持续运行，它们需要7x24的可靠性，因此所有的Xeon处理器都支持ECC技术。常见的可以检查多位错误并纠正单位错误的ECC内存会自动检测并纠正约99.99%的内存错误，可以消除约1/3的由数据破坏引发的系统出错事件，提升了系统长期运行时的稳定性。
　　Xeon E3还提供了无内置显卡的版本，这也是一个比较明显但不是所有情形下都能从中获益的区别。笔者在Sandy Bridge测试分析系列连载的第5篇（见本报今年11期第48版）中曾经介绍过，目前所有的桌面版Sandy Bridge处理器中均集成了显卡，它将会与CPU共享L3缓存。如果确定不使用内置显卡，可以通过屏蔽的方式提升CPU可以使用的L3缓存容量，从而提高性能。
　　Cougar Point PCH的桌面版本是为人所熟知的P67、H67、Z68等芯片组，而其服务器版本则称为C200系列，目前有C206、C204、C202三个型号。它们的区别主要体现在扩展性方面，例如最低端的C202仅能支持CPU提供的16个PCIe Lane，不支持CPU内置显卡，也不支持SATA 6Gb/s端口及Intel AMT 7.0特性。除此之外，C200系列芯片组能够支持更多的TACH/PWM风扇控制信号、PECI（Platform Environmental Control Interface）界面和SST（Simple Serial Transport）总线，C204还可以实现英特尔特有的Node Manager特性，可以监控管理每个节点的能耗。以上多种企业级特性，对提升网络通信产品的可靠性来说有着非常积极的意义。（文/盘骏）