[高性能计算的７大变化]高性能计算

　　高性能计算（HPC）在技术与市场两方面的发展都令人刮目相看。在技术上，迈向计算速度达到每秒千万亿次的脚步越来越坚实；在市场方面良好的增长前景令企业增加投入，收获丰厚。IDC预测，HPC市场将从2006年的100亿美元，迅速增加到2010年的140亿美元。高性能计算一方面得到了各国政府的高度重视，政府资助企业发展超大规模的计算机成为许多发达国家的一项重要技术策略。另一方面高性能计算机市场进入一个高速发展周期，其商业应用需求不断增强。本期的产品主题就锁定在高性能计算。主要包括以下几篇文章：
　　高性能计算的7大变化
　　
　　千万亿次的梦想与现实
　　上下求索
　　
　　――不同企业发展千万亿次计算的技术路线
　　以前，大家公认高性能计算机是一个国家综合实力的体现，因为它是大量科学研究的基础工具。现在，我们可以说，高性能计算机是商业应用的生力军，一方面，人们需要更快速度的计算机，因此计算速度达到千万亿次的HPC成为人们努力的一个目标；另一方面，从2002年开始，高性能计算机市场进入了一个高速发展周期，为了适应应用需求的多样化，商品化、标准化以及好用性、平民化也已经成为今天HPC发展必须要考虑的重要因素。在这一大背景下，我们可以看到HPC发展中的几大变化。
　　1．应用――研究与商业应用并举
　　在高性能计算的性能方面，国际上有TOP500排行榜，国内有TPO100排行榜，它们是国际与国内HPC发展与应用的一个标竿。
　　同前几次TOP500相比，2006年第28届的TOP500在应用领域并无太大变化，工业、科研和学术仍是超级计算机应用最为广泛的领域;保密、厂商和政府方面应用的系统数量基本未变。在商业和工业用户安装的224台系统中，IBM系统占121台，HP系统占116台，这就表明这两家公司已从总体上垄断了这一重要的市场段。IDC的数据也佐证了这一观点。在2006年，HP在高性能计算领域处于领先地位,占有33％的市场份额，IBM的市场份额则达到了28％，不过IBM在大型组织中部署的HPC，如蓝色基因等数据较多。第三名是Dell公司，占到17％，而Sun第四，占到10％。
　　美国是HPC系统最大的用户，以308台的总数傲视群雄。欧洲用户的数量略有回升，达到95台，高于亚洲用户的79台。在欧洲，英国用户的数量最多，德国次之。在亚洲国家中，日本最多，中国的安装台数在所有国家中位居第五。
　　在2006年中国高性能计算机性能TOP100排行榜中，石油勘探、工业应用和高校科研是高性能计算机在国内的三大主要应用领域，比率超过了57%。网络游戏是国内高性能计算机的新兴应用领域，从去年的3套增加到了今年的9套。总体而言，2/3以上的系统都直接用在了工业或商业领域；相反，纯粹针对科研的科学计算系统比率减少。从地理分布来看，国内早期高性能计算应用主要集中在北京、上海两地，但近两年，高性能计算系统的分布明显呈分散化，分布在全国20多个省市。不过，总体来说，经济较发达的地区，高性能计算机的数量也较多，这二者之间具有一定的正相关性。
　　对比后我们发现，与国际高性能计算机的使用相比，中国的高性能计算的工业应用程度不高，其中以石油勘探、地震资料处理最为成功（但现在越来越多的ISV 支持PC 集群，使高端市场受到很大冲击）。目前中国的高性能计算市场更多地集中在教育和科研领域。同时我们发现，在许多工业领域，如汽车、航空航天器的设计制造、石油勘探、地震资料处理及国防（核爆炸模拟）等，科学计算已经成为首选研究方法。在教育、科研领域，高性能计算有着更广泛的施展空间，在生命科学、材料设计、气象气候研究等学科中已成为科学研究的必备工具。
　　2．体系结构――集群独占花魁
　　HPC常用的体系结构包括MPP（大规模并行处理）、SMP（对称多处理系统）、集群等。集群是其中成本最低的一种体系结构，它随着HPC需求的增加而逐渐流行起来。目前它已经成为采用最多的HPC体系结构。
　　集群就像搭积木一样，利用商品化的工业标准互联网络，将各种普通服务器或者工作站连接起来，通过特定的方法，向用户提供更高的系统计算性能、存储性能和I/O性能，并具备单一系统映象（SSI）特征的分布式存储并行计算机系统。与SMP、MPP等相比，集群性能价格比高，可靠性、可扩展性、可管理性强，应用支持性好等优势都得到了用户的认可。
　　在2006年TOP500中，最常用的体系结构仍为集群系统，高达359台，占系统总数的72%。2006年的中国TOP100排行榜显示，超过70%的系统都采用了集群体系结构。值得关注的是，有26套是刀片服务器集群系统，HP和IBM分别占有13套和11套。在这26套系统中，有17套用于石油勘探，6套用于网络游戏。由此可见，采用刀片服务器搭建集群将是国内HPC应用的一大趋势。
　　
　　集群系统流行有以下几个原因：
　　
　　第一，一方面，行业应用逐渐成熟，并走向标准化，对高性能计算机的需求也随之不断增长；另一方面，构成集群的商品化部件越来越标准化，性能不断提高，这些都为HPC走上平民化的轨道提供了基础。而集群是HPC平民化最为合理的实现方式。专家预估，集群系统将走向标准化，进一步推动集群系统的发展和普及。
　　第二，集群系统能有今天的地位，很重要的一个原因就是Linux操作系统的发展。在TOP500中， Linux系统伴随着集群系统的兴起有不凡的表现，1998年只有一套，但是到2005年已经达到371套，占到了TOP500的74.2%。透过TOP500看高性能计算技术的发展，Linux与集群应该是我们需要重点关注的焦点之一，Linux和集群技术的日益普及已经深刻影响了高性能计算产业的发展，并推动中国高性能计算产业进入一个泛高性能计算时代，俗称“平民化时代”。
　　3．节点――刀片节节上升
　　刀片服务器的应用领域正在不断扩大。正如上文所言，在高性能计算领域，刀片服务器的魅力正在不断增强。经历了从最初1999年诞生，到其后的虚拟化，以及服务器整体性能提升和2005年刀片式服务器的专用化研究，刀片服务器产品在多核、低功耗、虚拟化技术的推动下，已完成从最初一味追求高计算密度的第一代刀片，发展到了强调整体综合性能、高生产力的第三代刀片产品。
　　中国大庆石油管理局就采用了惠普的HP BladeSystem构建了一个包含656节点的高性能计算机系统。该系统部署在大庆油田研究院，集群刀片系统承担着地震资料处理的重任，它由1432颗处理器组成的刀片系统组成，浮点计算能力超过了每秒9.8万亿次，位居中国刀片系统集群榜首。放眼未来，刀片系统必将成为企业级用户构建适应性IT基础设施提升竞争力的首选系统。
　　曙光公司总裁历军在一次产品战略发布会上表示，刀片系统的用途将不仅仅限于服务器、存储等后台设备，也许有一天，刀片式的工作站、刀片式的台式机也将出现在用户的面前。刀片系统的管理也不限于后台，也许网络管理员还会通过网络管理到每个人的刀片台式机，进一步提升系统的效能与成本，“一切都是刀片”不是不可能。
　　中国惠普的陈鸣先生认为，用刀片构建HPC，相比用机架式服务器构建HPC，具有几个优势：可以节省机柜空间，系统密度高；节省电力，刀片系统的能耗明显比机架系统低;三容易部署与管理，刀片采用模块化架构，需要就可以插入，没有太多的线缆，都在机架内完成；集成了网络设施，可以配置10G光纤通道与InfiniBand等。
　　未来的两到三年，刀片式服务器将以其高密度、快速部署与维护、全方位监控管理融合、高可扩展性、高可用性等，全面取代机架式服务器，成为高性能计算中集群体系架构所采用的主力。甚至由专家预言，基于刀片式服务器的集群系统将从2006年开始快速进入市场。
　　4．操作系统――Linux受到热捧
　　在构建HPC时，一般常用的操作系统包括Linux、Unix、Mixed、BSD Based、Mac OS等。Unix大家比较熟悉，包括IBM AIX、HP UX、Sun Solaris等。Unix伴随着64位RISC处理器技术的发展进入了全盛时代。高端计算机应用首先进入了“64位RISC＋Unix”计算的新阶段，Unix随之进入了全盛时期，成为最热门的技术，市场容量超过几百亿美元。甚至有人说：“地球是在Unix系统上运转的！” Unix的未来前途在高端，它将继续在企业级服务器、中档高端服务器市场中占领先地位。基于BSD的系统与Unix系统类似，而FreeBSD 和 Linux 一样是个免费的，最主要的差异是，Linux是从头到尾重新发展的, 而FreeBSD是基于4BSD(柏克来大学软件)发展而来，且FreeBSD是比较封闭的。
　　不容否认，开源的Linux更受用户欢迎，在HPC中的增长令人刮目相看。从TOP500的数据可以看出，HPC操作系统的发展与变迁。2000年，TOP500中采用Unix占到了65％，而到了2006年，TOP500中采用Linux却占到了74％。
　　目前，在2006年下半年的TOP500中，在操作系统方面，Linux仍是应用最为广泛的操作系统，其上涨势头较快，从一年前的318台上升到376台。而Unix的使用量则相反，降幅很大，从一年前的154台下降到86台。另外，TOP500中有32台机器使用了混合型操作系统，这也是一个值得关注的方面。
　　5．处理器――多核处理器趋热
　　在HPC中应用的处理器多种多样，其中包括Intel的Xeon、酷睿Dual Core、安腾，AMD的单核与多核Opteron，IBM的PowerPC、Power，HP的PA-RISC、Alpha，Sun与富士通的SPARC64等。
　　我们可以为2006年下半年的TOP500中使用的处理器排序。使用最多的仍为Intel处理器，这样的系统总共有261台（占总数的52.2%），与一年前的333台(占66.6%)相比，呈下降趋势。使用AMD Opteron系列处理器构建的系统达到了113台(占22.6%），一年前仅为55台（占11%），这也使AMD处理器一举超越了IBM Power处理器，成为TOP500使用第二多的处理器。实际上，使用IBM Power处理器的系统也出现了小幅攀升，从一年前的73台增加到93台。
　　双核处理器已经得到广泛使用。在TOP500中有76台系统使用了AMD Opteron双核处理器，显示了Opteron双核处理器的强大生命力；而31台采用最新Intel Woodcrest双核芯片的系统也给人以深刻的印象。同时，双核安腾和Power等也被普遍采用，双核处理器很快就成为HPC的主流。
　　专家估计，四核处理器将很快在HPC中应用。设在美国得克萨斯大学奥斯汀分校的得克萨斯高级计算中心（TACC）正与Sun公司联合开发具有超过400Tflops峰值计算能力的超级计算机系统。该系统基于Sun Fire x64（x86, 64位）高性能服务器和Sun StorageTek磁盘与磁带技术；配备13000多个AMD公司预计2007年中期开始批量生产的四核微处理器；主存储容量为100TB，磁盘存储容量为1.7PB。
　　6．互联――千兆以太网
　　与InfiniBand双雄争霸
　　网络是集群中各个节点相互连接和协同工作的基础。在实际的集群系统中，通常采用有两套彼此独立的网络。一套是普通百兆以太网，用于系统管理和文件服务等普通网络通信,另一套是高速网，主要负责并行计算的消息传递和数据交换。在TOP500中，集群采用的高速网主要有Gigabyte Ethernet、10Gb Ethernet、Myrinet、InfiniBand、PathScale的Infinipath、IBM的SP网络、Dolphin SCI、SGI的Numa－Link、Gray的RapidArray等。而集群中使用最广泛的高速通信网络为千兆以太网和InfiniBand。
　　在2006年的TOP500中，Gigabit Ethernet（千兆以太网）仍然是使用最多的系统互连网络，但采用数量已经从6个月前的256台下降到213台。而采用InfiniBand技术的系统则从6个月前的36台增长为78台，显示出该网络的强劲发展势头。
　　采用千兆以太网的优势在于：千兆以太网提供10倍于快速以太网的传输交换性能，并与现有的10/100Mbps以太网标准、CSMA/CD协议完全兼容，同时千兆以太网支持以太网、快速以太网的802.1QVLAN标准、802.1p优先级标准及802.3x流量控制协议，将使企业能够在升级至千兆性能的同时，保留现有的线缆、操作系统、协议、桌面应用程序和网络管理战略与工具；千兆以太网具有更有效的带宽优势，并且具有良好的发展空间，10G以太网技术与基于以太网帧层及IP层的优先级控制机制和协议标准及QoS支持技术日趋成熟，为高要求服务质量提供了保证基础。
　　InfiniBand 完备的通信协议和网络底层的实现技术借鉴了以太局域网、光纤通道存储网络和广域网络的研究经验，因此具有很强的通用性。由于InfiniBand具有工业标准、10Gb/s高性能的互联、成本低廉、高QoS和RAS性能等诸多特点，得到了越来越广泛的应用。InfiniBand总线拓扑结构是基于分组交换点到点连接的fat tree结构，有很好的扩展功能。它既能以PCB的形式提供芯片与芯片的互联，还能以电缆线的形式提供“out of the box”设备与设备之间的互联。每个单独的链接通道是４根信号线组成的双向数据通道，双向理论带宽是5Gb/s。InfiniBand体系结构中包含5个基本层，自下向上依次是物理层、数据链路层、网络层、传输层和上层软件应用层，其中前4层是通过硬件完成的。在InfiniBand结构中还单独定义了一个Subnet Manager的概念，它用来配置网络单元、错误报告、链接错误排除、机箱管理等等。InfiniBand每个单独的链接通道是４根信号线，２根输入、２根输出，每个数据方向是2.5Gb/s的带宽，目前的DDR方式能够达到单通道单方向5Gb/s带宽，在DDR方式下的双向带宽是10Gb/s。而且不同的通道之间还可以组合成为一个端口，这样带宽就可以成倍的增长。由于目前InfiniBand支持到DDR，所以最高的理论带宽是60Gb/s。
　　从近几年来TOP500中所采用的网络的数量变化可以看出，Myrinet作为经典的高速网络在TOP500中一直占有较大份额，但2005年被迅速增长的千兆以太网超过；而InfiniBand方兴未艾，从2003年出现以来，每年以大约三倍速增长，发展势头甚至超过了千兆以太网。可以预测，未来几年InfiniBand将成为集群高速网络的增长点。
　　7．存储――需求直线增长
　　增强计算能力的重要性不言而喻，因为科学家们要依靠计算机模型来模拟极端复杂的现象，如全球气候变暖、地震运动、核聚变以及全球疾病传播等。计算机模拟使科学家们能够深入了解这些过程，而这是通过常规的观察或实验无法实现的。美国总统信息技术顾问委员会（PITAC）2005年认为，强大的计算能力对于保持美国的经济竞争力，确保美国在科学技术领域的领导地位，以及维护美国的国家安全，都是至关重要的。
　　但是，仅仅依靠建造几台运行速度快的计算机，甚至是千万亿次级超级计算机，是无法达成上述目标的。卡内基•梅隆大学计算机科学系教授Garth Gibson认为，必须要采用新的方法来处理计算机模拟所使用的和生成的海量数据。千万亿次超级计算机通过增加处理器可以实现强大的计算能力，但是它们可能需要用几十万个磁盘来处理运行模拟所需要的庞大数据，同时要提供检查点/重启（checkpoint/restart）容错功能，并且存储这些模拟实验所获得的大量结果。
　　美国能源部（DOE）已经同意出资，资助3所大学和5个国家实验室的研究人员开展一项为期五年的研究，以寻找能够管理新一代超级计算机所产生数据的新方法。为此新成立了“P级（千万亿次级）数据存储研究所”，其开发的创新技术将使得科学家们能够全面地利用新型超级计算机系统的强大性能。