多核之间光互连技术的研究 多核技术

　　摘要:随着集成电路技术的发展,单个芯片上核的数目不断增加,多核将成为芯片体系架构的未来发展趋势。核间的互连成为芯片设计中的一个关键技术。传统的片上电互连在带宽、时延、能耗和可靠性等方面都面临挑战,光互连可以很好地解决这些问题。本文对现有片上光互连的集成光电子器件发展进行了综述,在此基础上研究了一个典型的多核光互连系统,对网络结构、节点组成和通信过程等逐一进行了分析。结果表明,光互连是未来多核系统的有效互连方式。
　　关键词:多核,光互连,集成光电子器件
　　
　　A Study of Optical Interconnects Technology
　　in Multi-core Architectures
　　
　　Hui Li,Huaxi Gu
　　( State Key Lab of ISN, Xidian University , Xi’an 710071, China)
　　
　　Abstract: The development of integrated technology enables more and more cores to be incorporated into a single chip. Multi-core archtictures will be the main thrust driving the evolution of the chip design. Interconnects play a significant role in chip design. Traditional on-chip electrical interconnects face hard challenges in bandwidth, latency, power consumption and scalability. Optical interconnects can be a solution, increasing communication bandwidth and decreasing latency. This paper summarizes the development of current integrated opto-electrical components related to optical interconnects on chip, and studies a typical muli-core architecture with optical interconnects. The network structure, nodes architecture and process of communication are analyzed in details. Finally, the results show that optical interconnects will be the efficient approach of multi-core architectures in the future.
　　Key Words: Multi-core, Optical Interconnects, Integrated Opto-electrical Component
　　
　　1引言
　　
　　随着半导体工艺的不断发展,集成电路的工艺技术步入了纳米阶段。电子元器件尺寸的减小,使得在单一芯片上集成上亿个晶体管即将成为现实。但是,现有晶体管技术使继续提高单个处理器核的性能受到了限制,而且当一个单核芯片运行多个程序时,可能会引起冲突、错误或降低速度。因此,如果按单核的思路继续发展,芯片设计将面临互连延迟、存储带宽、功耗极限等性能提升的瓶颈问题。
　　基于以上原因,提出了一种新型的芯片体系架构,即单芯片多处理器核。该架构用多个低频率核产生超过高频率单核的处理效能,以适应性能提升、功耗减小的通信需求。在不久的将来,片上处理器核的数目将会急速地增长,可能会发展到在一个芯片上放置上百个甚至是上千个核[1, 2],通过在核之间分配任务,线程应用能够充分利用多个执行内核,并可在特定的时间内执行更多任务,与单核相比,可以大大提高性能和能量效率[3]。由于多核芯片的核集成在一起,这些核就可以共享结构器件,因而比要运行多个单核芯片的系统节省元器件和成本。同时,核与核之间的信号传输比多个单核芯片的系统更快,功耗也更低[4]。再者,出于门延时、全局连线延时和设计成本等方面的考虑,目前单芯片多核已经成为处理器体系结构发展的一个重要趋势。
　　在多核技术发展过程中,首先提出的一种片上互连方式是传统总线方式,对应的互连网络称为SoC(System on Chip)。它是多核技术的扩展,通过多总线及层次化总线等技术使得片上集成更多的处理器核,从而实现高复杂度和高性能。但是,随着SoC 中所包含的IP 核数目增至成百上千的时候,现有的以总线结构为通信基础的SoC 技术面临着在性能、功耗、延时和可靠性等方面的巨大挑战[5, 6]。主要表现在:通信带宽受限,全局同步困难,可重用性差,结构扩展难。总之,传统的总线架构,由于设计方便、硬件消耗少、成本低,它仍然是中小规模的多处理器系统的经典方案,但是总线结构暴露出的相当多的技术问题,使其并不适合较大规模的片上多处理器系统或通信要求很高的应用。
　　为了解决SoC设计中的瓶颈问题,借鉴计算机网络领域的相关概念提出了一种新的互连网络―NoC(Network on Chip)[7, 8],主要是用计算机的网络思想解决芯片设计中遇到的通信难题。NoC采用基于分组交换的方法和分层方法来替代原来的传统总线,实现了处理单元 (IP核) 与通信结构(网络)的分离。NoC 区别于SoC的网络连线提供了良好的并行通信能力,从而使得通信带宽增加几个数量级;采用全局异步局部同步(Globally Asynchronous Locally Synchronous ,GALS) 的通信机制,很好地解决了全局同步所带来的问题;通信和计算完全分离的技术,大大提升了可重用性和复杂系统的设计效率;网络拓扑结构提供了良好的可扩展性,设计新系统时,只需在原系统上添加路由部件和功能部件即可,大大加快了设计的进度。总的来说,基于分组路由方式的NoC具有高吞吐、低时延、低能耗等优点。
　　随着芯片技术的进一步发展,由于材料引起的高阻抗(高阻抗会引起全局范围内很大的传输时延和较大的能耗),可靠性不高和高电流密度时的高电磁敏感性[9],传统的片上电连接在数据传输速度和能耗方面逐渐表现出局限性,所以,提出了光连接,与传统电连接相比,它具有高带宽密度、低传输时延、低能耗和干扰小等优势,可以解决电连接所面临的通信问题。用光连接代替电连接的NoC网络就称为光NoC。由于最近几年光器件的很好的发展,光网络的研究也有了很大的进步,已提出的几个运用光技术的网络有:Clos结构[10],firefly[11],HP的Corona[12]和Columbia的光网络[13]。
　　本文先简要叙述了多核技术的发展和光互连的提出,后就技术发展过程中相关集成光电子器件的作用及发展进行概括性的介绍,在此基础上,详细分析多核光互连的一个实例。
　　
　　2集成光电子器件及发展
　　
　　在最近几年内,CMOS的光器件[14, 15]有了很大的进步,更进一步促使光连接取代电连接而成为未来主流的片上连接方式。目前,片上光连接最有效的方法就是在SOI芯片上集成光器件来实现连接,同时可使CMOS层和光层之间连接充分。图1给出了片上光互连的整体结构,下文将逐一分析各个部分。
　　
　　 2.1 激光源
　　由于尺寸、能耗、成本等原因,激光源不做在片内,一般是片外的。片外激光源产生光后,通过光纤将光传输到光栅耦合器或者全息透镜来有效地与芯片进行耦合,进而输入到芯片上。
　　2004年,美国UCLA的Henry Samueli工程和应用科学学校发布了第一个能利用拉曼放大效应的硅激光器。2006年9月,英特尔公司与美国加州大学圣芭芭拉分校联合展示了世界上第一个采用硅标准工艺制造的混合硅激光器。
　　 2.2 发射器
　　发射器由光调制器和电驱动电路组成。光调制器一般用微环谐振器来实现。环的半径和温度等参数共同决定要调制的特定波长,通过注入电荷来改变环的折射率或光路径的吸收系数,使得要调制的特定波长的光可以进出微环谐振器,这样就实现了对光的调制,即光调制器将电信号调制到特定的波长上,完成了电信号到光信号的转换。为进一步提高带宽密度,各节点可以通过不同的微环谐振器将电信号分别调制到不同的波长上,然后在同一根波导中互不干扰地传输,即所谓的波分复用技术(WDM)。当前最流行的调制器有Mach-Zehnder基于干涉仪的硅调制器和基于微环谐振器的P-I-N二极管类型调制器。而电驱动电路就是负责在电逻辑单元控制下,产生数字电信号0和1。
　　2007年7月,Intel公司实现了40 Gbps硅光调制器, 2008年5月该公司实现了200 Gb/s传送速度的光外部调制器,就在同年的1月份,IBM公司宣布已成功研发出如硅芯片般微小的电光调制器,大小仅100μm,传输率却达10 Gbps。
　　 2.3 光波导
　　光波导负责将调制后的光信号从调制器传输到目的端的接收器,为提高光连接的带宽密度,可以使用波分复用技术在同一个波导的不同波长上传输数据。波导材料的选择很重要,因为其对带宽、时延和光连接面积有很大影响。目前,硅和聚合物是首选材料,在两者之间作选择要考虑到传输速度和带宽的折中,因为这两种材料各有优势。聚合物由于折射率较小,这种波导允许有较高的传输速度,但这种波导有个缺陷就是要求有较大的间距,这又会减小带宽密度。一般,硅的损耗为1.3 dB/cm,而聚合物的损耗为1 dB/cm。
　　现如今,IBM提出的集成光聚合物波导技术预计传输损耗将达到0.05 dB/cm。德国Karlsruhe大学、比利时大学等研究机构制造了一种创新型的光波导结构―硅-有机杂化物(silicon-organichybrid,SOH)构成的波导。迄今为止,硅波导的信号传输速率极限是40 Gbit/s,而SOH 波导速率超过了100 Gbit/s。
　　 2.4 接收器
　　接收器由光检测器和TIA(跨阻抗放大器)组成。在接收端先通过一个光滤波器,从波导中提取特定波长的光,并将其传输到光检测器,经光检测器将光信号转换为模拟电流输出,即实现了光到电的转换,在目前的技术条件下,光检测器的输出信号必须送入TIA,将电流放大并转换为数字电压的0和1,后经由电逻辑单元处理。从22 nm节点技术开始,晶体管越来越小的输入电容允许光检测器输出信号不需要TIA放大,这就大大减小了功率的消耗。
　　2007年3月,IBM的研究人员在OFC会议上展示了160 Gbit/s的16通道CMOS光收发器。2008年,Intel宣布了一项在硅光电技术上的研究成果――硅基光电雪崩探测器,它的时钟频率为340 GHz,数据传输速度达到40 Gb/s。NANO公司在OFC/NFOEC 2009展会的技术会议上发表了最新研制的新型的高性能10 Gb/s锗/硅雪崩光电探测器(Ge/Si APD)。
　　
　　3多核光互连的实例分析
　　
　　本节给出片上多核光互连的一个实例―Phastlane[16],并对其进行分析。Phastlane最终目标是在16 nm工艺下,设计出高速缓存一致的多核处理器,将拥有成百上千个核和一个使用多个片上内存控制器且高度交织的主存。
　　
　　整体而言,Phastlane是由光路由器节点构成的一个二维片上mesh结构,本节以64个节点组成的结构为例。图2(a)显示了其中一个节点的构成。节点由2层构成,一层为光层,实现分组在光上的路由,一层为电层,包括处理器核、电缓存和内存控制器。为了清楚,在光的层面上仅显示了输入波导、输出波导及电路的一部分。在路由器东南西北四个方向的输入端口都有一个微环谐振器/接收器,负责接收目的地是本节点或被阻塞的分组。每个输出端口的发送器/调制器负责发送在本地节点缓存或是在输入端口缓存的分组。路由器内部的微环谐振器实现进入路由器的分组的转向操作,即左转或右转。路由器之间采用12根波导相连,如图2(a),其中C0,C1两根波导负责传输路由器控制比特,D0-D9十根波导均采用64路波分复用技术,负责传输除路由器控制比特之外的分组信息。
　　如图2(b)所示,假设S要与D通信,首先源节点S通过XY路由算法预先计算好路径,因为要经过13个中间路由器到达D,那么除控制13个中间路由器外,还要有在目的节点D中的控制信息,共需14组控制比特。控制比特由控制分组在各路由器中进行直走,左转,右转,本地,多播五种操作的比特构成。前三个比特分别路由分组到对应的三个输出端口,本地比特表明路由器是否要为本地节点接收该分组,多播比特表明是多播操作,分组在路由器中的路由就通过设置对应的控制比特实现。每个路由器对应5比特的控制信息,划为一个Group,所有的控制比特平均并交叉地分配于C0和C1中传输。在C0波导中,波长为的组1控制信息对应于路径上第一个路由器,即R1的五个控制比特。当分组从S到达R1的E端口,并且没有其他端口的分组对输出端口W竞争时,具体通信过程将如下进行:所有C0中的比特会被C0波导E端口的微环谐振器/接收器接收,对应R1的Group1控制比特被转换并检测到直走比特已被设置,分组进入路由器沿直线从相应端口输出,同时,被转换并检测到的直走比特会被暂时存储在本地路由器R1中,以防在下一时钟周期分组丢失,要通过使用过的路由控制信息建立一条丢弃信号的返回路径到达源端。在图2(a)中,光层四个角上的大箭头代表返回路径的输入端口和输出端口,与分组穿过路由器的方向相反。分组到达R2,R3,R4,R5,R6时,与上述过程相同。当分组到达R7,检测到右转比特设置,并由解码之后的右转比特控制路由器中对应的微环谐振器谐振,在分组进入路由器后实现分组的右转。分组在R8,R9,R10,R11,R12,R13中的路由过程与R1中相同。最后分组到达目的地D,检测到本地比特设置,接收转换后的本地比特激活D0-D9和C1的微环谐振器/接收器接收整个分组,至此,源S到目的地D的通信过程结束。
　　如果在路由器中两分组要输出到同一端口,此时就要使用固定优先权仲裁,即通过预先约定的固定优先权决定哪个端口的分组先占有输出端口N。对于竞争失败的分组,路由器先通过输入端口的微环谐振器/接收器接收,后将光信号转换为电信号,送入路由器端口的输入缓存中进行缓存,并担负起再次发送该分组的任务。相对于新到的分组,缓存的分组对于输出端口拥有较高的优先权。而对于电缓存中分组对输出端口的竞争,可以通过轮询优先权仲裁解决。
　　如果路由器的电缓存已满,那么被阻塞的分组会被当前路由器丢弃,下一时钟周期,在返回路径的输出端口发送一个分组丢弃的信号和该路由器的ID号,通知源端分组丢弃的信息。源端收到信息后,采取相应措施,如退避、重发。
　　以上是单播的通信过程描述,在Phastlane中若要进行多播或是广播,可以通过设置分组中的多播控制比特来实现。
　　通过以上分析,可以得出Phastlane具有以下特点:①由于使用了光路由器结构和简单的源维序路由算法,降低了路由时延,实现了高速传输;②鉴于光缓存实现困难,采用电缓存解决竞争失败问题;③为了降低实现和控制的复杂度,在缓存不可用时只是简单地将分组丢弃。
　　
　　4总结
　　
　　随着集成电路技术的发展,多核系统会达到成百上千个核,全局连接将成为性能改善的主要瓶颈,于是,高性能、低能耗的片上光连接应运而生。多核之间的光互连消耗较少的片上能量却可以提供高带宽的应用,是一种很有前景的连接方式,不少光网络的提出就证明了这一点。同时,光器件的研究与发展也将促使相关光网络的实现成为可能。
　　
　　参考文献
　　[1] Borkar, S. Thousand Core Chips―A Technology Perspective. in DAC. USA: ACM. 2007.
　　[2] Horowitz, M. and W. Dally. How scaling will change processor architecture. in Solid-State Circuits Conference,Digest of Technical Papers. ISSCC. 2004 IEEE International. 2004.
　　[3] Agarwal, A. and M. Levy. The KILL Rule for Multicore. in Design Automation Conference, 2007. DAC "07. 44th ACM/IEEE. 2007.
　　[4] Geer, D., Chip Makers Turn to Multicore Processors. (Industry Trends).2005.
　　[5] Dally, W.J. and B. Towles. Route packets, not wires: on-chip interconnection networks. in Design Automation Conference. 2001.
　　[6] Hemani, A., A. Jantsch, S. Kumar, A. Postula, J. Oberg, M. Millberg, and D. Lindqvist. Network on a Chip: An architecture for billion transistor era. in Proc.IEEE NorChip Conference. 2000.
　　[7] Benini, L. and G. De Micheli, Networks on chips: a new SoC paradigm. Computer,35(1): p. 70-78.2002.
　　[8] Jantsch, A. and H. Tenhunen, Networks on Chip.Kluwer Academic Publishers. 2003,
　　[9] Srivastava, N. and K. Banerjee. A Comparative Scaling Analysis of Metallic and Carbon Nanotube Interconnections for Nanometer Scale VLSI Technologies. in the 21st International VLSI Multilevel Interconnect Conference(VMIC). 2004.
　　[10] Joshi, A., C. Batten, K. Yong-Jin, S. Beamer, I. Shamim, K. Asanovic, and V. Stojanovic. Silicon-photonic clos networks for global on-chip communication. in 3rd ACM/IEEE International Symposium on Networks-on-Chip. 2009.
　　[11] Pan, Y., P. Kumar, J. Kim, G. Memik, Y. Zhang, and A. Choudhary. Firefly: Illuminating Future Network-on-Chip with Nanophotonics. in ISCA. Austin,Texas,USA: ACM. 2009.
　　[12] Vantrease, D., R. Schreiber, M. Monchiero, M. McLaren, N.P. Jouppi, M. Fiorentino, A. Davis, N. Binkert, R.G. Beausoleil, and J.H. Ahn. Corona: System Implications of Emerging Nanophotonic Technology. in 35th International Symposium on Computer Architecture,ISCA "08. 2008.
　　[13] Shacham, A., K. Bergman, and L.P. Carloni. On the Design of a Photonic Network-on-Chip. in First International Symposium on Networks-on-Chip. 2007.
　　[14] Woodward, T.K. and A.V. Krishnamoorthy, 1-Gb/s Integrated Optical Detectors and Receivers in Commercial CMOS Technologies. IEEE journal of selected topics in quantum electronics,Vol.5,No.2.1999.
　　[15] Tatum, J. VCSELs for 10 GB/s Optical Interconnects. in Broadband Communications for the Internet Era Symposium digest, 2001 IEEE Emerging Technologies Symposium. 2001.
　　[16] J.Cianchetti, M., J. C.Kerekes, and D. H.Albonesi, Phastlane: A Rapid Transit Optical Routing Network, in ISCA. 2009, ACM.