多模态医学图像融合_基于多小波变换域特征的多模态医学图像融合

　　摘要：多小波是小波理论的扩展，在图像处理方面具有单小波所不具有的优点。它能够为图像提供一种比小波多分辨率分析更加精确的分析方法。在研究了多小波变换域上同一尺度多个子带间相关性、子带内相邻系数的相关性以及能量的低聚性的特性后，提出了一种基于离散多小波变换域特征的融合方法，并将不同模态的医学脑部CT图像和MR图像利用此方法进行融合，相比于传统小波域内的图像融合方法。该方法不仅能够完好地显示源图像各自的信息，很好地将源图像的细节融合在一起，而且得到的融合图像具有更良好的视觉效果和更优的量化指标，体现出更好的融合效果。
　　关键词：多模态医学图像；图像融合；离散多小波变换
　　中图分类号：TP751文献标识码：A文章编号：1009-3044(2007)18-31709-03
　　Fusion of Multimodality Medical Image Based on Field Features of Multiavelet Transform
　　QI Jing-Jing,HUANG Cai-Xia
　　(Electronic Information Engineering College,Henan University of Science&Technology,Luoyang 471003,China)
　　Abstract:Multiwavelet is an extension from wavelet theory,and has several particular advantages in comparison with scalar wavelets on image processing.Multiwavelet analysis can offer a more precise way for image analysis than wavelet multi-resolution analysis.In this paper,we research the characteristics of the strong correlativity among sub-images and the correlativity among neighboring coefficient of sub-image and the energy converging to the lowestsub-images of multiavelet transform and give a fusion method based on fields features of discrete multiavelet transform.In the experiment,we have obtained the fused picture of multimodality medical image of brain CT and MR by applying this image fusion methed.Comparing with fused methed by means of wavelet transform and evaluating them in way of objective and subjective performance,we can draw the conclusion that this method can fuse details of input images successfully,and it can perfectly disply information of the each input image ,therefore using this image fusion method can get more satisfactory result than using others.
　　Key words:Multimodality Medical Image;Image Fusion;Discrete Multiwavelet Transform
　　
　　1 引言
　　
　　随着医学影像学技术的发展，CT、MRI、PET、SPECT等多种成像模式的影像技术广泛地应用于临床诊断和治疗中。医疗诊断人员利用这些设备由于成像原理的差异，不同模式的医学影像反映的人体生理解剖特征信息各有侧重，并存在各自的适应范围和优缺点。医疗诊断人员利用这些成像设备的不同特点，不同成像技术对人体同一解剖结构所得到的形态和功能信息是互为差异、互为补充的多种模态医学图像信息综合起来，在一幅图像上同时表达来自多种模态的影像信息，进行信息互补，提供更加全面的反映生理、病理变化的形态和功能信息,从而可以为临床提供更加全面有效的诊断信息，进一步提高诊断和治疗的可靠性。
　　目前基于小波域的图像融合技术在医学领域得到了广泛的研究，它所具有的空间和频域的局部转换，能有效地从图像中提取信息，达到高频处时间细分，低频处频率细分，可以聚焦到图像的任意细节的特性，取得了很好的融合效果[1~3]。多小波是单小波的扩展，可以同时具有紧支撑性、光滑性、对称性和正交性等性质，这些性质对于图像分析和处理是非常重要的，正交性保持能量；对称性适合人眼的视觉系统；使图像边界易于处理。但是实系数单小波则不能同时具有这些性质，所以多小波在图像分析和处理方面具有单小波所不具有的优点，它能够为图像提供更加精确的分析方法，也更适合运用到图像融合中去[4]。
　　
　　2 多小波变换
　　
　　多小波与单小波一样也是基于多尺度分析思想(MRA)，不同的是多小波基是由r个小波母函数经过平移伸缩生成，在实际应用中可以把光滑性、紧支性、对称性等完美地结合在一起。可写成向量形式[5] ?鬃(t)=[?鬃1(t),?鬃2(t)…,?鬃r(t)]T，相应地有r个尺度函数 ?准(t)=[?准1(t),?准2(t)…,?准r(t)]T。当r=1时，?鬃(t)就是标量小波，即单小波。同时，用于单小波的传统滤波器组可扩展为矢值滤波器组，矢值滤波器组中处理的对象是矢值信号。?鬃(t)和?准(t) 满足下列二尺度方程：
　　经过预滤波后,原始图像被分为4幅大小相同的子图像。二维图像的离散多小波变换过程与单小波变换过程类似,但由于有多个尺度(小波)函数存在,与图像的单小波变换后的一个子图像相对应,在多小波变换后有r2个子图像。在第1层多小波变换时,经过2个小波分别进行低通滤波和高通滤波后,原始图像变为16个子图像,如图2所示。
　　图2 第1层离散多小波变换示意图
　　设LiHj表示图像在水平方向经过第j个小波的高通滤波和在垂直方向经过第i个小波的低通滤波。
　　图像经过单小波变换后只生成一个低频子图像,而在多小波变换中则得到一个低频图像块,由4幅子图像组成,即：
　　在进行第2层变换时,类似单小波变换,只是将低频部分进一步地变换,高频部分保持不变。以此类推。变换完成后,只有最高层的4个低频子图像是完全的低频图像,其余子图像中均含有高频成份。S级多小波变换可将图像分解为r2(3S+1)个子图像。
　　对变换后的图像执行多小波变换的逆运算可重构出图像。经过离散多小波重构后的图像实际上还是矢量图像,还需要经过后滤波器处理才能还原成图像原来的结构,这个处理步骤称为后滤波。经过后滤波的处理,图像才完全被重构。
本文为全文原貌 未安装PDF浏览器用户请先下载安装 原版全文 　　3 基于多小波变换域特征的图像融合
　　基于小波变换域的图像融合是根据一定的融合规则对变换域内的所有尺度上各子带内的信息进行综合处理，将来自不同源图像的信息有效地融合在一起。变换域融合规则的选择直接影响融合的质量。图像经过多小波变换后有如下特征[7,8]：
　　(1)绝大部分(97%以上)能量都集中在最低分辨率的子图像LL上；
　　(2)变换域在同一尺度上包含多个子带图像，这些子带共同描述了原图像在该尺度上的特征表现，因此同一尺度,不同方向的子带图像之间具有相关性，而且同方向、不同尺度的子带图像之间具有相似性;；
　　(3)变换域的子带内系数之间存在较强的空域聚焦特性，即相邻系数之间具有一定的相关性。
　　综合考虑多小波变换域上同一尺度多个子带间较强的相关性、子带内相邻系数的相关性以及能量低聚性的特性，变换域的特征提取和融合应该联合多个子带进行，在确定某一变换系数的性质时，将其相邻系数的信息考虑在内，利用该系数的邻域特征来进行变换域内的特征提取和融合，因此采取一种基于尺度内多个子带联合的融合规则，进行图像融合。以两幅图像的融合为例，设A,B为待融合原始图像，F为融合后的图像，其融合处理的基本步骤如下：
　　(1)对空间已配准的源图像A，B分别进行预滤波和多小波分解，得到变换域的低频分量(源图像的近似信息)LiLj和高频分量(源图像的细节信息)LiLj、HiLj和HiLj，其中i，j取值为1或2。
　　(2)对于变换域的四个低频子带信息，大小为J×K ，采用能量加权算子进行融合，如下：
　　此处,M、N分别为所取邻域的行数与列数;xi,j表示当前邻域中心像素灰度值;x是当前邻域像素的灰度均值。
　　(4)对融合得到的多分辨图逐层进行离散多小波的逆变换,再对逆变换结果进行后滤波处理即可得到融合后的图像。
　　融合算法示意图如下：
　　图3 基于离散多小波变化图像融合算法示意图
　　
　　4 实验结果分析
　　
　　将上述图像融合方法用于医学图像融合实验。源图像采用已配准好的医学脑部CT图像和MR图像(大小为256×256)，实验选取GHM和CL多小波，为了进行对比，同时选取了bior2.4单小波变换进行融合实验,实验结果如图4：
　　图4 CT和MR的融合结果的图像
　　在图4中，图像(a)和(b)分别为已配准好的脑部CT和MR图像；图像(c)是利用基于bior2.4单小波变换得到的融合图像；图像(d)和(e)是基于多小波变换得到的融合图像，分别选用CL和GHM多小波进行变换；图像(f)是利用CL多小波变换得到的融合图像，低频的融合算子采用像素平均。
　　目前，对于融合图像质量的评价还没有一个全面、客观和统一的标准，主要是依靠观察者的主观感觉，如图像是否清晰、特征是否突出显示等，从而判断图像融合方法性能的优劣。为了对融合图像进行定量的分析，采用平均交叉熵、清晰度和峰值信噪比来进行对比，结果如表1所示：
　　表1 医学图像不同融合方法的质量评价结果
　　表1中，图像(d)、(e)分别和图像(c)、图像(f)相比，峰值信噪比相当，但平均交叉熵较小和清晰度较大，表明在融合过程中信息损失更少，细节保留较多，图像更清晰；从主观上看，图像(d)、(e)较图像(c)清晰，明显清晰于图像(f), 达到主观与客观评价相一致, 同时也说明基于多小波变换的融合效果优于基于单小波变换的融合效果，充分体现了多小波变换域上同一尺度多个子带间较强的相关性、子带内相邻系数的相关性以及能量的低聚性的特性，证实了本文提出的基于多小波变换域的融合方法的有效性和相对的优越性。
　　
　　5 结论
　　
　　多小波是单小波的扩展，可以同时具有紧支撑性、光滑性、对称性和正交性等性质，这些性质使它能够为图像提供更加精确的分析方法。本文利用多小波变换域上同一尺度多个子带间较强的相关性、子带内相邻系数的相关性以及能量的低聚性的特性，采取一种基于尺度内多个子带联合的融合方式，对变换域上的四个低频子图选用能量加权算子，变换域上的高频子图选用基于邻域特征对CT和MR不同模态的医学图像进行像素级融合。通过与其他融合方法相比，该方法不论在视觉效果还是客观量化指标上，都体现出优良的融合效果。
　　
　　参考文献：
　　[1]Mattlat S G.A theory for multiresolution signal decomposition:The wavelet representation[J].IEEE Transaction on Pattern Analysis and Machine Intelligence,1989,11(7):679-693.
　　[2]Lallier E.Real-time pixel-level image fusion through adaptive weight averaging[R].Canada:Technial Report.Royal Military Collage of Canada,1999.
　　[3]Toet A.Hierarchical image fusion[J].Machine Vision and Application,1990.3(2):1-11.
　　[4]StrelaV,HellersPN,StrangG.The application of multiwavelet filter banks to signal and image processing[J].IEEE Transaction Image Processing ,1999,8(4):548-563.
　　[5]Goodman T N T,Lee S L.Wavelets of multiplicity[J].Trans on Amer Math Soc,1994.342:307-324.
　　[6]Strela V. Multiwavelets: theory and application [D]. Department of Mathematics, Massachusetts Institute of Techno logy, Massachusetts, USA, 1996.
　　[7]宫铭举,王汝霖,李国新.基于CL多小波与SOFM的图像矢量量化[J].计算机应用研究,2005(8),238-240.
　　[8]黄卓君,马争鸣.多小波图象变换的统计分析[J].中国图象图形学报,2001, 6A(12),1198-1203.
　　注：本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文。
本文为全文原貌 未安装PDF浏览器用户请先下载安装 原版全文