一、引言
图像融合是将两个或两个以上的传感器获得的图像信息进行综合以便形成一幅数据更精确、更丰富的图像。图像融合由低到高分为三个层次：像素级融合，特征级融合和决策级融合。小波变换是目前图像融合中比较常用的方法，研究表明，在高维情况下，小波变换并不是最优的函数表示方法。为了更加有效地表示和处理图像等高维空间数据，研究者先后提出了Ridgelet，Curvelet，Bandelet，Contourlet和小波-Contourlet等一系列多尺度几何分析工具。这些方法的提出，为图像融合领域构造更多、更有效的融合方法奠定了基础。
小波变换和Contourlet变换是目前进行图像融合的两个主要和常用工具。小波变换在理论上和实际应用上都比较成熟，一直是图像融合的常用工具，但只能获得水平、垂直和对角三个方向的信息。Contourlet变换可以弥补小波变换方向有限性的缺陷，可以获得图像任何方向的信息。同时小波变换和Contourlet变换对图像进行处理的方式类似，即将图像分解成低频和高频部分，分别在低频和高频中进行图像融合。因此可以将小波变换和Contourlet变换结合使用以提高图像的性能。
图像融合的研究不仅包括算法的研究，还包含融合规则的研究。融合规则现在一般选择区域（或者加窗）融合规则。因为低频主要反映图像的能量信息，而高频反映图像的边界信息，即变化程度。方差也是反映图像像素点间的整体变化。因此本文在高频部分选择区域方差选择加权平均的融合方法。
二、小波-Contourlet变换
1.小波变换
1989年，Mallat在Burt和Adelson的图像分解与重构金字塔算法(即高斯－拉普拉斯金字塔算法)的启发下，将计算机视觉领域内的多尺度分析思想引入到小波分析中，提出了多分辨分析的概念，给出了Mallat快速算法。
二维Mallat算法可以表达为：
（1）
式中为空间分辨力上的低频成分，、、分别为空间分辨率上的水平、垂直和对角方向上的高频成分。为整数集，，是构成的镜像共轭滤波器。
2.Contourlet变换
由于小波变换不能很好地表示图像的方向信息。2002年，Do和Vetterli提出了Contourlet变换。Contourlet变换是一种多分辨率的、局域的和方向性的图像表示方法。它可以提供任意方向上的信息，是一种二维图像的稀疏表达。Contourlet变换采用双通道滤波器组，主要分两步骤对图像进行处理：
①采用拉普拉斯金字塔（LP）对输入图像进行分解，LP分解包括四个步骤：低通滤波、降采样、内插放大和带通滤波。对低频子带继续进行LP分解，可以得到低频和一系列不同尺度上的高频子带。
②对LP分解所得到的高频使用方向滤波器组进行方向性分析。方向滤波器组的目的是捕获图像的方向性高频信息，将同方向上的奇异点合成为一个系数。
方向滤波器组对图像进行级的树状结构分解，将频域分解成个子带，每个子带呈楔型。该方法先采用图一所示的扇形滤波器和五株采样滤波器，将输入的图像分解成水平和垂直两个子带，再引入Shearing重采样算子带。
图一 滤波器组（扇形滤波器和五株采样滤波器）
图一中代表五株采样矩阵，黑色扇形区域代表每个滤波器对应的理想频域分解。
3.小波-Contourlet变换
Contourlet变换第一级采用的LP分解具有冗余性，导致Contourlet变换有4/3的冗余。另外LP分解的去相关性也没有小波变换好。针对以上问题，Eslami R和Radha H提出了小波-Contourlet变换。小波-Contourlet变换由两级滤波器组构成，第一级采用小波变换进行分解，获得图像的高频分量，从而减小了各子空间细节信息的相关性；第二级采用方向滤波器组，得到高频各个方向上的子带。如图二所示：
图二 小波-Contourlet变换示意图
三、基于方差选择平均融合算法
本文给出的融合算法步骤如下：
①对左侧模糊图像和右侧模糊图像分别进行小波-Contourlet变换，得到源图像的低频部分和高频部分；
②低频部分采用简单的加权平均融合规则。
图像经小波-Contourlet变换后，低频系数主要集中了原始图像的大部分能量，决定了图像的概貌。本文对低频子带系数采用加权平均的融合规则。
③高频部分采用方差选择加权平均的融合规则。
图像经小波-Contourlet变换后，高频系数主要包含了图像的细节信息和边缘信息。每一个高频子带系数体现了方向特征。本文采用基于方差选择平均的融合算法，融合规则如下：
首先，求出左侧模糊图像和右侧模糊图像的高频子图像的各分解层，各方向上对应像素的局部方差，分别记为：，。公式见（2）式：
（2）
然后进行归一化处理：
（3）
（4）
定义一个阈值：，本文取进行仿真。则有：
（5）
（6）
其中，、、 分别表示融合图像、图像和图像在第分解层和方向上的像素值。由公式（5）、（6）可看出，当图像A和B归一化后的局部方差值差别较大时，说明一幅图像含有丰富的边缘细节信息，而另一幅图像含有较少的边缘细节信息，此时选择局部方差较大的像素值作为融合后的系数；当两幅图像，归一化后的局部方差接近时，说明两幅图像都含有丰富的边缘细节信息，此时采用加权平均融合算法确定融合后的小波系数。这样既可以保留图像的细节特征，又避免了信息丢失。
④进行小波-Contourlet反变换，得到最终融合图像。
具体过程如图三所示。
图三 小波-Contourlet变换图像融合框图
四、融合评价指标与实验结果分析
为了验证本文提出的算法的有效性，在相同的融合规则下，将它与小波变换、Contourlet变换进行融合对比。采用db5小波对图像进行分解和重构。阈值取0.6。
为了对融合图像进行客观评价，选取了一幅清晰的灰度图像作为参考图像。并采用融合图像和参考图像的交叉熵、偏差、空间频率作为评价融合效果优劣的客观标准。
1.交叉熵
融合图像和标准参考图像的交叉熵定义为：
(7)
式(7)中，和分别为和灰度值为的概率。为图像总的灰度级。交叉熵也称作相对熵，是评价两幅图像差异的关键指标。交叉熵越小，说明和之间的差异越小，从中提取的信息越多，即融合图像的效果更好。
2.偏差
和的偏差定义为：
(8)
式(8)中，分别表示和的灰度值。偏差的大小表示和灰度值的差异。偏差越小，融合效果越好。
3.空间频率
图像的空间频率为：
(9)
（9）式中为图像的行频率，其计算公式见（10）式：
(10)
（9）式中为图像的列频率，其计算公式见（11）式：
(11)
上式中表示像素位置处的灰度值，和分别表示图像的行数和列数。
图像的空间频率是与方差相关的指标，反映了一幅图像空间域的总体活跃程度。空间频率越大，图像就越活跃，越清晰，图像的融合效果就越好。
图四给出了融合实验结果。图四(a)为标准参考图像，图四 (b)为左侧经高斯滤波模糊的待融合图像，图四 (c)为右侧经高斯滤波模糊的待融合图像，图四 (d)为小波变换后的融合图像，图四 (e)为Contourlet变换后的融合图像，图四 (f)为小波-Contourlet变换后的融合图像。
(a)标准参考图像 (b)左侧模糊的待融合图像 (c)右侧模糊的待融合图像
(d)小波选择平均 (e)Contourlet选择平均 (f)小波-Contourlet选择平均
图四 不同算法的融合图像效果比较
三种变换进行融合的性能评价数据见表1。
表1 三种融合变换的性能比较数据分析
从表1可以看出，小波-Contourlet变换和小波变换相比，空间频率比小波变换增大了11.27%，偏差比小波变换降低了10.84%，交叉熵比小波变换降低了23.81%。
小波-Contourlet变换和Contourlet变换相比，空间频率两者几乎一样。偏差比Contourlet变换降低了1.91%，交叉熵比Contourlet变换降低了11.11%。故综合考虑各评价指标，验证了本文提出算法的有效性。
五、结束语
本文提出对高频系数采用区域方差选择加权平均的改进算法，对低频采用加权平均处理。通过实验表明，本文算法可以更方便地获取图像的细节和边缘信息。根据实验数据也可以知道，小波-Contourlet变换的偏差、交叉熵都比小波变换，Contourlet变换的低。
因此，在相同融合规则下，基于小波-Contourlet变换的区域方差选择加权平均的图像融合算法能够获得比小波变换，Contourlet变换融合算法更理想的结果。