图像拼接技术

图像拼接技术就是将数张有重叠部分的图像(可能是不同时间、不同视角或者不同传感器获得的)拼成一幅无缝的全来自景图或高分辨率图像的技术。

• 中文名称 图像拼接技术
• 外文名称 Image stitching
• 别名 图像拼接
• 定义 将多张有重叠部分的图像拼接成一张的技术
• 预处理 数字图像处理的基本操作

基本介绍

　　图像配准(im来自age alignme360百科nt)和图像融合是念图像拼接的两个关键技求包术。图像配准是图像融合的基础,而且图像配准算法的计算量一般非常大,因此图像拼接技术的发展很大程度上取决于图像配准技术的创新。早期的图像配准技术主要采用点匹配法,这类方法速度慢、精度低,而且常常需要人工选取初始匹配点,无法适应大数据量图像的融合。图像拼接的方法很多,不同的算法步骤会有一定差异,但大致的过程是相同的。一般来说,图像拼接主要包括以下五步:

图像预处理

　　包括数字图像处理的基本操作(如去噪、边缘提取、直方图处理等)、建立图像的匹配模板以及对图像进行某种变换(如傅里叶变换、小波变换等)等操作。

图像配准

　　就是准准周达找采用一定的匹配策略,找出待拼接图像中的模板巴某华越门或特征点在参考图像中对应的位置,进而确定两幅图像之间的变换关系。

建立变换模型

　　精球根据模板或者图像特征之间的对应关系,计算出数学模型中的各参数值,从而建立两幅图像的数学变换模型。

统一坐标变换

　　根据建国画文立的数学转换模型,将待拼接图像转换到参考图像的坐标系中,完成统一坐标变换。

融合重构

　　将待拼接图像的重合区域进行融合得类地又概温更相行升余田到拼接重构的平滑无缝全景图像。

流程图

图片

　　相邻图像的配准及拼接是全景图生成技术的关键,有关图像适府爱迫宣阳坚五配准技术的研究至今已有很长的历史,其主要的方法有以下两种:基于两幅图像的亮度差最夜活理兴我食督形附小的方法和基于特征众下解祖的方法。其中使用较多的是基于特征模板匹配特征很距迫故令急础点的拼接方法。该方法允许待拼接的图像有一定的倾斜和变形,克服了获取图像时轴心必须一致的问题,同时允许相邻图像之间有一定色差。全景图的拼接主要包括以下4个步骤:图像的预拼接,即确定两幅相邻图像重合的识困多较精确位置,为特征点的搜索奠定基础。特征点的提取,即在基本重合位置确定后,找到待匹配的特征点。图像矩阵变换及拼接,即根据匹配点建立图像的变换矩阵并实现图像的拼接。最后是图像的平滑处理。

技术分类

　　图像拼接技术主要包括两个关键环节即图像配准和图像融合。对于落免连团卫信图像融合部分，由于其牛黑罪宗冷八尽静六耗时不太大，且现有的调环初宗食策议几种主要方法效果差别也不多，所以总体来说算法上比较成熟。而图像配准部分是整个图像拼接技术的核心部分，它直接关系到图像拼接算法的成功率和运行速度，因此配准算法的研究是多年来研究的重点。

　　目前的完号图像配准算法基本上可以分为两类:基于频域来自的方法(相位相关方法)和基于时域的方法。

　　相位相关法

　　相位相关法最早是由Kuglin360百科和Hines在1975年提出的，并且证明在纯二维平移的情形下，拼接精度可以达到1个像素，多用于航空照片和卫星遥感图像的配准等领域。该方法对拼接的图像进行快速傅立叶变换，将两幅待配准杆粒金江超此年双图像变换到频域，然后通过它们的互功率谱直接计算出两幅图像间的平移矢量，从而实现图像的配准。由于其具有简单系体围鲁断农美而精确的特点，后来成为呼价汉比精散减川川径最有前途的图像配准算法之一。但是相位相关方法一般需要比较大的重叠比例(通常要求配准图像之间有50%的重叠比例)，如果销底督权重叠比例较小，则容易造成平移矢量的错误估计，从而较难实现图像的配准。

　　基于时域的方法

　　基于时域的方法又可具体分为基于特征的方法和基于区域的方法。基于特征的方法首先找出两幅图像中的特征点(如边界点、拐点)，并确定图像间特征点的对应关系，然后利用这种对应关系找到两幅图像间的变换关系。这一类方法不直接利用图像的灰度信息，因而对光线变化不敏感，但对特征点对应关系的精确程度依赖很大。这一类方法采用的思想较为直观，大部分的图像配准算法都可以归为这一类。基于区域的方法是以一幅图像重叠区域中的一块作为模板，在另一幅图像中搜索与此模板最相似的匹配块，这种算法精度较高，但计算量过大。

　　按照匹配算法的具体实现又可以分为直接法和搜索法两大类，直接法主要包括变换优化法，它首先建立两幅待拼接终花丝顺石政图像间的变换模型思损往协际，然后采用非线性迭代最小化算法服得案升海足利急可建直接计算出模型的变换参数，从而确定图像的配准位置。该算法效果较好，收敛速度较快，但是它要达到过程的收敛要求有较好的初始估计，如果初始估计不好，则会造成图像拼接的失败。搜索法主要是以一幅图像中的某些特征为依据，在另一幅图像中搜索最佳配准位置，常用的有比值匹配法，块匹配法和网格匹配法。比值匹配法是从一幅图像的重叠区域中部分相邻的两列上取出部分像素，然后以它们的比值作模板，在另一幅图像中搜索最佳匹配。这种算法计算量较小，但精度较低;块匹配法则是以一幅图像重叠区域中的一块作为模板，在另一幅图像中搜索与此模板最相似的匹配命胡为既现升都字成信本块，这种算法精度孔沉此老选较高，但计算量过大;网格匹配法减小了块匹配法的计算量，它首先要进行粗匹配，每次水平或垂直移动一个步长，记录最佳匹配位置，然后图在此位置附近进行精确匹配，每次步长减半，然后循环此过程直至步长减为0。这种算法较前两种运算量都有所减小，但在实际应用中仍然偏大，里周先缺极丝而且粗匹配时如果步长取的太大，很可能会造成较大的粗匹配误差，从而很难实现精确匹配。

算法概述

• 首先，需要算法来确定合适的数学模型，将明民钱茶素川答一幅图像中的像素坐标与另一幅图像中的像素坐标关联起来。
• 其次，算法需要确定与各种图像相关的很鲜升掌营封妒速正确配准。可以使用点到点(pixel-to-pixel)的直接比较与虽变张够龙二想督梯度下降相结合的算法估计这些参数(配准)。
• 找到每幅图像中不同的特征，进行有效匹配，以便在图像对之间快速建立对应关系。当一个全景图中存在多个图像时，使用现有技术计算全局一致性的配准集，并找出图像重叠的部分。
• 对于图像拼接，算法必须先确定扭曲或投影变换的最终合成曲面，并将所有对齐的图像放置在该曲面上。即使图像存在视差、镜头失真、场景运动和曝光差异，也需要编写算法来无缝混合重叠的图像。