图像修复
|
问 题  |
|
提问者:
|
[学生] |
提问时间:
|
[2010-6-12] |
|
|
解 答  |
|
|
|
|
|
|
|
|
目前,国内外对图像修复技术的研究主要集中在这几个方面:基于像素操作的方法、基于块操作的方法和基于图像分解的方法。
1)基于像素操作的算法。这类算法的处理对象是像素点,比较适用于修复小面积破损区域,主要包括:变分PDE模型、基于邻域模板及插值的算法等。
其中,变分PDE模型又可以分为两种:变分模型和偏微分方程模型。变分模型的主要思路是模仿修补师手工修复图像的过程。修补一幅缺损图像主要依赖于两个因素:①图像的现存部分,也就是需要建立图像的数据模型(data model);②原始图像,也就是需要知道图像的先验模型(image prior model),即原始图像属于哪类图像。通过建立图像的先验模型和数据模型,就可以将修复问题转化为一个泛函求极值的变分问题。这类算法主要包括整体变分(total variation,TV)模型、Euler’s elastica修复模型、Mumford-shah-Euler修复模型等;另外,偏微分方程(PDE)模型的主要思路是利用待修复区域的边缘信息,估计等光照线(isphoto)的方向,并采用传播机制将信息沿等光照线传播到待修复区域内,这类算法主要包括BSCB模型、Chan-Shen的基于曲率驱动扩散的修复模型[19](curvature driven diffusions,CDD)等。
另外一类是基于邻域模板或插值的算法,这类算法不采用循环迭代来求得待填充点的值,而是将其领域点的值套用模板或代入插值公式,直接计算得到待填充点的值,这类算法主要包括:根据邻域现存像素,采用插值的方法来计算缺损处的像素值[7];或者是通过定义修复区域像素点的优先值,对优先值最高的点,利用一个以待修复点为圆心的模板,并筛选模板内与待修复点在同一等光照线上的已知点,并以该已知点与圆心的距离为权值,计算出待修复点的值;另外,比较常见的还有利用去噪的方法,采用邻近像素点的信息对图像的每一个像素点进行噪声检验,若是噪声点则进行完全代替其值,若是非噪声点则保持原像素值不变,视被腐蚀程度而定,利用加权方程计算出最终像素值。
2)基于块操作的算法。这类算法的处理对象是图像块,例如、的块,比较适用于修补丢失面积较大的破损区域,主要包括:基于样本的修复算法、基于纹理合成的修复算法等;
其中,基于纹理合成的图像修复算法将纹理合成技术应用于图像修复领域,主要包括两种方法:非参数取样的纹理合成算法[28]和基于块拼贴的纹理合成算法[29]。其中,非参数取样的纹理合成算法是以Markov随机域(MRF)为模型,进行非参数特征匹配。该算法由初始的种子块,由内到外逐点扩散纹理[25]。将此技术用于图像修补的主要思想是选择一个待修复点,根据其周围未丢失的或已合成的纹理点的值来计算待修复点的值,在待修复区域中逐点计算修改,直到整幅破损图像都被修复完成。另外一个是基于块拼贴的纹理合成算法[29],该算法在纹理合成的时间及视觉效果方面都得到了很大的提高,解决了纹理元错位严重及容易产生模糊等问题。将此技术应用于图像修复的主要思想是,从待修复区域的边界上选取一个像素点,以该点为中心,根据图像的纹理特征,选取大小合适的纹理块,然后在图像未丢失的源区域中寻找与之最匹配的纹理块,来填补该纹理块的未知部分。
另外,基于样本的修复算法的主要思想是,首先得到破损区域的填充前缘,计算填充前缘上所有点的优先值;然后选取优先值最大的点,按照一定大小的模板,在图像源区域中,搜索与模板中已知部分的均方误差最小的块;最后传播纹理及结构信息并更新置信度。它结合了变分PDE模型和纹理合成两种方法的优点,因为真实世界的情景照片通常是由线性结构和复合纹理组成的,不同图像区域之间的边界是不同纹理之间相互影响的复杂的产物,这些边界形成了可以被更多地考虑成一维或线性、图像结构的东西[3],所以单一纹理合成方法不能解决这样的问题;另外,变分PDE模型是通过扩散把线性结构传播到目标区域来填补图像中的空洞,扩散过程引发了一定的模糊,当填充更大的区域时,变分PDE模型引起的模糊就变得更为明显。基于样本的图像修复算法包括了既复制纹理又复制结构的必要过程,纹理和结构信息的同时传播由一个单独的、有效的算法实现。
3)图像分解的修复算法,该算法主要思想就是首先采用S.Osher和L.Vese[23]的数学方法分解图像,即用整体变分最小化的方法,提取出图像的结构部分,继而用一个震动函数来建模纹理或噪声部分[25],最终将图像分解为结构部分和纹理部分;然后采用适合修补图像线条、边缘等的算法来修复图像的结构部分,例如BSCB算法,而采用纹理合成方法来修复图像的纹理部分,即将丢失的纹理块用图像源区域中的相似纹理合成;最后把这两部分修复的结果叠加起来,就是最终的修复结果。
近年来也出现了其他的图像分解方法,例如文献[24]利用DCT变换后处理高频系数和低频系数,反变换后就可以将图像分解为:Cartoon层、Edge层、Texture层,Cartoon层和Edge层采用自适应偏心算子修复[26],Texture层采用纹理合成方法修复。文献[27]首先用离散小波变换把图像分解为高频成分与低频成分,对图像不同频率的成分分别进行修补。图像的低频部分采用中值滤波和基于曲率扩散的方法相结合进行修复。由于高频部分表示图像的边缘轮廓信息,并且有很强的方向性,对高频图像数据先进行分块,用线性拟合求出每一块的方向,再根据方向信息进行修复。
|
解答人:[王慧琴老师] 解答时间:[2010-6-14]
|
|
|
|
|
|
| |
|