鱼眼镜头图像校正方法及装置的制造方法
鱼眼镜头图像校正方法及装置的制造方法
【技术领域】
[0001] 本发明涉及数字图像处理技术领域，尤其涉及一种鱼眼镜头图像校正方法及装 置。
【背景技术】
[0002] 鱼眼镜头是一种超广角镜头，视角通常能达到或超过180度，镜头直径很短且呈抛 物状向镜头前部凸出，和鱼的眼睛类似故名鱼眼镜头。鱼眼镜头在视频监控、虚拟现实、三 维建模、视觉导航领域有广泛的应用。但是鱼眼镜头将半球形物面成像为平面，所以鱼眼镜 头所拍摄的图像严重畸变，视觉上感受非常不自然，因此需要将这些畸变图像校正为人们 所习惯的透视投影图像。
[0003] 现有技术中恢复图像畸变可以采用鱼眼镜头标定算法，通过建立鱼眼镜头特定的 成像模型，然后用标定装置得到鱼眼镜头的校正参数，最后利用获得的校正参数来校正图 像。通常标定装置需要相应的标定模版，以及利用鱼眼镜头对所述标定模版进行拍摄，根据 拍摄的图像来得到鱼眼镜头的校正参数，标定模版如平面黑白棋盘。但是通常鱼眼镜头对 所述黑白棋盘拍摄的图像中，黑白棋盘不能布满整个拍摄的图像，导致标定装置得到的校 正参数未必是全局最优的，因此基于鱼眼镜头标定后的校正图像可能会严重扭曲。
【发明内容】
[0004] 本发明提供一种鱼眼镜头图像校正方法及装置，以克服现有技术中基于鱼眼镜头 标定后的校正图像可能会严重扭曲的问题。
[0005] 第一方面，本发明提供一种鱼眼镜头图像校正方法，包括：
[0006] 根据鱼眼镜头采集到的标定图像，获取鱼眼镜头成像模型的模型参数；
[0007] 根据所述模型参数以及预设约束条件确定鱼眼镜头的有效视角范围；
[0008] 在所述有效视角范围内对鱼眼镜头所采集的鱼眼镜头图像进行校正，得到校正后 的鱼眼镜头图像。
[0009] 第二方面，本发明提供一种鱼眼镜头图像校正装置，包括：
[0010] 获取模块，用于根据鱼眼镜头采集到的标定图像，获取鱼眼镜头成像模型的模型 参数；
[0011] 确定模块，用于根据所述模型参数以及预设约束条件确定鱼眼镜头的有效视角范 围；
[0012] 校正模块，用于在所述有效视角范围内对鱼眼镜头所采集的鱼眼镜头图像进行校 正，得到校正后的鱼眼镜头图像。
[0013] 本发明鱼眼镜头图像校正方法及装置，通过根据鱼眼镜头采集到的标定图像，获 取鱼眼镜头成像模型的模型参数，并根据所述模型参数以及预设约束条件确定鱼眼镜头的 有效视角范围；在所述有效视角范围内对鱼眼镜头所采集的鱼眼镜头图像进行校正，得到 校正后的鱼眼镜头图像，由于标定图像中的黑白棋盘不能布满整个标定图像，因此获取到 的模型参数未必是全局最优的，相比现有技术而言，本发明中在确定模型参数之后，进一步 确定鱼眼镜头的有效视角范围，在所述有效视角范围内对鱼眼镜头所采集的鱼眼镜头图像 进行校正，因此，能够把畸变的鱼眼镜头图像还原为满足人眼视觉效果的透视图像，解决了 现有技术中基于鱼眼镜头标定后的校正图像可能会严重扭曲的问题。
【附图说明】
[0014] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发 明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以 根据这些附图获得其他的附图。
[0015] 图1为本发明鱼眼镜头图像校正方法一实施例的流程示意图；
[0016] 图2为鱼眼镜头坐标系和鱼眼图像平面坐标系的关系示意图；
[0017]图3为本发明鱼眼镜头图像校正装置一实施例的结构示意图。
【具体实施方式】
[0018] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例 中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是 本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员 在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0019] 图1为本发明鱼眼镜头图像校正方法一实施例的流程示意图。图2为鱼眼镜头坐标 系和鱼眼图像平面坐标系的关系示意图。如图1所示，本实施例的方法包括：
[0020] 步骤101、根据鱼眼镜头采集到的标定图像，获取鱼眼镜头成像模型的模型参数；
[0021] 步骤102、根据所述模型参数以及预设约束条件确定鱼眼镜头的有效视角范围；
[0022] 步骤103、在所述有效视角范围内对鱼眼镜头所采集的鱼眼镜头图像进行校正，得 到校正后的鱼眼镜头图像。
[0023] 具体来说，自制平面棋盘标定板，带鱼眼镜头的摄像机对棋盘标定板采集η幅标定 图像，η>>1;在每张标定图像上选取棋盘格的黑白交叉顶点，并且获得该些顶点的世界坐标 系下的坐标和鱼眼镜头坐标下的坐标，并根据该些顶点的坐标以及鱼眼镜头成像模型获取 该鱼眼镜头成像模型的模型参数。
[0024] 如图2所示，OcXcYcZc为鱼眼镜头坐标系，OwXwYwZw为世界坐标系，假设世界坐标 系下一个点?￥(^￥，7￥，2￥)，乂 ￥为?￥在世界坐标系下乂￥轴的坐标值，￥￥为?￥在世界坐标系下 Yw轴的坐标值，Zw为Pw在世界坐标系下Zw轴的坐标值;Pw点在鱼眼镜头坐标系下的坐标为 Pc(Xc，Yc，Zc)，Xc为Pc在鱼眼镜头坐标系下Xc轴的坐标值，Yc为Pc在鱼眼镜头坐标系下Yc 轴的坐标值，Zc为Pc在鱼眼镜头坐标系下Zc轴的坐标值;线段反瓦与鱼眼镜头坐标系的Zc 轴正方向（即@7)的夹角为9;0iXiYiZi为鱼眼图像平面坐标系，f为鱼眼镜头的焦距，Pi 为鱼眼镜头采集的图像上与所述Pc对应的点，假设Pr(a，b)为校正后的图像上与所述Pc对 应的点，令9d为像素点Pi与鱼眼图像平面坐标系原点0i的距离;a和b分别为该Pr点在鱼眼 图像平面坐标系下的水平(Xi轴)和垂直(Yi轴)坐标(空间实际坐标值）；r为Pr到Oi的距离。
[0025] 鱼眼镜头成像模型有如下几种：
[0026] [1]化=2々/'tan($);用于体视投影（stereographic projection)，使用很少；
[0027] [2]化=2#/sin(·^);用于等立体角投影（equisolid angle projection)，民用鱼 眼镜头；
[0028] [3]0d = kf sin(0);用于正交投景多(orthogonal projection)，少数镜头采用；
[0029] [4]9d = kf0;用于等距投影（equidistanee projection)，最常用。
[0030]其中，k为鱼眼镜头成像模型的系数。
[0031] 将上述模型泰勒展开后可以得到通用鱼眼镜头成像模型 k909+...;
[0032] 其中，匕上、1?、1^4为所述鱼眼镜头成像模型的系数。
[0033] 本发明实施例中以通用鱼眼镜头成像模型为例进行说明。
[0034] 获取该鱼眼镜头成像模型的模型参数，首先初始化模型参数;然后使用伯格-马夸 特Levenberg-Marquardt算法优化代价函数获取模型参数。该算法广泛应用于非线性最小 化问题，它是高斯一牛顿算法的变形。它介于牛顿法与梯度下降法之间，对于参数化的问题 不敏感，能够有效的处理冗余参数问题，使代价函数陷入局部极小值的机会大大减小。
[0035] 在获取模型参数的过程中，由于未对鱼眼镜头成像模型的系数1^、1?、1?、1^4进行约 束，因此得到的模型参数未必是全局最优。由鱼眼镜头成像模型可知：Θ在0和V2范围内，0 d 大于0且小于Θ，且为所述Θ的单调递增函数;根据标定得到的已知模型参数khkhkhluM 及Θ在〇和jt/2范围内的变化画出0d的图形，取出大于〇且小于Θ并且单调递增的部分即可知 道有效视角范围，从而知道最大有效视角。
[0036]在所述有效视角范围内对鱼眼镜头所采集的鱼眼镜头图像进行校正，得到校正后 的鱼眼镜头图像。具体可以采用双线性插值法进行校正。
[0037] 本实施例提供的鱼眼镜头图像校正方法，通过根据鱼眼镜头采集到的标定图像， 获取鱼眼镜头成像模型的模型参数，并根据所述模型参数以及预设约束条件确定鱼眼镜头 的有效视角范围；在 所述有效视角范围内对鱼眼镜头所采集的鱼眼镜头图像进行校正，得 到校正后的鱼眼镜头图像，由于标定图像中的黑白棋盘不能布满整个标定图像，因此获取 到的模型参数未必是全局最优的，相比现有技术而言，本发明中在确定模型参数之后，进一 步确定鱼眼镜头的有效视角范围，在所述有效视角范围内对鱼眼镜头所采集的鱼眼镜头图 像进行校正，因此，能够把畸变的鱼眼镜头图像还原为满足人眼视觉效果的透视图像，解决 了现有技术中基于鱼眼镜头标定后的校正图像可能会严重扭曲的问题。
[0038] 在上述实施例的基础上，可选地，在步骤101之前，可进行如下操作：
[0039] 建立所述鱼眼镜头成像模型，并在所述鱼眼镜头成像模型上建立鱼眼镜头投影关 系；
[0040] 所述鱼眼镜头投影关系如公式(1):
[0041]
[0042] 其中，efed+kW+kW+kl+iue8)为所述鱼眼镜头成像模型;1^上、1?、1^4为所述 鱼眼镜头成像模型的系数，9d为所述鱼眼镜头图像的像素点Pi与鱼眼图像平面坐标系原点 的距离；Θ为线段在其与鱼眼镜头坐标系的Zc轴正方向的夹角;0c为鱼眼镜头坐标系的原 点，Pc为鱼眼镜头坐标系下与所述Pi对应的坐标点Pc (Xc，Yc，Zc);其中，Xc为Pc在鱼眼镜头 坐标系下Xc轴的坐标值，Yc为Pc在鱼眼镜头坐标系下Yc轴的坐标值，Zc为Pc在鱼眼镜头坐 标系下Zc轴的坐标值;Pw(Xw，Yw，Zw)为Pc (Xc，Yc，Zc)在世界坐标系下对应的点;Xw为Pw在 世界坐标系下XW轴的坐标值，Yw为 Pw在世界坐标系下Yw轴的坐标值，Zw为Pw在世界坐标系 下Zw轴的坐标值;R为旋转矩阵，T为平移向量;fx和fy分别为鱼眼图像平面坐标系到鱼眼镜 头坐标系的水平方向和垂直方向的量化系数，u和v分别为Pc在鱼眼图像平面坐标系下的水 平和垂直坐标，cx和cy为分别为鱼眼镜头图像中心在鱼眼图像平面坐标系下的水平和垂直 坐标;X'和y '为中间变量;a、b、r如上述实施例所述。
[0043] 可选地，步骤101具体可以采用如下方式实现：
[0044] 利用鱼眼镜头采集η幅标定图像，得到所述标定图像在世界坐标系和在鱼眼图像 平面坐标系下的nXm组对应点;所述nXm组对应点的坐标为(Xwi j，Ywi j，0)和(ui j，vi j); 其中，每幅所述标定图像包括m个黑白棋盘格的顶点；i的取值范围为[l，n]，j的取值范围为 [l，m] ;Xwij为第i幅图像第j个点在世界坐标系下Xw轴的坐标值，Ywi j为第i幅图像第j个点 在世界坐标系下Yw轴的坐标值;uij和vi j分别为第i幅图像第j个点在鱼眼图像平面坐标系 下的水平和垂直坐标;η和m为大于1的整数；
[0045] 根据所述nXm组对应点使用伯格-马夸特Levenberg-Marquardt算法确定所述鱼 眼镜头成像模型的模型参数;所述模型参数包括:R，T，kl，k2，k3，k4，fX，fy，cx，cy;
[0046]其中，所述算法的代价函数：
[0047] 其中，min( ·)表示求最小值的函数；
[0048] m i」表示第i幅图像第j个点在鱼眼图像平面坐标系下的坐标， /?(Λ, T，A，U'2,找Μ, ./λ% ./i., rx，?ν)表示第i幅图像第J·个点在世界坐标系下的坐标（Xw i j， Ywij，0)通过公式(1)计算得到的在鱼眼图像平面坐标系下的坐标。
[0049]具体来说，η X m组对应点为η个黑白棋盘的黑白棋盘格的顶点，η X m组对应点的坐 标为(Xwi j，Ywi j，0)和(ui j，vi j) ;Xwi j为第i幅图像第j个点在世界坐标系下Xw轴的坐标 值，Ywij为第i幅图像第j个点在世界坐标系下Yw轴的坐标值;0为第i幅图像第j个点在世界 坐标系下Zw轴的坐标值;uij和vi j分别为第i幅图像第j个点在鱼眼图像平面坐标系下的水 平和垂直坐标。
[0050]首先初始化模型参数R为单位阵，T为三维零向量，lu、k2、k3、k4为零，cx为鱼眼镜头 图像的水平中心坐标，cy为鱼眼镜头图像的垂直中心坐标，fx和fy为2000,然后使用 Levenberg-Marquardt算法优化代价函数获取模型参数。
[0051 ] 代价函数
[0052]其中，模型参数R和T属于外部参数，1^1，1^2氺3，1^，&37，(^，(^属于内部参数，在 校正的过程中只需使用内部参数即可。
[0053] ";(/?，T. d，人义々3, Μ,./λ.，/v. c'\.，η.)为将（Xwi J·，Ywi J·，0)代入公式（1)计算得出的在 鱼眼图像平面坐标系下的坐标(叫句），!1^为坐标(1^_，"儿计算两点的距离使得最小，进 行多次迭代之后，可以求出最优的模型参数。
[0054] 可选地，步骤102可以具体采用如下方式实现：
[0055] 根据所述模型参数、Θ的预设初始范围以及0d的约束条件确定有效视角范围；所述 有效视角范围为所述Θ的有效范围；
[0056] 其中，所述0d的约束条件为0d大于〇,且小于Θ，且为所述Θ的单调递增函数；
[0057] Θ的预设初始范围为[0, jt/2]。
[0058]具体来说，在获取模型参数的过程中，由于未对鱼眼镜头成像模型的系数k^ks、 k3、k4进行约束，因此得到的模型参数未必是全局最优。由鱼眼镜头成像模型可知：θ在〇和V 2范围内，0d大于〇且小于Θ，且为所述Θ的单调递增函数;根据标定得到的已知模型参数ki、 让2、1?、1^4，以及9在〇和 31/2范围内的变化画出9(1 = 0(1+1^2+1^4+1?06+1^8)的图形，取出大于 〇且小于Θ并且单调递增的部分即可知道有效视角范围，从而知道最大有效视角。
[0059] 可选地，步骤103可以具体采用如下方式实现：
[0060] 在所述有效视角范围内，根据校正后的鱼眼镜头图像的分辨率得到的像素点(u'， ν'），刹用公忒（2H+笪得剞a.和h的倌，
[0061：
[0062]根据所述a和b的值利用公式(1)计算得到所述采集的图像的像素点(u，v);
[0063] 根据所述像素点(u，v)获取校正后的鱼眼镜头图像的像素点(u'，v'）的像素值为：
[0064] f(u' ,v' ) = (l-s)(l-t)f(i, j) + (l-s)tf(i, j+l)+s(l-t)f(i+l, j)+stf(i+l, j+ 1)；
[0065]其中，i表示u的整数部分，s表示u的小数部分，j表示v的整数部分，t表示v的小数 部分：
[0066] f(i，j)、f(i，j+l)、f(i+l，j)、f(i+l，j+l)分别为所述采集的图像在鱼眼图像平面 坐标系下的坐标为(1，」）、（1+1，」）、（1，」+1)、（1+1，」+1)所对应的4个像素点的像素值。 [0067] 具体来说，假设校正图像分辨率为800X800，u'和ν'的取值范围为[0,800];a和b 为空间实际距离大小，如a等于5厘米，b等于5厘米;而u'和ν'为像素空间的大小，如u'等于5 个像素，ν'等于5个像素。
[0068]假设得到的最大有效视角是76度，fx = 100，y = 100;
[0069] 假设校正图像分辨率为1000 X 1000，图像中心在(500，500)，即cx = 500，cy = 50， 当u ' = 0，v ' = 0 时，则a = _5，b = _5，r = sqrt(a Xa+b X b) = 5，9 = atan(r) = 78 · 69度大于 76 度，因此分辨率1000 X 1000校正后的图像会扭曲失真，因此不能在分辨率为1000 X 1000下 校正;sqrtO为求平方根的函数;tan〇为求正切值的函数。
[0070] 假设校正图像分辨率为800 X 800，图像中心在(400，400)，即CX = 400，cy = 400，当 u ' = 0，v，= 0时，则a = _4，b = _4，r = sqrt (a X a+b X b) = 4，Θ = atan(r) = 75 · 96度小于76 度，因此可以在分辨率为800X800下校正，利用公式（1)得出的值，并利用上述计算像 素点(u '，v '）的像素值的公式计算校正后的鱼眼镜头图像 中各个像素点的像素。
[0071] 图3为本发明鱼眼镜头图像校正装置一实施例的结构示意图。如图3所示，本实施 例的鱼眼镜头图像校正装置，包括:获取模块301、确定模块302和校正模块303;
[0072] 其中，获取模块301，用于根据鱼眼镜头采集到的标定图像，获取鱼眼镜头成像模 型的模型参数；
[0073]确定模块302,用于根据所述模型参数以及预设约束条件确定鱼眼镜头的有效视 角范围；
[0074]校正模块303,用于在所述有效视角范围内对鱼眼镜头所采集的鱼眼镜头图像进 行校正，得到校正后的鱼眼镜头图像。
[0075]可选地，所述获取模块301，还用于：
[0076]建立所述鱼眼镜头成像模型，并在所述鱼眼镜头成像模型上建立鱼眼镜头投影关 系；
[0077]所述鱼眼镜头投影关系如公式（1):
[0078]
[0079] 其中，efed+kW+kW+kl+iue8)为所述鱼眼镜头成像模型;1^上、1?、1^4为所述 鱼眼镜头成像模型的系数，9d为所述鱼眼镜头图像的像素点Pi与鱼眼图像平面坐标系原点 的距离；Θ为线段巧瓦与鱼眼镜头坐标系的Zc轴正方向的夹角;0c为鱼眼镜头坐标系的原 点，Pc为鱼眼镜头坐标系下与所述Pi对应的坐标点Pc (Xc，Yc，Zc);其中，Xc为Pc在鱼眼镜头 坐标系下Xc轴的坐标值，Yc为Pc在鱼眼镜头坐标系下Yc轴的坐标值，Zc为Pc在鱼眼镜头坐 标系下Zc轴的坐标值;Pw(Xw，Yw，Zw)为Pc (Xc，Yc，Zc)在世界坐标系下对应的点;Xw为Pw在 世界坐标系下XW轴的坐标值，Yw为 Pw在世界坐标系下Yw轴的坐标值，Zw为Pw在世界坐标系 下Zw轴的坐标值;R为旋转矩阵，T为平移向量;fx和fy分别为鱼眼图像平面坐标系到鱼眼镜 头坐标系的水平方向和垂直方向的量化系数，u和v分别为Pc在鱼眼图像平面坐标系下的水 平和垂直坐标，cx和cy为分别为鱼眼镜头图像中心在鱼眼图像平面坐标系下的水平和垂直 坐标;a和b分别为与Pc(X C，YC，Zc)对应的校正后的鱼眼镜头图像中的点Pr在鱼眼图像平面 坐标系下的水平和垂直的空间实际坐标，r为Pr与鱼眼图像平面坐标系的原点之间的距离； 1'和 7'为中间变量。
[0080] 可选地，所述获取模块301，具体用于：
[0081] 利用鱼眼镜头采集η幅标定图像，得到所述标定图像在世界坐标系和在鱼眼图像 平面坐标系下的nXm组对应点;所述nXm组对应点的坐标为(Xwi j，Ywi j，0)和(ui j，vi j); 其中，每幅所述标定图像包括m个黑白棋盘格的顶点；i的取值范围为[l，n]，j的取值范围为 [l，m] ;Xwij为第i幅图像第j个点在世界坐标系下Xw轴的坐标值，Ywi j为第i幅图像第j个点 在世界坐标系下Yw轴的坐标值;uij和vi j分别为第i幅图像第j个点在鱼眼图像平面坐标系 下的水平和垂直坐标;η和m为大于1的整数；
[0082] 根据所述nXm组对应点使用伯格-马夸特Levenberg-Marquardt算法确定所述鱼 眼镜头成像模型的模型参数;所述模型参数包括:R，T，kl，k2，k3，k4，fX，fy，cx，cy;
[0083]其中，所述算法的代价函数为
[0084]其中，min( ·)表示求最小值的函数；
[0085] m i」表示第i幅图像第j个点在鱼眼图像平面坐标系下的坐标， /η(Λ，T，/: U:2,./i, ./v,战，cj)表示第i幅图像第J_个点在世界坐标系下的坐标（Xw i j， Ywij，0)通过公式(1)计算得到的在鱼眼图像平面坐标系下的坐标。
[0086]可选的，所述确定模块302,具体用于：
[0087] 根据所述模型参数、Θ的预设初始范围以及0d的约束条件确定有效视角范围；所述 有效视角范围为所述Θ的有效范围；
[0088] 其中，所述0d的约束条件为0d大于〇,且小于Θ，且为所述Θ的单调递增函数；
[0089] Θ的预设初始范围为[0，ji/2]。
[0090] 可选地，所述校正模块303,具体用于：
[0091] 在所述有效视角范围内，根据校正后的鱼眼镜头图像的分辨率得到的像素点(u'， v '），利用公式(2)计算得到a和b的值；
[0092]
[0093]根据所述a和b的值利用公式(1)计算得到所述采集的图像的像素点(u，v);
[0094] 根据所述像素点(u，v)获取校正后的鱼眼镜头图像的像素点(u'，v'）的像素值为：
[0095] f(u' ,v' ) = (l-s)(l-t)f(i, j) + (l-s)tf(i, j+l)+s(l-t)f(i+l, j)+stf(i+l, j+ 1);
[0096] 其中，i表示u的整数部分，s表示u的小数部分，j表示v的整数部分，t表示v的小数 部分：
[0097] f(i，j)、f(i，j+l)、f(i+l，j)、f(i+l，j+l)分别为所述采集的图像在鱼眼图像平面 坐标系下的坐标为(1，」）、（1+1，」）、（1，」+1)、（1+1，」+1)所对应的4个像素点的像素值。
[0098] 上述实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实现原理和 技术效果类似，此处不再赘述。
[0099] 在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其 它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元或模块的 划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或模块 可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或 讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或模块的间接耦 合或通信连接，可以是电性，机械或其它的形式。
[0100]所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显 示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个 网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目 的。
[0101]本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过 程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序 在执行时，执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光 盘等各种可以存储程序代码的介质。
[0102]最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制;尽 管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解:其依 然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进 行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术 方案的范围。
【主权项】
1. 一种鱼眼镜头图像校正方法，其特征在于，包括： 根据鱼眼镜头采集到的标定图像，获取鱼眼镜头成像模型的模型参数； 根据所述模型参数以及预设约束条件确定鱼眼镜头的有效视角范围； 在所述有效视角范围内对鱼眼镜头所采集的鱼眼镜头图像进行校正，得到校正后的鱼 眼镜头图像。2. 根据权利要求1所述的方法，其特征在于，所述根据鱼眼镜头采集到的标定图像，获 取鱼眼镜头成像模型的模型参数之前，还包括： 建立所述鱼眼镜头成像模型，并在所述鱼眼镜头成像模型上建立鱼眼镜头投影关系； 所述鱼眼镜头投影关系如公式(1):其中，efed+kW+kM+k#+!^8)为所述鱼眼镜头成像模型;1^、1?、1?、1^4为所述鱼眼 镜头成像模型的系数，9d为所述鱼眼镜头图像的像素点Pi与鱼眼图像平面坐标系原点的距 离;Θ为线段与鱼眼镜头坐标系的Zc轴正方向的夹角;Oc为鱼眼镜头坐标系的原点，Pc 为鱼眼镜头坐标系下与所述Pi对应的坐标点？〇0〇，￥〇，2〇) ;其中4〇为?(3在鱼眼镜头坐标 系下Xc轴的坐标值，Yc为Pc在鱼眼镜头坐标系下Yc轴的坐标值，Zc为Pc在鱼眼镜头坐标系 下Zc轴的坐标值;Pw(Xw，Yw，Zw)为Pc(Xc，Yc，Zc)在世界坐标系下对应的点;Xw为Pw在世界 坐标系下Xw轴的坐标值，Yw为Pw在世界坐标系下Yw轴的坐标值，Zw为Pw在世界坐标系下Zw 轴的坐标值;R为旋 转矩阵，T为平移向量;fx和fy分别为鱼眼图像平面坐标系到鱼眼镜头坐 标系的水平方向和垂直方向的量化系数，u和V分别为Pc在鱼眼图像平面坐标系下的水平和 垂直坐标，cx和cy为分别为鱼眼镜头图像中心在鱼眼图像平面坐标系下的水平和垂直坐 标;a和b分别为与Pc(X C，YC，Zc)对应的校正后的鱼眼镜头图像中的点Pr在鱼眼图像平面坐 标系下的水平和垂直的空间实际坐标，r为Pr与鱼眼图像平面坐标系的原点之间的距离;X' 和y'为中间变量。3. 根据权利要求2所述的方法，其特征在于，所述根据鱼眼镜头采集到的标定图像，获 取鱼眼镜头成像模型的模型参数，包括： 利用鱼眼镜头采集η幅标定图像，得到所述标定图像在世界坐标系和在鱼眼图像平面 坐标系下的11\1]1组对应点；所述11\1]1组对应点的坐标为(乂￥；[」，￥￥；[」，0)和(11；[」，￥；[」） ；其中， 每幅所述标定图像包括m个黑白棋盘格的顶点；i的取值范围为[l，n]，j的取值范围为[1， m];Xwi j为第i幅图像第j个点在世界坐标系下Xw轴的坐标值，Ywi j为第i幅图像第j个点在 世界坐标系下Yw轴的坐标值;Uij和vij分别为第i幅图像第j个点在鱼眼图像平面坐标系下 的水平和垂直坐标;η和m为大于1的整数； 根据所述n Xm组对应点使用伯格-马夸特Levenberg-Marquardt算法确定所述鱼眼镜 头成像模型的模型参数;所述模型参数包括:R，T，kl，k2，k3，k4，fX，fy，cx，cy; 其中，所述算法的代价函数为其中，min( ·)表示求最小值的函数； m i」表示第i幅图像第j个点在鱼眼图像平面坐标系下的坐标，,表示第i幅图像第j个点在世界坐标系下的坐标（Xwij， Ywij，0)通过公式(1)计算得到的在鱼眼图像平面坐标系下的坐标。4. 根据权利要求2所述的方法，其特征在于，所述根据所述模型参数以及预设约束条件 确定鱼眼镜头的有效视角范围，包括： 根据所述模型参数、Θ的预设初始范围以及0d的约束条件确定有效视角范围；所述有效 视角范围为所述Θ的有效范围； 其中，所述9d的约束条件为0d大于0,且小于Θ，且为所述Θ的单调递增函数； Θ的预设初始范围为[〇，V2]。5. 根据权利要求2所述的方法，其特征在于，所述在所述有效视角范围内对鱼眼镜头所 采集的图像进行校正，得到校正后的鱼眼镜头图像，包括： 在所述有效视角范围内，根据校正后的鱼眼镜头图像的分辨率得到的像素点(u'，v'）， 利用公式(2)计算得到a和b的值；根据所述a和b的值利用公式(1)计算得到所述采集的图像的像素点(u，V); 根据所述像素点(u，v)获取校正后的鱼眼镜头图像的像素点(u'，v'）的像素值为： f(u，，v，）= (I-S)(l-t)f(i，j) + (l-s)tf(i，j+l)+s(l-t)f(i+l，j)+stf(i+l，j+l); 其中，i表示u的整数部分，s表示u的小数部分，j表示v的整数部分，t表示v的小数部分： f(i，j)、f(i，j+l)、f(i+lj)、f(i+lj+l)分别为所述采集的图像在鱼眼图像平面坐标 系下的坐标为(1，」）、（1+1，」）、（1，」+1)、（1+1，」+1)所对应的4个像素点的像素值。6. -种鱼眼镜头图像校正装置，其特征在于，包括： 获取模块，用于根据鱼眼镜头采集到的标定图像，获取鱼眼镜头成像模型的模型参数； 确定模块，用于根据所述模型参数以及预设约束条件确定鱼眼镜头的有效视角范围； 校正模块，用于在所述有效视角范围内对鱼眼镜头所采集的鱼眼镜头图像进行校正， 得到校正后的鱼眼镜头图像。7. 根据权利要求6所述的装置，其特征在于，所述获取模块，还用于： 建立所述鱼眼镜头成像模型，并在所述鱼眼镜头成像模型上建立鱼眼镜头投影关系； 所述鱼眼镜头投影关系如公式(1):I 其中，efed+kW+kM+k#+!^8)为所述鱼眼镜头成像模型;1^、1?、1?、1^4为所述鱼眼 镜头成像模型的系数，9d为所述鱼眼镜头图像的像素点Pi与鱼眼图像平面坐标系原点的距 离;Θ为线段与鱼眼镜头坐标系的Zc轴正方向的夹角;Oc为鱼眼镜头坐标系的原点，Pc 为鱼眼镜头坐标系下与所述Pi对应的坐标点？〇0〇，￥〇，2〇) ;其中4〇为?(3在鱼眼镜头坐标 系下Xc轴的坐标值，Yc为Pc在鱼眼镜头坐标系下Yc轴的坐标值，Zc为Pc在鱼眼镜头坐标系 下Zc轴的坐标值;Pw(Xw，Yw，Zw)为Pc(Xc，Yc，Zc)在世界坐标系下对应的点;Xw为Pw在世界 坐标系下Xw轴的坐标值，Yw为Pw在世界坐标系下Yw轴的坐标值，Zw为Pw在世界坐标系下Zw 轴的坐标值;R为旋转矩阵，T为平移向量;fx和fy分别为鱼眼图像平面坐标系到鱼眼镜头坐 标系的水平方向和垂直方向的量化系数，u和V分别为Pc在鱼眼图像平面坐标系下的水平和 垂直坐标，cx和cy为分别为鱼眼镜头图像中心在鱼眼图像平面坐标系下的水平和垂直坐 标;a和b分别为与Pc(X C，YC，Zc)对应的校正后的鱼眼镜头图像中的点Pr在鱼眼图像平面坐 标系下的水平和垂直的空间实际坐标，r为Pr与鱼眼图像平面坐标系的原点之间的距离;X' 和y'为中间变量。8. 根据权利要求7所述的装置，其特征在于，所述获取模块，具体用于： 利用鱼眼镜头采集η幅标定图像，得到所述标定图像在世界坐标系和在鱼眼图像平面 坐标系下的11\1]1组对应点；所述11\1]1组对应点的坐标为(乂￥；[」，￥￥；[」，0)和(11；[」，￥；[」） ；其中， 每幅所述标定图像包括m个黑白棋盘格的顶点；i的取值范围为[l，n]，j的取值范围为[1， m];Xwi j为第i幅图像第j个点在世界坐标系下Xw轴的坐标值，Ywi j为第i幅图像第j个点在 世界坐标系下Yw轴的坐标值;Uij和Vij分别为第i幅图像第j个点在鱼眼图像平面坐标系下 的水平和垂直坐标;η和m为大于1的整数； 根据所述n Xm组对应点使用伯格-马夸特Levenberg-Marquardt算法确定所述鱼眼镜 头成像模型的模型参数;所述模型参数包括:R，T，kl，k2，k3，k4，fX，fy，cx，cy; 其中，所述算法的代价函数为其中，min( ·)表示求最小值的函数； m i」表示第i幅图像第j个点在鱼眼图像平面坐标系下的坐标，表示第i幅图像第j个点在世界坐标系下的坐标（Xwij， Ywij，0)通过公式(1)计算得到的在鱼眼图像平面坐标系下的坐标。9. 根据权利要求7所述的装置，其特征在于，所述确定模块，具体用于： 根据所述模型参数、Θ的预设初始范围以及0d的约束条件确定有效视角范围；所述有效 视角范围为所述Θ的有效范围； 其中，所述9d的约束条件为0d大于0,且小于Θ，且为所述Θ的单调递增函数； Θ的预设初始范围为[〇，V2]。10. 根据权利要求7所述的装置，其特征在于，所述校正模块，具体用于： 在所述有效视角范围内，根据校正后的鱼眼镜头图像的分辨率得到的像素点(u'，v'）， 利用公式(2)计算得到a和b的值；根据所述a和b的值利用公式(1)计算得到所述采集的图像的像素点(u，V); 根据所述像素点(u，v)获取校正后的鱼眼镜头图像的像素点(u'，v'）的像素值为： f(u，，v，）= (I-S)(l-t)f(i，j) + (l-s)tf(i，j+l)+s(l-t)f(i+l，j)+stf(i+l，j+l); 其中，i表示u的整数部分，s表示u的小数部分，j表示v的整数部分，t表示v的小数部分： f(i，j)、f(i，j+l)、f(i+lj)、f(i+lj+l)分别为所述采集的图像在鱼眼图像平面坐标 系下的坐标为(1，」）、（1+1，」）、（1，」+1)、（1+1，」+1)所对应的4个像素点的像素值。
【专利摘要】本发明提供一种鱼眼镜头图像校正方法及装置。本发明鱼眼镜头图像校正方法，包括：根据鱼眼镜头采集到的标定图像，获取鱼眼镜头成像模型的模型参数；根据所述模型参数以及预设约束条件确定鱼眼镜头的有效视角范围；在所述有效视角范围内对鱼眼镜头所采集的鱼眼镜头图像进行校正，得到校正后的鱼眼镜头图像。本发明能够把畸变的鱼眼镜头图像还原为满足人眼视觉效果的透视图像。
【IPC分类】G06T5/00
【公开号】CN105488766
【申请号】CN201510819265
【发明人】江水郎, 郑新芬, 冯津, 曹昉旻
【申请人】上海汽车集团股份有限公司
【公开日】2016年4月13日
【申请日】2015年11月23日
【技术领域】
[0001] 本发明涉及数字图像处理技术领域，尤其涉及一种鱼眼镜头图像校正方法及装 置。
【背景技术】
[0002] 鱼眼镜头是一种超广角镜头，视角通常能达到或超过180度，镜头直径很短且呈抛 物状向镜头前部凸出，和鱼的眼睛类似故名鱼眼镜头。鱼眼镜头在视频监控、虚拟现实、三 维建模、视觉导航领域有广泛的应用。但是鱼眼镜头将半球形物面成像为平面，所以鱼眼镜 头所拍摄的图像严重畸变，视觉上感受非常不自然，因此需要将这些畸变图像校正为人们 所习惯的透视投影图像。
[0003] 现有技术中恢复图像畸变可以采用鱼眼镜头标定算法，通过建立鱼眼镜头特定的 成像模型，然后用标定装置得到鱼眼镜头的校正参数，最后利用获得的校正参数来校正图 像。通常标定装置需要相应的标定模版，以及利用鱼眼镜头对所述标定模版进行拍摄，根据 拍摄的图像来得到鱼眼镜头的校正参数，标定模版如平面黑白棋盘。但是通常鱼眼镜头对 所述黑白棋盘拍摄的图像中，黑白棋盘不能布满整个拍摄的图像，导致标定装置得到的校 正参数未必是全局最优的，因此基于鱼眼镜头标定后的校正图像可能会严重扭曲。
【发明内容】
[0004] 本发明提供一种鱼眼镜头图像校正方法及装置，以克服现有技术中基于鱼眼镜头 标定后的校正图像可能会严重扭曲的问题。
[0005] 第一方面，本发明提供一种鱼眼镜头图像校正方法，包括：
[0006] 根据鱼眼镜头采集到的标定图像，获取鱼眼镜头成像模型的模型参数；
[0007] 根据所述模型参数以及预设约束条件确定鱼眼镜头的有效视角范围；
[0008] 在所述有效视角范围内对鱼眼镜头所采集的鱼眼镜头图像进行校正，得到校正后 的鱼眼镜头图像。
[0009] 第二方面，本发明提供一种鱼眼镜头图像校正装置，包括：
[0010] 获取模块，用于根据鱼眼镜头采集到的标定图像，获取鱼眼镜头成像模型的模型 参数；
[0011] 确定模块，用于根据所述模型参数以及预设约束条件确定鱼眼镜头的有效视角范 围；
[0012] 校正模块，用于在所述有效视角范围内对鱼眼镜头所采集的鱼眼镜头图像进行校 正，得到校正后的鱼眼镜头图像。
[0013] 本发明鱼眼镜头图像校正方法及装置，通过根据鱼眼镜头采集到的标定图像，获 取鱼眼镜头成像模型的模型参数，并根据所述模型参数以及预设约束条件确定鱼眼镜头的 有效视角范围；在所述有效视角范围内对鱼眼镜头所采集的鱼眼镜头图像进行校正，得到 校正后的鱼眼镜头图像，由于标定图像中的黑白棋盘不能布满整个标定图像，因此获取到 的模型参数未必是全局最优的，相比现有技术而言，本发明中在确定模型参数之后，进一步 确定鱼眼镜头的有效视角范围，在所述有效视角范围内对鱼眼镜头所采集的鱼眼镜头图像 进行校正，因此，能够把畸变的鱼眼镜头图像还原为满足人眼视觉效果的透视图像，解决了 现有技术中基于鱼眼镜头标定后的校正图像可能会严重扭曲的问题。
【附图说明】
[0014] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发 明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以 根据这些附图获得其他的附图。
[0015] 图1为本发明鱼眼镜头图像校正方法一实施例的流程示意图；
[0016] 图2为鱼眼镜头坐标系和鱼眼图像平面坐标系的关系示意图；
[0017]图3为本发明鱼眼镜头图像校正装置一实施例的结构示意图。
【具体实施方式】
[0018] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例 中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是 本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员 在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0019] 图1为本发明鱼眼镜头图像校正方法一实施例的流程示意图。图2为鱼眼镜头坐标 系和鱼眼图像平面坐标系的关系示意图。如图1所示，本实施例的方法包括：
[0020] 步骤101、根据鱼眼镜头采集到的标定图像，获取鱼眼镜头成像模型的模型参数；
[0021] 步骤102、根据所述模型参数以及预设约束条件确定鱼眼镜头的有效视角范围；
[0022] 步骤103、在所述有效视角范围内对鱼眼镜头所采集的鱼眼镜头图像进行校正，得 到校正后的鱼眼镜头图像。
[0023] 具体来说，自制平面棋盘标定板，带鱼眼镜头的摄像机对棋盘标定板采集η幅标定 图像，η>>1;在每张标定图像上选取棋盘格的黑白交叉顶点，并且获得该些顶点的世界坐标 系下的坐标和鱼眼镜头坐标下的坐标，并根据该些顶点的坐标以及鱼眼镜头成像模型获取 该鱼眼镜头成像模型的模型参数。
[0024] 如图2所示，OcXcYcZc为鱼眼镜头坐标系，OwXwYwZw为世界坐标系，假设世界坐标 系下一个点?￥(^￥，7￥，2￥)，乂 ￥为?￥在世界坐标系下乂￥轴的坐标值，￥￥为?￥在世界坐标系下 Yw轴的坐标值，Zw为Pw在世界坐标系下Zw轴的坐标值;Pw点在鱼眼镜头坐标系下的坐标为 Pc(Xc，Yc，Zc)，Xc为Pc在鱼眼镜头坐标系下Xc轴的坐标值，Yc为Pc在鱼眼镜头坐标系下Yc 轴的坐标值，Zc为Pc在鱼眼镜头坐标系下Zc轴的坐标值;线段反瓦与鱼眼镜头坐标系的Zc 轴正方向（即@7)的夹角为9;0iXiYiZi为鱼眼图像平面坐标系，f为鱼眼镜头的焦距，Pi 为鱼眼镜头采集的图像上与所述Pc对应的点，假设Pr(a，b)为校正后的图像上与所述Pc对 应的点，令9d为像素点Pi与鱼眼图像平面坐标系原点0i的距离;a和b分别为该Pr点在鱼眼 图像平面坐标系下的水平(Xi轴)和垂直(Yi轴)坐标(空间实际坐标值）；r为Pr到Oi的距离。
[0025] 鱼眼镜头成像模型有如下几种：
[0026] [1]化=2々/'tan($);用于体视投影（stereographic projection)，使用很少；
[0027] [2]化=2#/sin(·^);用于等立体角投影（equisolid angle projection)，民用鱼 眼镜头；
[0028] [3]0d = kf sin(0);用于正交投景多(orthogonal projection)，少数镜头采用；
[0029] [4]9d = kf0;用于等距投影（equidistanee projection)，最常用。
[0030]其中，k为鱼眼镜头成像模型的系数。
[0031] 将上述模型泰勒展开后可以得到通用鱼眼镜头成像模型 k909+...;
[0032] 其中，匕上、1?、1^4为所述鱼眼镜头成像模型的系数。
[0033] 本发明实施例中以通用鱼眼镜头成像模型为例进行说明。
[0034] 获取该鱼眼镜头成像模型的模型参数，首先初始化模型参数;然后使用伯格-马夸 特Levenberg-Marquardt算法优化代价函数获取模型参数。该算法广泛应用于非线性最小 化问题，它是高斯一牛顿算法的变形。它介于牛顿法与梯度下降法之间，对于参数化的问题 不敏感，能够有效的处理冗余参数问题，使代价函数陷入局部极小值的机会大大减小。
[0035] 在获取模型参数的过程中，由于未对鱼眼镜头成像模型的系数1^、1?、1?、1^4进行约 束，因此得到的模型参数未必是全局最优。由鱼眼镜头成像模型可知：Θ在0和V2范围内，0 d 大于0且小于Θ，且为所述Θ的单调递增函数;根据标定得到的已知模型参数khkhkhluM 及Θ在〇和jt/2范围内的变化画出0d的图形，取出大于〇且小于Θ并且单调递增的部分即可知 道有效视角范围，从而知道最大有效视角。
[0036]在所述有效视角范围内对鱼眼镜头所采集的鱼眼镜头图像进行校正，得到校正后 的鱼眼镜头图像。具体可以采用双线性插值法进行校正。
[0037] 本实施例提供的鱼眼镜头图像校正方法，通过根据鱼眼镜头采集到的标定图像， 获取鱼眼镜头成像模型的模型参数，并根据所述模型参数以及预设约束条件确定鱼眼镜头 的有效视角范围；在 所述有效视角范围内对鱼眼镜头所采集的鱼眼镜头图像进行校正，得 到校正后的鱼眼镜头图像，由于标定图像中的黑白棋盘不能布满整个标定图像，因此获取 到的模型参数未必是全局最优的，相比现有技术而言，本发明中在确定模型参数之后，进一 步确定鱼眼镜头的有效视角范围，在所述有效视角范围内对鱼眼镜头所采集的鱼眼镜头图 像进行校正，因此，能够把畸变的鱼眼镜头图像还原为满足人眼视觉效果的透视图像，解决 了现有技术中基于鱼眼镜头标定后的校正图像可能会严重扭曲的问题。
[0038] 在上述实施例的基础上，可选地，在步骤101之前，可进行如下操作：
[0039] 建立所述鱼眼镜头成像模型，并在所述鱼眼镜头成像模型上建立鱼眼镜头投影关 系；
[0040] 所述鱼眼镜头投影关系如公式(1):
[0041]
[0042] 其中，efed+kW+kW+kl+iue8)为所述鱼眼镜头成像模型;1^上、1?、1^4为所述 鱼眼镜头成像模型的系数，9d为所述鱼眼镜头图像的像素点Pi与鱼眼图像平面坐标系原点 的距离；Θ为线段在其与鱼眼镜头坐标系的Zc轴正方向的夹角;0c为鱼眼镜头坐标系的原 点，Pc为鱼眼镜头坐标系下与所述Pi对应的坐标点Pc (Xc，Yc，Zc);其中，Xc为Pc在鱼眼镜头 坐标系下Xc轴的坐标值，Yc为Pc在鱼眼镜头坐标系下Yc轴的坐标值，Zc为Pc在鱼眼镜头坐 标系下Zc轴的坐标值;Pw(Xw，Yw，Zw)为Pc (Xc，Yc，Zc)在世界坐标系下对应的点;Xw为Pw在 世界坐标系下XW轴的坐标值，Yw为 Pw在世界坐标系下Yw轴的坐标值，Zw为Pw在世界坐标系 下Zw轴的坐标值;R为旋转矩阵，T为平移向量;fx和fy分别为鱼眼图像平面坐标系到鱼眼镜 头坐标系的水平方向和垂直方向的量化系数，u和v分别为Pc在鱼眼图像平面坐标系下的水 平和垂直坐标，cx和cy为分别为鱼眼镜头图像中心在鱼眼图像平面坐标系下的水平和垂直 坐标;X'和y '为中间变量;a、b、r如上述实施例所述。
[0043] 可选地，步骤101具体可以采用如下方式实现：
[0044] 利用鱼眼镜头采集η幅标定图像，得到所述标定图像在世界坐标系和在鱼眼图像 平面坐标系下的nXm组对应点;所述nXm组对应点的坐标为(Xwi j，Ywi j，0)和(ui j，vi j); 其中，每幅所述标定图像包括m个黑白棋盘格的顶点；i的取值范围为[l，n]，j的取值范围为 [l，m] ;Xwij为第i幅图像第j个点在世界坐标系下Xw轴的坐标值，Ywi j为第i幅图像第j个点 在世界坐标系下Yw轴的坐标值;uij和vi j分别为第i幅图像第j个点在鱼眼图像平面坐标系 下的水平和垂直坐标;η和m为大于1的整数；
[0045] 根据所述nXm组对应点使用伯格-马夸特Levenberg-Marquardt算法确定所述鱼 眼镜头成像模型的模型参数;所述模型参数包括:R，T，kl，k2，k3，k4，fX，fy，cx，cy;
[0046]其中，所述算法的代价函数：
[0047] 其中，min( ·)表示求最小值的函数；
[0048] m i」表示第i幅图像第j个点在鱼眼图像平面坐标系下的坐标， /?(Λ, T，A，U'2,找Μ, ./λ% ./i., rx，?ν)表示第i幅图像第J·个点在世界坐标系下的坐标（Xw i j， Ywij，0)通过公式(1)计算得到的在鱼眼图像平面坐标系下的坐标。
[0049]具体来说，η X m组对应点为η个黑白棋盘的黑白棋盘格的顶点，η X m组对应点的坐 标为(Xwi j，Ywi j，0)和(ui j，vi j) ;Xwi j为第i幅图像第j个点在世界坐标系下Xw轴的坐标 值，Ywij为第i幅图像第j个点在世界坐标系下Yw轴的坐标值;0为第i幅图像第j个点在世界 坐标系下Zw轴的坐标值;uij和vi j分别为第i幅图像第j个点在鱼眼图像平面坐标系下的水 平和垂直坐标。
[0050]首先初始化模型参数R为单位阵，T为三维零向量，lu、k2、k3、k4为零，cx为鱼眼镜头 图像的水平中心坐标，cy为鱼眼镜头图像的垂直中心坐标，fx和fy为2000,然后使用 Levenberg-Marquardt算法优化代价函数获取模型参数。
[0051 ] 代价函数
[0052]其中，模型参数R和T属于外部参数，1^1，1^2氺3，1^，&37，(^，(^属于内部参数，在 校正的过程中只需使用内部参数即可。
[0053] ";(/?，T. d，人义々3, Μ,./λ.，/v. c'\.，η.)为将（Xwi J·，Ywi J·，0)代入公式（1)计算得出的在 鱼眼图像平面坐标系下的坐标(叫句），!1^为坐标(1^_，"儿计算两点的距离使得最小，进 行多次迭代之后，可以求出最优的模型参数。
[0054] 可选地，步骤102可以具体采用如下方式实现：
[0055] 根据所述模型参数、Θ的预设初始范围以及0d的约束条件确定有效视角范围；所述 有效视角范围为所述Θ的有效范围；
[0056] 其中，所述0d的约束条件为0d大于〇,且小于Θ，且为所述Θ的单调递增函数；
[0057] Θ的预设初始范围为[0, jt/2]。
[0058]具体来说，在获取模型参数的过程中，由于未对鱼眼镜头成像模型的系数k^ks、 k3、k4进行约束，因此得到的模型参数未必是全局最优。由鱼眼镜头成像模型可知：θ在〇和V 2范围内，0d大于〇且小于Θ，且为所述Θ的单调递增函数;根据标定得到的已知模型参数ki、 让2、1?、1^4，以及9在〇和 31/2范围内的变化画出9(1 = 0(1+1^2+1^4+1?06+1^8)的图形，取出大于 〇且小于Θ并且单调递增的部分即可知道有效视角范围，从而知道最大有效视角。
[0059] 可选地，步骤103可以具体采用如下方式实现：
[0060] 在所述有效视角范围内，根据校正后的鱼眼镜头图像的分辨率得到的像素点(u'， ν'），刹用公忒（2H+笪得剞a.和h的倌，
[0061：
[0062]根据所述a和b的值利用公式(1)计算得到所述采集的图像的像素点(u，v);
[0063] 根据所述像素点(u，v)获取校正后的鱼眼镜头图像的像素点(u'，v'）的像素值为：
[0064] f(u' ,v' ) = (l-s)(l-t)f(i, j) + (l-s)tf(i, j+l)+s(l-t)f(i+l, j)+stf(i+l, j+ 1)；
[0065]其中，i表示u的整数部分，s表示u的小数部分，j表示v的整数部分，t表示v的小数 部分：
[0066] f(i，j)、f(i，j+l)、f(i+l，j)、f(i+l，j+l)分别为所述采集的图像在鱼眼图像平面 坐标系下的坐标为(1，」）、（1+1，」）、（1，」+1)、（1+1，」+1)所对应的4个像素点的像素值。 [0067] 具体来说，假设校正图像分辨率为800X800，u'和ν'的取值范围为[0,800];a和b 为空间实际距离大小，如a等于5厘米，b等于5厘米;而u'和ν'为像素空间的大小，如u'等于5 个像素，ν'等于5个像素。
[0068]假设得到的最大有效视角是76度，fx = 100，y = 100;
[0069] 假设校正图像分辨率为1000 X 1000，图像中心在(500，500)，即cx = 500，cy = 50， 当u ' = 0，v ' = 0 时，则a = _5，b = _5，r = sqrt(a Xa+b X b) = 5，9 = atan(r) = 78 · 69度大于 76 度，因此分辨率1000 X 1000校正后的图像会扭曲失真，因此不能在分辨率为1000 X 1000下 校正;sqrtO为求平方根的函数;tan〇为求正切值的函数。
[0070] 假设校正图像分辨率为800 X 800，图像中心在(400，400)，即CX = 400，cy = 400，当 u ' = 0，v，= 0时，则a = _4，b = _4，r = sqrt (a X a+b X b) = 4，Θ = atan(r) = 75 · 96度小于76 度，因此可以在分辨率为800X800下校正，利用公式（1)得出的值，并利用上述计算像 素点(u '，v '）的像素值的公式计算校正后的鱼眼镜头图像 中各个像素点的像素。
[0071] 图3为本发明鱼眼镜头图像校正装置一实施例的结构示意图。如图3所示，本实施 例的鱼眼镜头图像校正装置，包括:获取模块301、确定模块302和校正模块303;
[0072] 其中，获取模块301，用于根据鱼眼镜头采集到的标定图像，获取鱼眼镜头成像模 型的模型参数；
[0073]确定模块302,用于根据所述模型参数以及预设约束条件确定鱼眼镜头的有效视 角范围；
[0074]校正模块303,用于在所述有效视角范围内对鱼眼镜头所采集的鱼眼镜头图像进 行校正，得到校正后的鱼眼镜头图像。
[0075]可选地，所述获取模块301，还用于：
[0076]建立所述鱼眼镜头成像模型，并在所述鱼眼镜头成像模型上建立鱼眼镜头投影关 系；
[0077]所述鱼眼镜头投影关系如公式（1):
[0078]
[0079] 其中，efed+kW+kW+kl+iue8)为所述鱼眼镜头成像模型;1^上、1?、1^4为所述 鱼眼镜头成像模型的系数，9d为所述鱼眼镜头图像的像素点Pi与鱼眼图像平面坐标系原点 的距离；Θ为线段巧瓦与鱼眼镜头坐标系的Zc轴正方向的夹角;0c为鱼眼镜头坐标系的原 点，Pc为鱼眼镜头坐标系下与所述Pi对应的坐标点Pc (Xc，Yc，Zc);其中，Xc为Pc在鱼眼镜头 坐标系下Xc轴的坐标值，Yc为Pc在鱼眼镜头坐标系下Yc轴的坐标值，Zc为Pc在鱼眼镜头坐 标系下Zc轴的坐标值;Pw(Xw，Yw，Zw)为Pc (Xc，Yc，Zc)在世界坐标系下对应的点;Xw为Pw在 世界坐标系下XW轴的坐标值，Yw为 Pw在世界坐标系下Yw轴的坐标值，Zw为Pw在世界坐标系 下Zw轴的坐标值;R为旋转矩阵，T为平移向量;fx和fy分别为鱼眼图像平面坐标系到鱼眼镜 头坐标系的水平方向和垂直方向的量化系数，u和v分别为Pc在鱼眼图像平面坐标系下的水 平和垂直坐标，cx和cy为分别为鱼眼镜头图像中心在鱼眼图像平面坐标系下的水平和垂直 坐标;a和b分别为与Pc(X C，YC，Zc)对应的校正后的鱼眼镜头图像中的点Pr在鱼眼图像平面 坐标系下的水平和垂直的空间实际坐标，r为Pr与鱼眼图像平面坐标系的原点之间的距离； 1'和 7'为中间变量。
[0080] 可选地，所述获取模块301，具体用于：
[0081] 利用鱼眼镜头采集η幅标定图像，得到所述标定图像在世界坐标系和在鱼眼图像 平面坐标系下的nXm组对应点;所述nXm组对应点的坐标为(Xwi j，Ywi j，0)和(ui j，vi j); 其中，每幅所述标定图像包括m个黑白棋盘格的顶点；i的取值范围为[l，n]，j的取值范围为 [l，m] ;Xwij为第i幅图像第j个点在世界坐标系下Xw轴的坐标值，Ywi j为第i幅图像第j个点 在世界坐标系下Yw轴的坐标值;uij和vi j分别为第i幅图像第j个点在鱼眼图像平面坐标系 下的水平和垂直坐标;η和m为大于1的整数；
[0082] 根据所述nXm组对应点使用伯格-马夸特Levenberg-Marquardt算法确定所述鱼 眼镜头成像模型的模型参数;所述模型参数包括:R，T，kl，k2，k3，k4，fX，fy，cx，cy;
[0083]其中，所述算法的代价函数为
[0084]其中，min( ·)表示求最小值的函数；
[0085] m i」表示第i幅图像第j个点在鱼眼图像平面坐标系下的坐标， /η(Λ，T，/: U:2,./i, ./v,战，cj)表示第i幅图像第J_个点在世界坐标系下的坐标（Xw i j， Ywij，0)通过公式(1)计算得到的在鱼眼图像平面坐标系下的坐标。
[0086]可选的，所述确定模块302,具体用于：
[0087] 根据所述模型参数、Θ的预设初始范围以及0d的约束条件确定有效视角范围；所述 有效视角范围为所述Θ的有效范围；
[0088] 其中，所述0d的约束条件为0d大于〇,且小于Θ，且为所述Θ的单调递增函数；
[0089] Θ的预设初始范围为[0，ji/2]。
[0090] 可选地，所述校正模块303,具体用于：
[0091] 在所述有效视角范围内，根据校正后的鱼眼镜头图像的分辨率得到的像素点(u'， v '），利用公式(2)计算得到a和b的值；
[0092]
[0093]根据所述a和b的值利用公式(1)计算得到所述采集的图像的像素点(u，v);
[0094] 根据所述像素点(u，v)获取校正后的鱼眼镜头图像的像素点(u'，v'）的像素值为：
[0095] f(u' ,v' ) = (l-s)(l-t)f(i, j) + (l-s)tf(i, j+l)+s(l-t)f(i+l, j)+stf(i+l, j+ 1);
[0096] 其中，i表示u的整数部分，s表示u的小数部分，j表示v的整数部分，t表示v的小数 部分：
[0097] f(i，j)、f(i，j+l)、f(i+l，j)、f(i+l，j+l)分别为所述采集的图像在鱼眼图像平面 坐标系下的坐标为(1，」）、（1+1，」）、（1，」+1)、（1+1，」+1)所对应的4个像素点的像素值。
[0098] 上述实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实现原理和 技术效果类似，此处不再赘述。
[0099] 在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其 它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元或模块的 划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或模块 可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或 讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或模块的间接耦 合或通信连接，可以是电性，机械或其它的形式。
[0100]所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显 示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个 网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目 的。
[0101]本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过 程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序 在执行时，执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光 盘等各种可以存储程序代码的介质。
[0102]最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制;尽 管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解:其依 然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进 行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术 方案的范围。
【主权项】
1. 一种鱼眼镜头图像校正方法，其特征在于，包括： 根据鱼眼镜头采集到的标定图像，获取鱼眼镜头成像模型的模型参数； 根据所述模型参数以及预设约束条件确定鱼眼镜头的有效视角范围； 在所述有效视角范围内对鱼眼镜头所采集的鱼眼镜头图像进行校正，得到校正后的鱼 眼镜头图像。2. 根据权利要求1所述的方法，其特征在于，所述根据鱼眼镜头采集到的标定图像，获 取鱼眼镜头成像模型的模型参数之前，还包括： 建立所述鱼眼镜头成像模型，并在所述鱼眼镜头成像模型上建立鱼眼镜头投影关系； 所述鱼眼镜头投影关系如公式(1):其中，efed+kW+kM+k#+!^8)为所述鱼眼镜头成像模型;1^、1?、1?、1^4为所述鱼眼 镜头成像模型的系数，9d为所述鱼眼镜头图像的像素点Pi与鱼眼图像平面坐标系原点的距 离;Θ为线段与鱼眼镜头坐标系的Zc轴正方向的夹角;Oc为鱼眼镜头坐标系的原点，Pc 为鱼眼镜头坐标系下与所述Pi对应的坐标点？〇0〇，￥〇，2〇) ;其中4〇为?(3在鱼眼镜头坐标 系下Xc轴的坐标值，Yc为Pc在鱼眼镜头坐标系下Yc轴的坐标值，Zc为Pc在鱼眼镜头坐标系 下Zc轴的坐标值;Pw(Xw，Yw，Zw)为Pc(Xc，Yc，Zc)在世界坐标系下对应的点;Xw为Pw在世界 坐标系下Xw轴的坐标值，Yw为Pw在世界坐标系下Yw轴的坐标值，Zw为Pw在世界坐标系下Zw 轴的坐标值;R为旋 转矩阵，T为平移向量;fx和fy分别为鱼眼图像平面坐标系到鱼眼镜头坐 标系的水平方向和垂直方向的量化系数，u和V分别为Pc在鱼眼图像平面坐标系下的水平和 垂直坐标，cx和cy为分别为鱼眼镜头图像中心在鱼眼图像平面坐标系下的水平和垂直坐 标;a和b分别为与Pc(X C，YC，Zc)对应的校正后的鱼眼镜头图像中的点Pr在鱼眼图像平面坐 标系下的水平和垂直的空间实际坐标，r为Pr与鱼眼图像平面坐标系的原点之间的距离;X' 和y'为中间变量。3. 根据权利要求2所述的方法，其特征在于，所述根据鱼眼镜头采集到的标定图像，获 取鱼眼镜头成像模型的模型参数，包括： 利用鱼眼镜头采集η幅标定图像，得到所述标定图像在世界坐标系和在鱼眼图像平面 坐标系下的11\1]1组对应点；所述11\1]1组对应点的坐标为(乂￥；[」，￥￥；[」，0)和(11；[」，￥；[」） ；其中， 每幅所述标定图像包括m个黑白棋盘格的顶点；i的取值范围为[l，n]，j的取值范围为[1， m];Xwi j为第i幅图像第j个点在世界坐标系下Xw轴的坐标值，Ywi j为第i幅图像第j个点在 世界坐标系下Yw轴的坐标值;Uij和vij分别为第i幅图像第j个点在鱼眼图像平面坐标系下 的水平和垂直坐标;η和m为大于1的整数； 根据所述n Xm组对应点使用伯格-马夸特Levenberg-Marquardt算法确定所述鱼眼镜 头成像模型的模型参数;所述模型参数包括:R，T，kl，k2，k3，k4，fX，fy，cx，cy; 其中，所述算法的代价函数为其中，min( ·)表示求最小值的函数； m i」表示第i幅图像第j个点在鱼眼图像平面坐标系下的坐标，,表示第i幅图像第j个点在世界坐标系下的坐标（Xwij， Ywij，0)通过公式(1)计算得到的在鱼眼图像平面坐标系下的坐标。4. 根据权利要求2所述的方法，其特征在于，所述根据所述模型参数以及预设约束条件 确定鱼眼镜头的有效视角范围，包括： 根据所述模型参数、Θ的预设初始范围以及0d的约束条件确定有效视角范围；所述有效 视角范围为所述Θ的有效范围； 其中，所述9d的约束条件为0d大于0,且小于Θ，且为所述Θ的单调递增函数； Θ的预设初始范围为[〇，V2]。5. 根据权利要求2所述的方法，其特征在于，所述在所述有效视角范围内对鱼眼镜头所 采集的图像进行校正，得到校正后的鱼眼镜头图像，包括： 在所述有效视角范围内，根据校正后的鱼眼镜头图像的分辨率得到的像素点(u'，v'）， 利用公式(2)计算得到a和b的值；根据所述a和b的值利用公式(1)计算得到所述采集的图像的像素点(u，V); 根据所述像素点(u，v)获取校正后的鱼眼镜头图像的像素点(u'，v'）的像素值为： f(u，，v，）= (I-S)(l-t)f(i，j) + (l-s)tf(i，j+l)+s(l-t)f(i+l，j)+stf(i+l，j+l); 其中，i表示u的整数部分，s表示u的小数部分，j表示v的整数部分，t表示v的小数部分： f(i，j)、f(i，j+l)、f(i+lj)、f(i+lj+l)分别为所述采集的图像在鱼眼图像平面坐标 系下的坐标为(1，」）、（1+1，」）、（1，」+1)、（1+1，」+1)所对应的4个像素点的像素值。6. -种鱼眼镜头图像校正装置，其特征在于，包括： 获取模块，用于根据鱼眼镜头采集到的标定图像，获取鱼眼镜头成像模型的模型参数； 确定模块，用于根据所述模型参数以及预设约束条件确定鱼眼镜头的有效视角范围； 校正模块，用于在所述有效视角范围内对鱼眼镜头所采集的鱼眼镜头图像进行校正， 得到校正后的鱼眼镜头图像。7. 根据权利要求6所述的装置，其特征在于，所述获取模块，还用于： 建立所述鱼眼镜头成像模型，并在所述鱼眼镜头成像模型上建立鱼眼镜头投影关系； 所述鱼眼镜头投影关系如公式(1):I 其中，efed+kW+kM+k#+!^8)为所述鱼眼镜头成像模型;1^、1?、1?、1^4为所述鱼眼 镜头成像模型的系数，9d为所述鱼眼镜头图像的像素点Pi与鱼眼图像平面坐标系原点的距 离;Θ为线段与鱼眼镜头坐标系的Zc轴正方向的夹角;Oc为鱼眼镜头坐标系的原点，Pc 为鱼眼镜头坐标系下与所述Pi对应的坐标点？〇0〇，￥〇，2〇) ;其中4〇为?(3在鱼眼镜头坐标 系下Xc轴的坐标值，Yc为Pc在鱼眼镜头坐标系下Yc轴的坐标值，Zc为Pc在鱼眼镜头坐标系 下Zc轴的坐标值;Pw(Xw，Yw，Zw)为Pc(Xc，Yc，Zc)在世界坐标系下对应的点;Xw为Pw在世界 坐标系下Xw轴的坐标值，Yw为Pw在世界坐标系下Yw轴的坐标值，Zw为Pw在世界坐标系下Zw 轴的坐标值;R为旋转矩阵，T为平移向量;fx和fy分别为鱼眼图像平面坐标系到鱼眼镜头坐 标系的水平方向和垂直方向的量化系数，u和V分别为Pc在鱼眼图像平面坐标系下的水平和 垂直坐标，cx和cy为分别为鱼眼镜头图像中心在鱼眼图像平面坐标系下的水平和垂直坐 标;a和b分别为与Pc(X C，YC，Zc)对应的校正后的鱼眼镜头图像中的点Pr在鱼眼图像平面坐 标系下的水平和垂直的空间实际坐标，r为Pr与鱼眼图像平面坐标系的原点之间的距离;X' 和y'为中间变量。8. 根据权利要求7所述的装置，其特征在于，所述获取模块，具体用于： 利用鱼眼镜头采集η幅标定图像，得到所述标定图像在世界坐标系和在鱼眼图像平面 坐标系下的11\1]1组对应点；所述11\1]1组对应点的坐标为(乂￥；[」，￥￥；[」，0)和(11；[」，￥；[」） ；其中， 每幅所述标定图像包括m个黑白棋盘格的顶点；i的取值范围为[l，n]，j的取值范围为[1， m];Xwi j为第i幅图像第j个点在世界坐标系下Xw轴的坐标值，Ywi j为第i幅图像第j个点在 世界坐标系下Yw轴的坐标值;Uij和Vij分别为第i幅图像第j个点在鱼眼图像平面坐标系下 的水平和垂直坐标;η和m为大于1的整数； 根据所述n Xm组对应点使用伯格-马夸特Levenberg-Marquardt算法确定所述鱼眼镜 头成像模型的模型参数;所述模型参数包括:R，T，kl，k2，k3，k4，fX，fy，cx，cy; 其中，所述算法的代价函数为其中，min( ·)表示求最小值的函数； m i」表示第i幅图像第j个点在鱼眼图像平面坐标系下的坐标，表示第i幅图像第j个点在世界坐标系下的坐标（Xwij， Ywij，0)通过公式(1)计算得到的在鱼眼图像平面坐标系下的坐标。9. 根据权利要求7所述的装置，其特征在于，所述确定模块，具体用于： 根据所述模型参数、Θ的预设初始范围以及0d的约束条件确定有效视角范围；所述有效 视角范围为所述Θ的有效范围； 其中，所述9d的约束条件为0d大于0,且小于Θ，且为所述Θ的单调递增函数； Θ的预设初始范围为[〇，V2]。10. 根据权利要求7所述的装置，其特征在于，所述校正模块，具体用于： 在所述有效视角范围内，根据校正后的鱼眼镜头图像的分辨率得到的像素点(u'，v'）， 利用公式(2)计算得到a和b的值；根据所述a和b的值利用公式(1)计算得到所述采集的图像的像素点(u，V); 根据所述像素点(u，v)获取校正后的鱼眼镜头图像的像素点(u'，v'）的像素值为： f(u，，v，）= (I-S)(l-t)f(i，j) + (l-s)tf(i，j+l)+s(l-t)f(i+l，j)+stf(i+l，j+l); 其中，i表示u的整数部分，s表示u的小数部分，j表示v的整数部分，t表示v的小数部分： f(i，j)、f(i，j+l)、f(i+lj)、f(i+lj+l)分别为所述采集的图像在鱼眼图像平面坐标 系下的坐标为(1，」）、（1+1，」）、（1，」+1)、（1+1，」+1)所对应的4个像素点的像素值。
【专利摘要】本发明提供一种鱼眼镜头图像校正方法及装置。本发明鱼眼镜头图像校正方法，包括：根据鱼眼镜头采集到的标定图像，获取鱼眼镜头成像模型的模型参数；根据所述模型参数以及预设约束条件确定鱼眼镜头的有效视角范围；在所述有效视角范围内对鱼眼镜头所采集的鱼眼镜头图像进行校正，得到校正后的鱼眼镜头图像。本发明能够把畸变的鱼眼镜头图像还原为满足人眼视觉效果的透视图像。
【IPC分类】G06T5/00
【公开号】CN105488766
【申请号】CN201510819265
【发明人】江水郎, 郑新芬, 冯津, 曹昉旻
【申请人】上海汽车集团股份有限公司
【公开日】2016年4月13日
【申请日】2015年11月23日
最新回复(0)