鱼眼图像校正方法及装置的制造方法
鱼眼图像校正方法及装置的制造方法
【技术领域】
[0001] 本发明涉及图像处理技术，尤其涉及一种鱼眼图像校正方法及装置。
【背景技术】
[0002] 鱼眼镜头作为一种超广角镜头，其视角可以达到或超过180°，即可拍摄的范围非 常大，因此在视频监控、虚拟现实、三维建模、视觉导航领域有广泛的应用。
[0003] 具体地，鱼眼镜头将半球形物面成像为平面，因此所拍摄的图像严重畸变，使得人 的视觉上感受不自然，因此需要将鱼眼镜头所拍摄的畸变图像校正为人的视觉可以接受的 透视投影图像。现有技术中进行鱼眼图像校正的方法中，包括鱼眼成像面投影模型、二维图 像畸变校正、三维图像畸变校正三类。其中较为常用的三维图像畸变校正方法，是基于球面 坐标定位法实现的。
[0004] 但是，采用现有技术的校正方法，基于球面坐标需要采用多项式坐标变换和极半 径映射，其计算复杂且精度低，导致鱼眼图像校正的效率和准确率不高。
【发明内容】
[0005] 本发明提供一种鱼眼图像校正方法及装置，用于解决现有技术中计算复杂且精度 低导致鱼眼图像校正的效率和准确率不高的问题。
[0006] 本发明第一方面提供一种鱼眼图像校正方法，包括：
[0007] 获取鱼眼图像中多个像素点在鱼眼镜头坐标系中与中心轴的夹角Θ;
[0008] 根据预设的鱼眼镜头参数表，确定与多个所述夹角Θ分别对应的距离r和距离0d， 获取多组0、r、0 d，其中，所述鱼眼镜头参数表包括:θ、r、θd之间的映射关系，所述距离 r为所 述像素点在鱼眼图像平面坐标系中的校正成像点到所述鱼眼图像平面坐标系中原点的距 离，所述距离9 d为所述像素点在鱼眼图像平面坐标系中的鱼眼成像点到所述鱼眼图像平面 坐标系中原点的距离；
[0009] 根据所述多组0、r、0d&及预设的鱼眼镜头成像模型公式获取校正参数；
[0010] 根据所述校正参数以及预设的转换公式，建立各所述像素点的校正成像点与鱼眼 成像点的对应关系；
[0011] 根据所述对应关系，获取所述鱼眼成像点的像素值，将所述像素值赋予所述校正 成像点，得到校正图像。
[0012] 结合第一方面，在第一方面的第一种可能的实现方式中，所述根据所述多组Θ、Γ、 0d以及预设的鱼眼镜头成像模型公式获取校正参数，包括：
[0013] 根据所述多组0、r以及预设的第一鱼眼镜头成像模型公式r = f tan(0)，得到第一 校正参数f;
[0014] 根据所述多组0、0d以及预设的第二鱼眼镜头成像模型公式 0 6+k408)，得到第二校正参数k〇、ki、k2、k3、k4。
[0015] 结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式 中，所述根据所述多组Θ、Γ以及预设的第一鱼眼镜头成像模型公式r = f tan(0)，得到第一 校正参数f，包括：
[0016]根据第一鱼眼镜头成像模型公式r = f tan(0)，分别计算每组0、r对应的初始第一 校正参数，得到多个初始第一校正参数；
[0017]对所述多个初始第一校正参数进行拟合，得到所述第一校正参数f。
[0018] 结合第一方面的第一种可能的实现方式，在第一方面的第三种可能的实现方式 中，所述根据所述多组0、0d以及预设的第二鱼眼镜头成像模型公式eekoea+kW+kW+h 06+k408)，得到第二校正参数k〇、ki、k2、k3、k4，包括：
[0019] 根据所述多组0、0d以及预设的第二鱼眼镜头成像模型公式eFkoea+kW+kM+fo 06+k408)，建立至少一个方程组；
[0020] 分别计算每个所述方程组，得到多个初始第二校正参数；
[0021] 对所述多个初始第二校正参数进行拟合，得到所述第二校正参数khkhkhkhlu。
[0022] 结合第一方面的第一种至第三种可能的实现方式中的任一种，在第一方面的第四 种可能的实现方式中，所述获取鱼眼图像中多个像素点在鱼眼镜头坐标系中与中心轴的夹 角Θ之前，还包括：
[0023] 将所述鱼眼图像进行椭圆拟合，获取椭圆形鱼眼图像，再将所述椭圆形鱼眼图像 转化为圆形鱼眼图像，并且得到圆形鱼眼图像的中心点，将所述中心点作为所述鱼眼镜头 坐标系的原点，根据所述鱼眼镜头坐标系的原点确定所述鱼眼镜头坐标系；
[0024] 根据所述中心点以及鱼眼镜头的焦距，确定所述鱼眼图像平面坐标系的原点，并 根据所述鱼眼图像平面坐标系的原点确定所述鱼眼图像平面坐标系。
[0025] 结合第一方面，在第一方面的第五种可能的实现方式中，所述根据所述对应关系， 获取所述鱼眼成像点的像素值，将所述像素值赋予所述校正成像点，得到校正图像，包括：
[0026] 根据所述对应关系，采用双线性插值处理，从所述鱼眼成像点获取像素值，将所述 像素值赋予所述校正成像点，得到校正图像。
[0027]本发明第二方面提供一种鱼眼图像校正装置，包括：
[0028] 第一获取模块，用于获取鱼眼图像中多个像素点在鱼眼镜头坐标系中与中心轴的 夹角Θ;
[0029] 确定模块，用于根据预设的鱼眼镜头参数表，确定与多个所述夹角Θ分别对应的距 离r和距离0d，获取多组0、 r、0d，其中，所述鱼眼镜头参数表包括"^…之间的映射关系^ 述距离r为所述像素点在鱼眼图像平面坐标系中的校正成像点到所述鱼眼图像平面坐标系 中原点的距离、所述距离0 d为所述像素点在鱼眼图像平面坐标系中的鱼眼成像点到所述鱼 眼图像平面坐标系中原点的距离；
[0030] 第二获取模块，用于根据所述多组0、r、0d以及预设的鱼眼镜头成像模型公式获取 校正参数；
[0031] 建立模块，用于根据所述校正参数以及预设的转换公式，建立各所述像素点的校 正成像点与鱼眼成像点的对应关系；
[0032] 生成模块，用于根据所述对应关系，获取所述鱼眼成像点的像素值，将所述像素值 赋予所述校正成像点，得到校正图像。
[0033] 结合第二方面，在第二方面的第一种可能的实现方式中，所述第二获取模块包括：
[0034] 第一校正单元，用于根据所述多组Θ、Γ以及预设的第一鱼眼镜头成像模型公式r = f tan(0)，得到第一校正参数f;
[0035] 第二校正单元，用于根据所述多组0、0d以及预设的第二鱼眼镜头成像模型公式0d = k〇9 (l+ki92+k294+k396+k498)，得到第一校正参数ko、ki、k2、k3、k4。
[0036] 结合第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式 中，所述第一校正单元，具体用于:根据第一鱼眼镜头成像模型公式r = f tan(0)，分别计算 每组Θ、Γ对应的初始第一校正参数，得到多个初始第一校正参数;对所述多个初始第一校正 参数进行拟合，得到所述第一校正参数f。
[0037] 结合第二方面的第一种可能的实现方式，在第二方面的第三种可能的实现方式 中，所述第二校正单元，具体用于:根据所述多组9、0 d&及预设的第二鱼眼镜头成像模型公 式0(1 = 1^0 (1+kl02+k204+k306+k4()8)，建立至少一个方程组;分别计算每个所述方程组，得到 多个初始第二校正参数;对所述多个初始第二校正参数进行拟合，得到所述第二校正参数 k〇、ki、k2、k3、k4〇
[0038] 本发明所提供的鱼眼图像校正方法，在根据预设的鱼眼镜头参数表获取到多组Θ、 ^0(1后，根据所获取到的多组0、 r、0d&及预设的鱼眼镜头 成像模型公式获取到校正参数，再 根据校正参数以及预设的转换公式即可建立起校正成像点与鱼眼成像点之间的对应关系， 在进行具体的鱼眼图像较正时，直接使用已建立起的校正成像点与鱼眼成像点之间的对应 关系即可实现鱼眼图像的实时校正。本发明所提供的鱼眼图像校正方法，仅利用鱼眼镜头 参数表、预设的鱼眼镜头成像模型公式以及预设的转换公式进行计算，相比于现有技术中 的鱼眼图像校正方法，实现方法非常简单，同时由于使用公式计算，因此能够保证鱼眼图像 校正的精度，从而保证鱼眼图像校正的效率以及准确率。
【附图说明】
[0039] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发 明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根 据这些附图获得其他的附图。
[0040] 图1为本发明所提供的鱼眼镜头成像模型示意图；
[0041] 图2为本发明所提供的鱼眼图像校正方法的实施例一的流程示意图；
[0042]图3为本发明所提供的鱼眼图像校正方法的实施例二的流程示意图；
[0043]图4为本发明所提供的鱼眼图像校正方法的实施例三的流程示意图；
[0044] 图5为本发明所提供的鱼眼图像校正方法的实施例四的流程示意图；
[0045] 图6为本发明所提供的鱼眼图像校正方法的实施例五的流程示意图；
[0046] 图7为本发明所提供的鱼眼图像校正装置的实施例一的结构示意图；
[0047]图8为本发明所提供的鱼眼图像校正装置的实施例二的结构示意图。
【具体实施方式】
[0048]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。
[0049] 图1为本发明所提供的鱼眼镜头成像模型示意图，如图1所示，OcXcYcZc为鱼眼镜 头坐标系，OiXiYiZi为鱼眼图像平面坐标系，鱼眼镜头坐标系的原点与鱼眼图像平面坐标 系的原点之间的距离为鱼眼镜头的焦距fd表示鱼眼镜头所拍摄的鱼眼图像的像素点在鱼 眼镜头坐标系中对应的成像点与中心轴的夹角。假设鱼眼镜头所拍摄的鱼眼图像的其中一 个像素点在鱼眼镜头坐标系中对应的成像点为Pc，则该成像点Pc所对应的鱼眼图像平面坐 标系中的鱼眼成像点为Pi，对成像点Pi进行校正之后的校正成像点为Pr，该校正成像点Pr 在鱼眼图像平面坐标系中的坐标为(a，b)。鱼眼成像点Pi与鱼眼图像平面坐标系的原点之 间的距离为9d，校正成像点Pr与鱼眼图像平面坐标系的原点之间的距离为r。在鱼眼图像校 正中，需要使用上述模型所定义的坐标系、成像点之间的关系来进行鱼眼图像校正。
[0050] 需要说明的是，本发明下述实施例中所使用的标记符号都是基于图1所定义的标 记符号。
[0051] 图2为本发明所提供的鱼眼图像校正方法的实施例一的流程示意图，该方法的执 行主体可以是终端，例如计算机、服务器等设备，如图2所示，该方法包括：
[0052] S101、获取鱼眼图像中多个像素点在鱼眼镜头坐标系中与中心轴的夹角Θ。
[0053] S102、根据预设的鱼眼镜头参数表，确定与多个夹角Θ分别对应的距离r和距离0d， 获取多组0、r、0d，其中，鱼眼镜头参数表包括:0、r、0d2间的映射关系，距离 r为上述像素点 在鱼眼图像平面坐标系中的校正成像点到鱼眼图像平面坐标系中原点的距离，距离9d为上 述像素点在鱼眼图像平面坐标系中的鱼眼成像点到鱼眼图像平面坐标系中原点的距离。
[0054] -般情况下，针对每一种鱼眼镜头，鱼眼镜头厂商会提供一份鱼眼镜头参数表，该 参数表给出了针对不同的Θ，其所对应的 r和θd。即每一个鱼眼镜头参数表都包括了 间的映射关系。
[0055] 当根据鱼眼图像的某个像素点获取到Θ后，即可根据鱼眼镜头参数表获取其所对 应r和θd。依次类推，采用多个像素点对应的Θ，就可以获取多组Θ、 r、0d。
[0056] 表1为鱼眼镜头参数表的示例，如表1所示：
[0057]
[0058] 表1
[0059] 其中，表1中的dist表示失真率。
[0060] S103、根据上述多组0、r、0d&及预设的鱼眼镜头成像模型公式获取校正参数。 [0061] S104、根据上述校正参数以及预设的转换公式，建立各像素点的校正成像点与鱼 眼成像点的对应关系。
[0062]具体地，当获取到校正参数之后，将校正参数代入预设的转换公式中，转换公式表 示了校正成像点的坐标转换为鱼眼成像点坐标的公式。
[0063]可选地，当建立起各像素点的校正成像点与鱼眼成像点的对应关系后，可以将对 应关系保存在文件中，例如二进制文件中。由于对于同一种图像分辨率，校正成像点与鱼眼 成像点之间的对应关系都是唯一的，因此，通过上述方法所建立起立的校正成像点与鱼眼 成像点之间的对应关系可以应用于一种图像分辨率下的所有具体的鱼眼图像。将这种对应 关系保存在文件中后，当需要对一个特定的鱼眼图像进行校正时，直接使用文件中保存的 对应关系即可。从而满足了鱼眼图像校正的实时性要求。
[0064] S105、根据上述对应关系，获取鱼眼成像点的像素值，将像素值赋予校正成像点， 得到校正图像。
[0065]具体地，基于已经生成的校正成像点与鱼眼成像点之间的对应关系，在对一个特 定的鱼眼图像进行校正时，首先获取鱼眼成像点的像素值，再将这个像素值赋予与鱼眼成 像点对应的校正成像点，当所有的校正成像点都被赋予了像素值之后，则形成了校正后的 完整图像，从而完成鱼眼图像的校正。
[0066] 本实施例中，在根据预设的鱼眼镜头参数表获取到多组0、^0(1后，根据所获取到 的多组0、r、0 d&及预设的鱼眼镜头成像模型公式获取到校正参数，再根据校正参数以及预 设的转换公式即可建立起校正成像点与鱼眼成像点之间的对应关系，在进行具体的鱼眼图 像较正时，直接使用已建立起的校正成像点与鱼眼成像点之间的对应关系即可实现鱼眼图 像的实时校正。本实施例所提供的鱼眼图像校正方法，仅利用鱼眼镜头参数表、预设的鱼眼 镜头成像模型公式以及预设的转换公式进行计算，相比于现有技术中的鱼眼图像校正方 法，实现方法非常简单，同时由于使用公式计算，因此能够保证鱼眼图像校正的精度，从而 保证鱼眼图像校正的效率以及准确率。
[0067] 图3为本发明所提供的鱼眼图像校正方法的实施例二的流程示意图，如图3所示， 上述步骤S103具体包括：
[0068] S201、根据多组Θ、Γ以及预设的第一鱼眼镜头成像模型公式r = f tan(0)，得到第 一校正参数f。
[0069] 上述第一鱼眼镜头成像模型公式r = f tan(0)使用公式来表示r和θ之间的关系， 公式中的f表示第一校正参数，对于每一组9、r，会对应一个具体的f，每组Θ、 Γ所对应的f可 能并不相同。通过对多组Θ、γ所对应的具体f进行相应处理，可以得到一个特定的应用于所 有0、r组的第一校正参数f。
[0070] 对不同的具体f进行相应处理后，可以得到一个特定的第一校正参数f，将该参数 代入预设的转换公式，即可快速计算出鱼眼成像点和校正成像点之间的对应关系。
[0071] S202、根据所述多组0、0d以及预设的第二鱼眼镜头成像模型公式= 1?θ4+1?3θ 6+1?4 θ8)，得到第二枚正参数k〇、ki、k2、k3、k4〇
[0072] 上述第二鱼眼镜头成像模型公式e^koea+kW+kW+kW+iue8)使用公式来表示 Θ和9d之间的关系，公式中的1<：()、1<：1、1<：2、1?、1<：4表不第二校正参数，对于每一组Θ、9d，会对应一 组具体的1^、1^1、1?、1?、1^4，每组9、9(]所对应的具体的1?、1^1、1?、1?、1^4值可能并不相同。通过对 多组θ、θ<^对应的具体的1^、1^上、1?、1^4进行相应处理，可以得到一个特定的应用于所有0、 Qd组的第二校正参数k〇、ki、k2、k3、k4。
[0073] 对不同的具体1^、1^1、1?、1?、1^4进行相应处理后，可以得到一个特定的第二校正参数 匕上上上上牖该参数代入预设的转换公式凋可快速计算出鱼眼成像点和校正成像点 之间的对应关系。
[0074] 图4为本发明所提供的鱼眼图像校正方法的实施例三的流程示意图，如图4所示， 上述步骤S201具体包括：
[0075] S301、根据第一鱼眼镜头成像模型公式r = f tan(0)，分别计算每组0、r对应的初 始第一校正参数，得到多个初始第一校正参数。
[0076] S302、对上述多个初始第一校正参数进行拟合，得到第一校正参数f。
[0077] 在计算出多个具体的初始第一校正参数后，使用拟合的方式得到特定的第一校正 参数f，这个特定的第一校正参数f适用于所有的Θ、γ组。再将这个特定的第一校正参数f代 入预设的转换公式，即可快速计算出鱼眼成像点和校正成像点之间的对应关系。使用拟合 的方式确定一个特定的第一校正参数，使得使用转换公式建立鱼眼成像点和校正成像点对 应关系的计算更加简单和高效。
[0078] 图5为本发明所提供的鱼眼图像校正方法的实施例四的流程示意图，如图5所示， 上述步骤S202具体包括：
[0079] S401、根据多组0、0d以及预设的第二鱼眼镜头成像模型公式Θρ?^θα+Ιαθ%!^4- k306+k408)，建立至少一个方程组。
[0080] S402、分别计算每个方程组，得到多个初始第二校正参数。
[0081 ] S403、对上述多个初始第二校正参数进行拟合，得到第二校正参数khkhkhkhlu。
[0082] 在计算出多个具体的初始第二校正参数后，使用拟合的方式得到特定的第二校正 参数匕、1^上、1?、1^4，这个特定的第二校正参数1?、1^ 1、1?、1?、1^4适用于所有的0、0(1组。再将这 个特定的第二校正参数匕、1^、1?、1?、1^代入预设的转换公式，即可快速计算出鱼眼成像点和 校正成像点之间的对应关系。使用拟合的方式确定一个特定的第二校正参数，使得使用转 换公式建立鱼眼成像点和校正成像点对应关系的计算更加简单和高效。
[0083] 另一实施例中，上述预设的转换公式具体可以为： L J r
[0089]其中，（a，b)表示校正成像点的坐标，（u，V)表示鱼眼成像点的坐标，f表示上述第 一校正参数f，1^、1^1、1?、1?、1^4表示上述第二校正参数1?、1^1、1?、1?、1^4。当获取到校正成像点 的坐标后，根据上述转换公式逐一进行计算，可以计算出与其对应的鱼眼成像点的坐标。即 对于一个确定的校正成像点，经过上述计算，可以得到其对应的鱼眼成像点，从而建立起各 像素点的校正成像点与鱼眼成像点的对应关系。
[0090] 图6为本发明所提供的鱼眼图像校正方法的实施例五的流程示意图，如图6所示， 在上述步骤S101之前还包括：
[0091] S501、将鱼眼图像进行椭圆拟合，获取椭圆形鱼眼图像，再将该椭圆形鱼眼图像转 化为圆形鱼眼图像，并且得到圆形鱼眼图像的中心点，将该中心点作为鱼眼镜头坐标系的 原点，根据鱼眼镜头坐标系的原点确定鱼眼镜头坐标系。
[0092] 由于鱼眼镜头成像面的水平和垂直方向的量化系数不相等或者鱼眼图像的水平 方向扩充，导致鱼眼图像并非圆形，因此可以使用椭圆拟合将鱼眼图像拟合为椭圆形鱼眼 图像。具体地，可以对鱼眼图像进行二值化处理并且得到鱼眼图像的边缘图，再使用最小二 乘法进行拟合椭圆，从而得到椭圆形鱼眼图像及其中心点。
[0093] 进一步地，将上述椭圆形鱼眼图像在水平方向缩小相应的倍数，将椭圆形鱼眼图 像转化为圆形鱼眼图像，从而得到圆形鱼眼图像以及圆形鱼眼图像的中心点。该中心点即 为鱼眼镜头坐标系的原点。
[0094] S502、根据上述中心点以及鱼眼镜头的焦距，确定鱼眼图像平面坐标系的原点，并 根据鱼眼图像平面坐标系的原点确定鱼眼图像平面坐标系。
[0095]另一实施例中，上述步骤S105具体包括：
[0096]根据上述对应关系，采用双线性插值处理，从鱼眼成像点获取像素值，将所述像素 值赋予所述校正成像点，得到校正图像。
[0097]具体地，鱼眼成像点与校正成像点的对应关系通过其在鱼眼图像平面坐标系中的 坐标的对应关系来表示，假设校正成像点的坐标为(a，b)，鱼眼成像点的坐标为(u，v)，并假 设i为u的整数部分，s为u的小数部分，j为v的整数部分，t为v的小数部分，f(a，b)表示校正 成像点(a，b)的像素值，则f (a，b)的计算公式为：
[0098] f(a,b)=(l-s)(l-t)f(i,j)+(l-s)tf(i,j+l)+s(l-t)f(i+l,j)+stf(i+l,j+1)
[0099] 根据上述公式，校正成像点（a，b)的像素值可由坐标为（i，j)、（i+l，j)、（i，j+l)、 (i+1，j+1)的四个鱼眼成像点的像素值双线性插值获得。
[0100] 图7为本发明所提供的鱼眼图像校正装置的实施例一的结构示意图，如图7所示， 该装置包括：
[0101] 第一获取模块701，用于获取鱼眼图像中多个像素点在鱼眼镜头坐标系中与中心 轴的夹角Θ。
[0102] 确定模块702,用于根据预设的鱼眼镜头参数表，确定与多个夹角Θ分别对应的距 离r和距离0d，获取多组0、 r、0d，其中，鱼眼镜头参数表包括:Θ、Γ、Θ<^间的映射关系，距离 r 为上述像素点在鱼眼图像平面坐标系中的校正成像点到鱼眼图像平面坐标系中原点的距 离、距离0d为上述像素点在鱼眼图像平面坐标系中的鱼眼成像点到鱼眼图像平面坐标系中 原点的距离。
[0103] 第二获取模块703,用于根据上述多组0、r、0d以及预设的鱼眼镜头成像模型公式 获取校正参数。
[0104] 建立模块704,用于根据上述校正参数以及预设的转换公式，建立各像素点的校正 成像点与鱼眼成像点的对应关系。
[0105] 生成模块705,用于根据上述对应关系，获取鱼眼成像点的像素值，将该像素值赋 予校正成像点，得到校正图像。
[0106] 该装置用于执行前述方法实施例，其实现原理和技术效果类似，在此不再赘述。
[0107] 图8为本发明所提供的鱼眼图像校正装置的实施例二的结构示意图，如图8所示， 第二获取模块703具体包括：
[0108] 第一校正单元7031，用于根据多组Θ、Γ以及预设的第一鱼眼镜头成像模型公式r = f tan(0)，得到第一校正参数f。
[0109] 第二校正单元7032,用于根据多组0、0d以及预设的第二鱼眼镜头成像模型公式0d = k〇9 (l+ki92+k294+k396+k498)，得到第一校正参数ko、ki、k2、k3、k4。
[0110] 进一步地，第一校正单元7031，具体用于根据第一鱼眼镜头成像模型公式 r = f tan(0)，分别计算每组0、r对应的初始第一校正参数，得到多个初始第一校正参数;对多个 初始第一校正参数进行拟合，得到第一校正参数f。
[0111] 进一步地，第二校正单元7032,具体用于根据多组0、0d以及预设的第二鱼眼镜头 成像模型公式9d = k〇0 (l+kdhkWhkWS+lue8)，建立至少一个方程组；分别计算每个方程 组，得到多个初始第二校正参数;对多个初始第二校正参数进行拟合，得到第二校正参数 k〇、ki、k2、k3、k4〇
[0112] 本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通 过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程 序在执行时，执行包括上述各方法实施例的步骤;而前述的存储介质包括:R〇M、RAM、磁碟或 者光盘等各种可以存储程序代码的介质。
[0113] 最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制;尽 管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解:其依 然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进 行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术 方案的范围。
【主权项】
1. 一种鱼眼图像校正方法，其特征在于，包括： 获取鱼眼图像中多个像素点在鱼眼镜头坐标系中与中心轴的夹角Θ; 根据预设的鱼眼镜头参数表，确定与多个所述夹角Θ分别对应的距离r和距离0d，获取多 组0、r、0d，其中，所述鱼眼镜头参数表包括:θ、r、θd之间的映射关系，所述距离r为所述像素 点在鱼眼图像平面坐标系中的校正成像点到所述鱼眼图像平面坐标系中原点的距离，所述 距离9d为所述像素点在鱼眼图像平面坐标系中的鱼眼成像点到所述鱼眼图像平面坐标系 中原点的距离； 根据所述多组9、r、0d&及预设的鱼眼镜头成像模型公式获取校正参数； 根据所述校正参数以及预设的转换公式，建立各所述像素点的校正成像点与鱼眼成像 点的对应关系； 根据所述对应关系，获取所述鱼眼成像点的像素值，将所述像素值赋予所述校正成像 点，得到校正图像。2. 根据权利要求1所述的方法，其特征在于，所述根据所述多组0、r、0d&及预设的鱼眼 镜头成像模型公式获取校正参数，包括： 根据所述多组Θ、γ以及预设的第一鱼眼镜头成像模型公式r=ftan(0)，得到第一校正 参数f; 根据所述多组0、0d以及预设的第二鱼眼镜头成像模型公式e^koea+kW+k^^+kW+iu Θ8)，得到第二校正参数k〇、ki、k2、k3、k4。3. 根据权利要求2所述的方法，其特征在于，所述根据所述多组0、r以及预设的第一鱼 眼镜头成像模型公式r=ftan(0)，得到第一校正参数f，包括： 根据第一鱼眼镜头成像模型公式r=ftan(0)，分别计算每组0、r对应的初始第一校正 参数，得到多个初始第一校正参数； 对所述多个初始第一校正参数进行拟合，得到所述第一校正参数f。4. 根据权利要求2所述的方法，其特征在于，所述根据所述多组0、0d以及预设的第二鱼 眼镜头成像模型公式 9<1 = 1?0(1+1^2+1?04+1?06+1^408)，得到第二校正参数1?、1^1、1?、1?、1^4，包 括： 根据所述多组0、0d以及预设的第二鱼眼镜头成像模型公式e^koea+kW+k^^+kW+iu θ8)，建立至少一个方程组； 分别计算每个所述方程组，得到多个初始第二校正参数； 对所述多个初始第二校正参数进行拟合，得到所述第二校正参数1?、1αΛ2、1?Λ4。5. 根据权利要求2-4任一项所述的方法，其特征在于，所述获取鱼眼图像中多个像素点 在鱼眼镜头坐标系中与中心轴的夹角Θ之前，还包括： 将所述鱼眼图像进行椭圆拟合，获取椭圆形鱼眼图像，再将所述椭圆形鱼眼图像转化 为圆形鱼眼图像，并且得到圆形鱼眼图像的中心点，将所述中心点作为所述鱼眼镜头坐标 系的原点，根据所述鱼眼镜头坐标系的原点确定所述鱼眼镜头坐标系； 根据所述中心点以及鱼眼镜头的焦距，确定所述鱼眼图像平面坐标系的原点，并根据 所述鱼眼图像平面坐标系的原点确定所述鱼眼图像平面坐标系。6. 根据权利要求1所述的方法，其特征在于，所述根据所述对应关系，获取所述鱼眼成 像点的像素值，将所述像素值赋予所述校正成像点，得到校正图像，包括： 根据所述对应关系，采用双线性插值处理，从所述鱼眼成像点获取像素值，将所述像素 值赋予所述校正成像点，得到校正图像。7. -种鱼眼图像校正装置，其特征在于，包括： 第一获取模块，用于获取鱼眼图像中多个像素点在鱼眼镜头坐标系中与中心轴的夹角 θ; 确定模块，用于根据预设的鱼眼镜头参数表，确定与多个所述夹角Θ分别对应的距离r和距离0d，获取多组0、r、0d，其中，所述鱼眼镜头参数表包括:0^、0(1之间的映射关系，所述 距离r为所述像素点在鱼眼图像平面坐标系中的校正成像点到所述鱼眼图像平面坐标系中 原点的距离、所述距离9 d为所述像素点在鱼眼图像平面坐标系中的鱼眼成像点到所述鱼眼 图像平面坐标系中原点的距离； 第二获取模块，用于根据所述多组9、r、0d&及预设的鱼眼镜头成像模型公式获取校正 参数； 建立模块，用于根据所述校正参数以及预设的转换公式，建立各所述像素点的校正成 像点与鱼眼成像点的对应关系； 生成模块，用于根据所述对应关系，获取所述鱼眼成像点的像素值，将所述像素值赋予 所述校正成像点，得到校正图像。8. 根据权利要求7所述的装置，其特征在于，所述第二获取模块包括： 第一校正单元，用于根据所述多组Θ、γ以及预设的第一鱼眼镜头成像模型公式r=ftan(Θ)，得到第一校正参数f; 第二校正单元，用于根据所述多组9、0d以及预设的第二鱼眼镜头成像模型公式0d =k〇0 (1+ki92+k294+k3θ6+1?4θ8)，得到第二校正参数ko、ki、k2、k3、k4。9. 根据权利要求8所述的装置，其特征在于，所述第一校正单元，具体用于:根据第一鱼 眼镜头成像模型公式r=ftan(0)，分别计算每组0、r对应的初始第一校正参数，得到多个初 始第一校正参数;对所述多个初始第一校正参数进行拟合，得到所述第一校正参数f。10. 根据权利要求8所述的装置，其特征在于，所述第二校正单元，具体用于:根据所述 多组9、0d以及预设的第二鱼眼镜头成像模型公式0d =k〇9(l+kl02+k294+k396+k498)，建立至少 一个方程组;分别计算每个所述方程组，得到多个初始第二校正参数;对所述多个初始第二 校正参数进行拟合，得到所述第二校正参数ko、lu、k2、k3、k4。
【专利摘要】本发明提供一种鱼眼图像校正方法及装置，该方法包括：获取鱼眼图像中多个像素点在鱼眼镜头坐标系中与中心轴的夹角θ，根据预设的鱼眼镜头参数表，确定与多个所述夹角θ分别对应的距离r和距离θd，获取多组θ、r、θd，根据该多组θ、r、θd以及预设的鱼眼镜头成像模型公式获取校正参数；根据所述校正参数以及预设的转换公式，建立各像素点的校正成像点与鱼眼成像点的对应关系，根据此对应关系，获取鱼眼成像点的像素值，将该像素值赋予校正成像点，从而得到校正图像。该方法仅利用鱼眼镜头参数表、鱼眼镜头成像模型公式以及转换公式进行计算，实现方法非常简单，同时能够保证鱼眼图像校正的精度。
【IPC分类】G06T5/00
【公开号】CN105488764
【申请号】CN201510817400
【发明人】江水郎, 郑新芬, 湛春欢, 周学渊
【申请人】上海汽车集团股份有限公司
【公开日】2016年4月13日
【申请日】2015年11月23日
【技术领域】
[0001] 本发明涉及图像处理技术，尤其涉及一种鱼眼图像校正方法及装置。
【背景技术】
[0002] 鱼眼镜头作为一种超广角镜头，其视角可以达到或超过180°，即可拍摄的范围非 常大，因此在视频监控、虚拟现实、三维建模、视觉导航领域有广泛的应用。
[0003] 具体地，鱼眼镜头将半球形物面成像为平面，因此所拍摄的图像严重畸变，使得人 的视觉上感受不自然，因此需要将鱼眼镜头所拍摄的畸变图像校正为人的视觉可以接受的 透视投影图像。现有技术中进行鱼眼图像校正的方法中，包括鱼眼成像面投影模型、二维图 像畸变校正、三维图像畸变校正三类。其中较为常用的三维图像畸变校正方法，是基于球面 坐标定位法实现的。
[0004] 但是，采用现有技术的校正方法，基于球面坐标需要采用多项式坐标变换和极半 径映射，其计算复杂且精度低，导致鱼眼图像校正的效率和准确率不高。
【发明内容】
[0005] 本发明提供一种鱼眼图像校正方法及装置，用于解决现有技术中计算复杂且精度 低导致鱼眼图像校正的效率和准确率不高的问题。
[0006] 本发明第一方面提供一种鱼眼图像校正方法，包括：
[0007] 获取鱼眼图像中多个像素点在鱼眼镜头坐标系中与中心轴的夹角Θ;
[0008] 根据预设的鱼眼镜头参数表，确定与多个所述夹角Θ分别对应的距离r和距离0d， 获取多组0、r、0 d，其中，所述鱼眼镜头参数表包括:θ、r、θd之间的映射关系，所述距离 r为所 述像素点在鱼眼图像平面坐标系中的校正成像点到所述鱼眼图像平面坐标系中原点的距 离，所述距离9 d为所述像素点在鱼眼图像平面坐标系中的鱼眼成像点到所述鱼眼图像平面 坐标系中原点的距离；
[0009] 根据所述多组0、r、0d&及预设的鱼眼镜头成像模型公式获取校正参数；
[0010] 根据所述校正参数以及预设的转换公式，建立各所述像素点的校正成像点与鱼眼 成像点的对应关系；
[0011] 根据所述对应关系，获取所述鱼眼成像点的像素值，将所述像素值赋予所述校正 成像点，得到校正图像。
[0012] 结合第一方面，在第一方面的第一种可能的实现方式中，所述根据所述多组Θ、Γ、 0d以及预设的鱼眼镜头成像模型公式获取校正参数，包括：
[0013] 根据所述多组0、r以及预设的第一鱼眼镜头成像模型公式r = f tan(0)，得到第一 校正参数f;
[0014] 根据所述多组0、0d以及预设的第二鱼眼镜头成像模型公式 0 6+k408)，得到第二校正参数k〇、ki、k2、k3、k4。
[0015] 结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式 中，所述根据所述多组Θ、Γ以及预设的第一鱼眼镜头成像模型公式r = f tan(0)，得到第一 校正参数f，包括：
[0016]根据第一鱼眼镜头成像模型公式r = f tan(0)，分别计算每组0、r对应的初始第一 校正参数，得到多个初始第一校正参数；
[0017]对所述多个初始第一校正参数进行拟合，得到所述第一校正参数f。
[0018] 结合第一方面的第一种可能的实现方式，在第一方面的第三种可能的实现方式 中，所述根据所述多组0、0d以及预设的第二鱼眼镜头成像模型公式eekoea+kW+kW+h 06+k408)，得到第二校正参数k〇、ki、k2、k3、k4，包括：
[0019] 根据所述多组0、0d以及预设的第二鱼眼镜头成像模型公式eFkoea+kW+kM+fo 06+k408)，建立至少一个方程组；
[0020] 分别计算每个所述方程组，得到多个初始第二校正参数；
[0021] 对所述多个初始第二校正参数进行拟合，得到所述第二校正参数khkhkhkhlu。
[0022] 结合第一方面的第一种至第三种可能的实现方式中的任一种，在第一方面的第四 种可能的实现方式中，所述获取鱼眼图像中多个像素点在鱼眼镜头坐标系中与中心轴的夹 角Θ之前，还包括：
[0023] 将所述鱼眼图像进行椭圆拟合，获取椭圆形鱼眼图像，再将所述椭圆形鱼眼图像 转化为圆形鱼眼图像，并且得到圆形鱼眼图像的中心点，将所述中心点作为所述鱼眼镜头 坐标系的原点，根据所述鱼眼镜头坐标系的原点确定所述鱼眼镜头坐标系；
[0024] 根据所述中心点以及鱼眼镜头的焦距，确定所述鱼眼图像平面坐标系的原点，并 根据所述鱼眼图像平面坐标系的原点确定所述鱼眼图像平面坐标系。
[0025] 结合第一方面，在第一方面的第五种可能的实现方式中，所述根据所述对应关系， 获取所述鱼眼成像点的像素值，将所述像素值赋予所述校正成像点，得到校正图像，包括：
[0026] 根据所述对应关系，采用双线性插值处理，从所述鱼眼成像点获取像素值，将所述 像素值赋予所述校正成像点，得到校正图像。
[0027]本发明第二方面提供一种鱼眼图像校正装置，包括：
[0028] 第一获取模块，用于获取鱼眼图像中多个像素点在鱼眼镜头坐标系中与中心轴的 夹角Θ;
[0029] 确定模块，用于根据预设的鱼眼镜头参数表，确定与多个所述夹角Θ分别对应的距 离r和距离0d，获取多组0、 r、0d，其中，所述鱼眼镜头参数表包括"^…之间的映射关系^ 述距离r为所述像素点在鱼眼图像平面坐标系中的校正成像点到所述鱼眼图像平面坐标系 中原点的距离、所述距离0 d为所述像素点在鱼眼图像平面坐标系中的鱼眼成像点到所述鱼 眼图像平面坐标系中原点的距离；
[0030] 第二获取模块，用于根据所述多组0、r、0d以及预设的鱼眼镜头成像模型公式获取 校正参数；
[0031] 建立模块，用于根据所述校正参数以及预设的转换公式，建立各所述像素点的校 正成像点与鱼眼成像点的对应关系；
[0032] 生成模块，用于根据所述对应关系，获取所述鱼眼成像点的像素值，将所述像素值 赋予所述校正成像点，得到校正图像。
[0033] 结合第二方面，在第二方面的第一种可能的实现方式中，所述第二获取模块包括：
[0034] 第一校正单元，用于根据所述多组Θ、Γ以及预设的第一鱼眼镜头成像模型公式r = f tan(0)，得到第一校正参数f;
[0035] 第二校正单元，用于根据所述多组0、0d以及预设的第二鱼眼镜头成像模型公式0d = k〇9 (l+ki92+k294+k396+k498)，得到第一校正参数ko、ki、k2、k3、k4。
[0036] 结合第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式 中，所述第一校正单元，具体用于:根据第一鱼眼镜头成像模型公式r = f tan(0)，分别计算 每组Θ、Γ对应的初始第一校正参数，得到多个初始第一校正参数;对所述多个初始第一校正 参数进行拟合，得到所述第一校正参数f。
[0037] 结合第二方面的第一种可能的实现方式，在第二方面的第三种可能的实现方式 中，所述第二校正单元，具体用于:根据所述多组9、0 d&及预设的第二鱼眼镜头成像模型公 式0(1 = 1^0 (1+kl02+k204+k306+k4()8)，建立至少一个方程组;分别计算每个所述方程组，得到 多个初始第二校正参数;对所述多个初始第二校正参数进行拟合，得到所述第二校正参数 k〇、ki、k2、k3、k4〇
[0038] 本发明所提供的鱼眼图像校正方法，在根据预设的鱼眼镜头参数表获取到多组Θ、 ^0(1后，根据所获取到的多组0、 r、0d&及预设的鱼眼镜头 成像模型公式获取到校正参数，再 根据校正参数以及预设的转换公式即可建立起校正成像点与鱼眼成像点之间的对应关系， 在进行具体的鱼眼图像较正时，直接使用已建立起的校正成像点与鱼眼成像点之间的对应 关系即可实现鱼眼图像的实时校正。本发明所提供的鱼眼图像校正方法，仅利用鱼眼镜头 参数表、预设的鱼眼镜头成像模型公式以及预设的转换公式进行计算，相比于现有技术中 的鱼眼图像校正方法，实现方法非常简单，同时由于使用公式计算，因此能够保证鱼眼图像 校正的精度，从而保证鱼眼图像校正的效率以及准确率。
【附图说明】
[0039] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发 明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根 据这些附图获得其他的附图。
[0040] 图1为本发明所提供的鱼眼镜头成像模型示意图；
[0041] 图2为本发明所提供的鱼眼图像校正方法的实施例一的流程示意图；
[0042]图3为本发明所提供的鱼眼图像校正方法的实施例二的流程示意图；
[0043]图4为本发明所提供的鱼眼图像校正方法的实施例三的流程示意图；
[0044] 图5为本发明所提供的鱼眼图像校正方法的实施例四的流程示意图；
[0045] 图6为本发明所提供的鱼眼图像校正方法的实施例五的流程示意图；
[0046] 图7为本发明所提供的鱼眼图像校正装置的实施例一的结构示意图；
[0047]图8为本发明所提供的鱼眼图像校正装置的实施例二的结构示意图。
【具体实施方式】
[0048]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。
[0049] 图1为本发明所提供的鱼眼镜头成像模型示意图，如图1所示，OcXcYcZc为鱼眼镜 头坐标系，OiXiYiZi为鱼眼图像平面坐标系，鱼眼镜头坐标系的原点与鱼眼图像平面坐标 系的原点之间的距离为鱼眼镜头的焦距fd表示鱼眼镜头所拍摄的鱼眼图像的像素点在鱼 眼镜头坐标系中对应的成像点与中心轴的夹角。假设鱼眼镜头所拍摄的鱼眼图像的其中一 个像素点在鱼眼镜头坐标系中对应的成像点为Pc，则该成像点Pc所对应的鱼眼图像平面坐 标系中的鱼眼成像点为Pi，对成像点Pi进行校正之后的校正成像点为Pr，该校正成像点Pr 在鱼眼图像平面坐标系中的坐标为(a，b)。鱼眼成像点Pi与鱼眼图像平面坐标系的原点之 间的距离为9d，校正成像点Pr与鱼眼图像平面坐标系的原点之间的距离为r。在鱼眼图像校 正中，需要使用上述模型所定义的坐标系、成像点之间的关系来进行鱼眼图像校正。
[0050] 需要说明的是，本发明下述实施例中所使用的标记符号都是基于图1所定义的标 记符号。
[0051] 图2为本发明所提供的鱼眼图像校正方法的实施例一的流程示意图，该方法的执 行主体可以是终端，例如计算机、服务器等设备，如图2所示，该方法包括：
[0052] S101、获取鱼眼图像中多个像素点在鱼眼镜头坐标系中与中心轴的夹角Θ。
[0053] S102、根据预设的鱼眼镜头参数表，确定与多个夹角Θ分别对应的距离r和距离0d， 获取多组0、r、0d，其中，鱼眼镜头参数表包括:0、r、0d2间的映射关系，距离 r为上述像素点 在鱼眼图像平面坐标系中的校正成像点到鱼眼图像平面坐标系中原点的距离，距离9d为上 述像素点在鱼眼图像平面坐标系中的鱼眼成像点到鱼眼图像平面坐标系中原点的距离。
[0054] -般情况下，针对每一种鱼眼镜头，鱼眼镜头厂商会提供一份鱼眼镜头参数表，该 参数表给出了针对不同的Θ，其所对应的 r和θd。即每一个鱼眼镜头参数表都包括了 间的映射关系。
[0055] 当根据鱼眼图像的某个像素点获取到Θ后，即可根据鱼眼镜头参数表获取其所对 应r和θd。依次类推，采用多个像素点对应的Θ，就可以获取多组Θ、 r、0d。
[0056] 表1为鱼眼镜头参数表的示例，如表1所示：
[0057]
[0058] 表1
[0059] 其中，表1中的dist表示失真率。
[0060] S103、根据上述多组0、r、0d&及预设的鱼眼镜头成像模型公式获取校正参数。 [0061] S104、根据上述校正参数以及预设的转换公式，建立各像素点的校正成像点与鱼 眼成像点的对应关系。
[0062]具体地，当获取到校正参数之后，将校正参数代入预设的转换公式中，转换公式表 示了校正成像点的坐标转换为鱼眼成像点坐标的公式。
[0063]可选地，当建立起各像素点的校正成像点与鱼眼成像点的对应关系后，可以将对 应关系保存在文件中，例如二进制文件中。由于对于同一种图像分辨率，校正成像点与鱼眼 成像点之间的对应关系都是唯一的，因此，通过上述方法所建立起立的校正成像点与鱼眼 成像点之间的对应关系可以应用于一种图像分辨率下的所有具体的鱼眼图像。将这种对应 关系保存在文件中后，当需要对一个特定的鱼眼图像进行校正时，直接使用文件中保存的 对应关系即可。从而满足了鱼眼图像校正的实时性要求。
[0064] S105、根据上述对应关系，获取鱼眼成像点的像素值，将像素值赋予校正成像点， 得到校正图像。
[0065]具体地，基于已经生成的校正成像点与鱼眼成像点之间的对应关系，在对一个特 定的鱼眼图像进行校正时，首先获取鱼眼成像点的像素值，再将这个像素值赋予与鱼眼成 像点对应的校正成像点，当所有的校正成像点都被赋予了像素值之后，则形成了校正后的 完整图像，从而完成鱼眼图像的校正。
[0066] 本实施例中，在根据预设的鱼眼镜头参数表获取到多组0、^0(1后，根据所获取到 的多组0、r、0 d&及预设的鱼眼镜头成像模型公式获取到校正参数，再根据校正参数以及预 设的转换公式即可建立起校正成像点与鱼眼成像点之间的对应关系，在进行具体的鱼眼图 像较正时，直接使用已建立起的校正成像点与鱼眼成像点之间的对应关系即可实现鱼眼图 像的实时校正。本实施例所提供的鱼眼图像校正方法，仅利用鱼眼镜头参数表、预设的鱼眼 镜头成像模型公式以及预设的转换公式进行计算，相比于现有技术中的鱼眼图像校正方 法，实现方法非常简单，同时由于使用公式计算，因此能够保证鱼眼图像校正的精度，从而 保证鱼眼图像校正的效率以及准确率。
[0067] 图3为本发明所提供的鱼眼图像校正方法的实施例二的流程示意图，如图3所示， 上述步骤S103具体包括：
[0068] S201、根据多组Θ、Γ以及预设的第一鱼眼镜头成像模型公式r = f tan(0)，得到第 一校正参数f。
[0069] 上述第一鱼眼镜头成像模型公式r = f tan(0)使用公式来表示r和θ之间的关系， 公式中的f表示第一校正参数，对于每一组9、r，会对应一个具体的f，每组Θ、 Γ所对应的f可 能并不相同。通过对多组Θ、γ所对应的具体f进行相应处理，可以得到一个特定的应用于所 有0、r组的第一校正参数f。
[0070] 对不同的具体f进行相应处理后，可以得到一个特定的第一校正参数f，将该参数 代入预设的转换公式，即可快速计算出鱼眼成像点和校正成像点之间的对应关系。
[0071] S202、根据所述多组0、0d以及预设的第二鱼眼镜头成像模型公式= 1?θ4+1?3θ 6+1?4 θ8)，得到第二枚正参数k〇、ki、k2、k3、k4〇
[0072] 上述第二鱼眼镜头成像模型公式e^koea+kW+kW+kW+iue8)使用公式来表示 Θ和9d之间的关系，公式中的1<：()、1<：1、1<：2、1?、1<：4表不第二校正参数，对于每一组Θ、9d，会对应一 组具体的1^、1^1、1?、1?、1^4，每组9、9(]所对应的具体的1?、1^1、1?、1?、1^4值可能并不相同。通过对 多组θ、θ<^对应的具体的1^、1^上、1?、1^4进行相应处理，可以得到一个特定的应用于所有0、 Qd组的第二校正参数k〇、ki、k2、k3、k4。
[0073] 对不同的具体1^、1^1、1?、1?、1^4进行相应处理后，可以得到一个特定的第二校正参数 匕上上上上牖该参数代入预设的转换公式凋可快速计算出鱼眼成像点和校正成像点 之间的对应关系。
[0074] 图4为本发明所提供的鱼眼图像校正方法的实施例三的流程示意图，如图4所示， 上述步骤S201具体包括：
[0075] S301、根据第一鱼眼镜头成像模型公式r = f tan(0)，分别计算每组0、r对应的初 始第一校正参数，得到多个初始第一校正参数。
[0076] S302、对上述多个初始第一校正参数进行拟合，得到第一校正参数f。
[0077] 在计算出多个具体的初始第一校正参数后，使用拟合的方式得到特定的第一校正 参数f，这个特定的第一校正参数f适用于所有的Θ、γ组。再将这个特定的第一校正参数f代 入预设的转换公式，即可快速计算出鱼眼成像点和校正成像点之间的对应关系。使用拟合 的方式确定一个特定的第一校正参数，使得使用转换公式建立鱼眼成像点和校正成像点对 应关系的计算更加简单和高效。
[0078] 图5为本发明所提供的鱼眼图像校正方法的实施例四的流程示意图，如图5所示， 上述步骤S202具体包括：
[0079] S401、根据多组0、0d以及预设的第二鱼眼镜头成像模型公式Θρ?^θα+Ιαθ%!^4- k306+k408)，建立至少一个方程组。
[0080] S402、分别计算每个方程组，得到多个初始第二校正参数。
[0081 ] S403、对上述多个初始第二校正参数进行拟合，得到第二校正参数khkhkhkhlu。
[0082] 在计算出多个具体的初始第二校正参数后，使用拟合的方式得到特定的第二校正 参数匕、1^上、1?、1^4，这个特定的第二校正参数1?、1^ 1、1?、1?、1^4适用于所有的0、0(1组。再将这 个特定的第二校正参数匕、1^、1?、1?、1^代入预设的转换公式，即可快速计算出鱼眼成像点和 校正成像点之间的对应关系。使用拟合的方式确定一个特定的第二校正参数，使得使用转 换公式建立鱼眼成像点和校正成像点对应关系的计算更加简单和高效。
[0083] 另一实施例中，上述预设的转换公式具体可以为： L J r
[0089]其中，（a，b)表示校正成像点的坐标，（u，V)表示鱼眼成像点的坐标，f表示上述第 一校正参数f，1^、1^1、1?、1?、1^4表示上述第二校正参数1?、1^1、1?、1?、1^4。当获取到校正成像点 的坐标后，根据上述转换公式逐一进行计算，可以计算出与其对应的鱼眼成像点的坐标。即 对于一个确定的校正成像点，经过上述计算，可以得到其对应的鱼眼成像点，从而建立起各 像素点的校正成像点与鱼眼成像点的对应关系。
[0090] 图6为本发明所提供的鱼眼图像校正方法的实施例五的流程示意图，如图6所示， 在上述步骤S101之前还包括：
[0091] S501、将鱼眼图像进行椭圆拟合，获取椭圆形鱼眼图像，再将该椭圆形鱼眼图像转 化为圆形鱼眼图像，并且得到圆形鱼眼图像的中心点，将该中心点作为鱼眼镜头坐标系的 原点，根据鱼眼镜头坐标系的原点确定鱼眼镜头坐标系。
[0092] 由于鱼眼镜头成像面的水平和垂直方向的量化系数不相等或者鱼眼图像的水平 方向扩充，导致鱼眼图像并非圆形，因此可以使用椭圆拟合将鱼眼图像拟合为椭圆形鱼眼 图像。具体地，可以对鱼眼图像进行二值化处理并且得到鱼眼图像的边缘图，再使用最小二 乘法进行拟合椭圆，从而得到椭圆形鱼眼图像及其中心点。
[0093] 进一步地，将上述椭圆形鱼眼图像在水平方向缩小相应的倍数，将椭圆形鱼眼图 像转化为圆形鱼眼图像，从而得到圆形鱼眼图像以及圆形鱼眼图像的中心点。该中心点即 为鱼眼镜头坐标系的原点。
[0094] S502、根据上述中心点以及鱼眼镜头的焦距，确定鱼眼图像平面坐标系的原点，并 根据鱼眼图像平面坐标系的原点确定鱼眼图像平面坐标系。
[0095]另一实施例中，上述步骤S105具体包括：
[0096]根据上述对应关系，采用双线性插值处理，从鱼眼成像点获取像素值，将所述像素 值赋予所述校正成像点，得到校正图像。
[0097]具体地，鱼眼成像点与校正成像点的对应关系通过其在鱼眼图像平面坐标系中的 坐标的对应关系来表示，假设校正成像点的坐标为(a，b)，鱼眼成像点的坐标为(u，v)，并假 设i为u的整数部分，s为u的小数部分，j为v的整数部分，t为v的小数部分，f(a，b)表示校正 成像点(a，b)的像素值，则f (a，b)的计算公式为：
[0098] f(a,b)=(l-s)(l-t)f(i,j)+(l-s)tf(i,j+l)+s(l-t)f(i+l,j)+stf(i+l,j+1)
[0099] 根据上述公式，校正成像点（a，b)的像素值可由坐标为（i，j)、（i+l，j)、（i，j+l)、 (i+1，j+1)的四个鱼眼成像点的像素值双线性插值获得。
[0100] 图7为本发明所提供的鱼眼图像校正装置的实施例一的结构示意图，如图7所示， 该装置包括：
[0101] 第一获取模块701，用于获取鱼眼图像中多个像素点在鱼眼镜头坐标系中与中心 轴的夹角Θ。
[0102] 确定模块702,用于根据预设的鱼眼镜头参数表，确定与多个夹角Θ分别对应的距 离r和距离0d，获取多组0、 r、0d，其中，鱼眼镜头参数表包括:Θ、Γ、Θ<^间的映射关系，距离 r 为上述像素点在鱼眼图像平面坐标系中的校正成像点到鱼眼图像平面坐标系中原点的距 离、距离0d为上述像素点在鱼眼图像平面坐标系中的鱼眼成像点到鱼眼图像平面坐标系中 原点的距离。
[0103] 第二获取模块703,用于根据上述多组0、r、0d以及预设的鱼眼镜头成像模型公式 获取校正参数。
[0104] 建立模块704,用于根据上述校正参数以及预设的转换公式，建立各像素点的校正 成像点与鱼眼成像点的对应关系。
[0105] 生成模块705,用于根据上述对应关系，获取鱼眼成像点的像素值，将该像素值赋 予校正成像点，得到校正图像。
[0106] 该装置用于执行前述方法实施例，其实现原理和技术效果类似，在此不再赘述。
[0107] 图8为本发明所提供的鱼眼图像校正装置的实施例二的结构示意图，如图8所示， 第二获取模块703具体包括：
[0108] 第一校正单元7031，用于根据多组Θ、Γ以及预设的第一鱼眼镜头成像模型公式r = f tan(0)，得到第一校正参数f。
[0109] 第二校正单元7032,用于根据多组0、0d以及预设的第二鱼眼镜头成像模型公式0d = k〇9 (l+ki92+k294+k396+k498)，得到第一校正参数ko、ki、k2、k3、k4。
[0110] 进一步地，第一校正单元7031，具体用于根据第一鱼眼镜头成像模型公式 r = f tan(0)，分别计算每组0、r对应的初始第一校正参数，得到多个初始第一校正参数;对多个 初始第一校正参数进行拟合，得到第一校正参数f。
[0111] 进一步地，第二校正单元7032,具体用于根据多组0、0d以及预设的第二鱼眼镜头 成像模型公式9d = k〇0 (l+kdhkWhkWS+lue8)，建立至少一个方程组；分别计算每个方程 组，得到多个初始第二校正参数;对多个初始第二校正参数进行拟合，得到第二校正参数 k〇、ki、k2、k3、k4〇
[0112] 本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通 过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程 序在执行时，执行包括上述各方法实施例的步骤;而前述的存储介质包括:R〇M、RAM、磁碟或 者光盘等各种可以存储程序代码的介质。
[0113] 最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制;尽 管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解:其依 然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进 行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术 方案的范围。
【主权项】
1. 一种鱼眼图像校正方法，其特征在于，包括： 获取鱼眼图像中多个像素点在鱼眼镜头坐标系中与中心轴的夹角Θ; 根据预设的鱼眼镜头参数表，确定与多个所述夹角Θ分别对应的距离r和距离0d，获取多 组0、r、0d，其中，所述鱼眼镜头参数表包括:θ、r、θd之间的映射关系，所述距离r为所述像素 点在鱼眼图像平面坐标系中的校正成像点到所述鱼眼图像平面坐标系中原点的距离，所述 距离9d为所述像素点在鱼眼图像平面坐标系中的鱼眼成像点到所述鱼眼图像平面坐标系 中原点的距离； 根据所述多组9、r、0d&及预设的鱼眼镜头成像模型公式获取校正参数； 根据所述校正参数以及预设的转换公式，建立各所述像素点的校正成像点与鱼眼成像 点的对应关系； 根据所述对应关系，获取所述鱼眼成像点的像素值，将所述像素值赋予所述校正成像 点，得到校正图像。2. 根据权利要求1所述的方法，其特征在于，所述根据所述多组0、r、0d&及预设的鱼眼 镜头成像模型公式获取校正参数，包括： 根据所述多组Θ、γ以及预设的第一鱼眼镜头成像模型公式r=ftan(0)，得到第一校正 参数f; 根据所述多组0、0d以及预设的第二鱼眼镜头成像模型公式e^koea+kW+k^^+kW+iu Θ8)，得到第二校正参数k〇、ki、k2、k3、k4。3. 根据权利要求2所述的方法，其特征在于，所述根据所述多组0、r以及预设的第一鱼 眼镜头成像模型公式r=ftan(0)，得到第一校正参数f，包括： 根据第一鱼眼镜头成像模型公式r=ftan(0)，分别计算每组0、r对应的初始第一校正 参数，得到多个初始第一校正参数； 对所述多个初始第一校正参数进行拟合，得到所述第一校正参数f。4. 根据权利要求2所述的方法，其特征在于，所述根据所述多组0、0d以及预设的第二鱼 眼镜头成像模型公式 9<1 = 1?0(1+1^2+1?04+1?06+1^408)，得到第二校正参数1?、1^1、1?、1?、1^4，包 括： 根据所述多组0、0d以及预设的第二鱼眼镜头成像模型公式e^koea+kW+k^^+kW+iu θ8)，建立至少一个方程组； 分别计算每个所述方程组，得到多个初始第二校正参数； 对所述多个初始第二校正参数进行拟合，得到所述第二校正参数1?、1αΛ2、1?Λ4。5. 根据权利要求2-4任一项所述的方法，其特征在于，所述获取鱼眼图像中多个像素点 在鱼眼镜头坐标系中与中心轴的夹角Θ之前，还包括： 将所述鱼眼图像进行椭圆拟合，获取椭圆形鱼眼图像，再将所述椭圆形鱼眼图像转化 为圆形鱼眼图像，并且得到圆形鱼眼图像的中心点，将所述中心点作为所述鱼眼镜头坐标 系的原点，根据所述鱼眼镜头坐标系的原点确定所述鱼眼镜头坐标系； 根据所述中心点以及鱼眼镜头的焦距，确定所述鱼眼图像平面坐标系的原点，并根据 所述鱼眼图像平面坐标系的原点确定所述鱼眼图像平面坐标系。6. 根据权利要求1所述的方法，其特征在于，所述根据所述对应关系，获取所述鱼眼成 像点的像素值，将所述像素值赋予所述校正成像点，得到校正图像，包括： 根据所述对应关系，采用双线性插值处理，从所述鱼眼成像点获取像素值，将所述像素 值赋予所述校正成像点，得到校正图像。7. -种鱼眼图像校正装置，其特征在于，包括： 第一获取模块，用于获取鱼眼图像中多个像素点在鱼眼镜头坐标系中与中心轴的夹角 θ; 确定模块，用于根据预设的鱼眼镜头参数表，确定与多个所述夹角Θ分别对应的距离r和距离0d，获取多组0、r、0d，其中，所述鱼眼镜头参数表包括:0^、0(1之间的映射关系，所述 距离r为所述像素点在鱼眼图像平面坐标系中的校正成像点到所述鱼眼图像平面坐标系中 原点的距离、所述距离9 d为所述像素点在鱼眼图像平面坐标系中的鱼眼成像点到所述鱼眼 图像平面坐标系中原点的距离； 第二获取模块，用于根据所述多组9、r、0d&及预设的鱼眼镜头成像模型公式获取校正 参数； 建立模块，用于根据所述校正参数以及预设的转换公式，建立各所述像素点的校正成 像点与鱼眼成像点的对应关系； 生成模块，用于根据所述对应关系，获取所述鱼眼成像点的像素值，将所述像素值赋予 所述校正成像点，得到校正图像。8. 根据权利要求7所述的装置，其特征在于，所述第二获取模块包括： 第一校正单元，用于根据所述多组Θ、γ以及预设的第一鱼眼镜头成像模型公式r=ftan(Θ)，得到第一校正参数f; 第二校正单元，用于根据所述多组9、0d以及预设的第二鱼眼镜头成像模型公式0d =k〇0 (1+ki92+k294+k3θ6+1?4θ8)，得到第二校正参数ko、ki、k2、k3、k4。9. 根据权利要求8所述的装置，其特征在于，所述第一校正单元，具体用于:根据第一鱼 眼镜头成像模型公式r=ftan(0)，分别计算每组0、r对应的初始第一校正参数，得到多个初 始第一校正参数;对所述多个初始第一校正参数进行拟合，得到所述第一校正参数f。10. 根据权利要求8所述的装置，其特征在于，所述第二校正单元，具体用于:根据所述 多组9、0d以及预设的第二鱼眼镜头成像模型公式0d =k〇9(l+kl02+k294+k396+k498)，建立至少 一个方程组;分别计算每个所述方程组，得到多个初始第二校正参数;对所述多个初始第二 校正参数进行拟合，得到所述第二校正参数ko、lu、k2、k3、k4。
【专利摘要】本发明提供一种鱼眼图像校正方法及装置，该方法包括：获取鱼眼图像中多个像素点在鱼眼镜头坐标系中与中心轴的夹角θ，根据预设的鱼眼镜头参数表，确定与多个所述夹角θ分别对应的距离r和距离θd，获取多组θ、r、θd，根据该多组θ、r、θd以及预设的鱼眼镜头成像模型公式获取校正参数；根据所述校正参数以及预设的转换公式，建立各像素点的校正成像点与鱼眼成像点的对应关系，根据此对应关系，获取鱼眼成像点的像素值，将该像素值赋予校正成像点，从而得到校正图像。该方法仅利用鱼眼镜头参数表、鱼眼镜头成像模型公式以及转换公式进行计算，实现方法非常简单，同时能够保证鱼眼图像校正的精度。
【IPC分类】G06T5/00
【公开号】CN105488764
【申请号】CN201510817400
【发明人】江水郎, 郑新芬, 湛春欢, 周学渊
【申请人】上海汽车集团股份有限公司
【公开日】2016年4月13日
【申请日】2015年11月23日
最新回复(0)