一种聚焦光场相机内外参数标定方法
一种聚焦光场相机内外参数标定方法
【技术领域】
[0001 ]本发明属于光场相机标定技术领域，具体涉及一种聚焦光场相机的内外参数标定 方法。
【背景技术】
[0002] 光场相机，基本机构和原理不同于传统相机，置一个微透镜阵列于主镜头和探测 器之间，每个微透镜接收经主透镜进入的光线后，然后将不同方向的光线聚焦到微透镜下 的不同位置的像素。这样，传感器所有像素被MXN的微透镜阵列划分为MXN个子图像，子图 像中每个像素都对应着某个特定方向的光线，代表着目标某位置的成像。通过微透镜的划 分，探测器同时记录了二维的强度信息和二维的方向信息，构成光场的四维数据。相机不仅 能够记录投射到相机探测器上光线的强度信息，还能够分辨光线的方向，从而实现四维光 场的记录。虚拟焦平面是相机探测器(CCD)关于光场相机的整个成像系统在物空间的共辄 面。虚拟焦平面关于主透镜成像系统有一个共辄面，由于没有成像探测器记录这一像，称作 虚拟像面，虚拟像面关于微透镜阵列也有一个共辄面，即相机的CCD。虚拟光源点，经过这两 个成像单元，最后在CCD上成像。光场相机可根据微透镜与CCD的位置关系分为传统光场相 机和聚焦光场相机，传统光场相机中微透镜阵列与CCD的距离等于微透镜的焦距，聚焦光场 相机中该距离不等于微透镜的焦距。
[0003] 要根据光场相机拍摄的原始图像，确定各光线的空间方向及位置，获取被拍摄目 标的三维信息，需要通过标定技术确定光场相机的内外参数。传统的相机标定方法如直接 线性变换方法(DLT变换)和径向一致约束法(RAC)。标定过程中需要运用到精密加工的标定 模块，标定模块可以是一维、二维和三维的，通过标定模块上已知的三维坐标点与其图像对 应点之间的对应关系，可以计算出相机的内部和外部参数，估计相机参数的精度较高，可以 使用任意的相机模型来进行标定。目前光场相机标定研究较少，Yunsu Bok提出了基于传统 相机标定方法的光场相机的标定方法，该标定法使用标定模块原始图像中的线性特征来进 行标定。然而，对于聚焦光场相机，光场原始图像有可识别特征点，这些特征点可直接用于 聚焦光场相机的标定，因此不需要使用线性特征。同时，由于聚焦光场相机与传统光场相机 的结构差异，Yunsu Bok提出了基于传统相机标定方法不能进一步计算所有聚焦光场相机 内部参数，包括主透镜（主面)与微透镜阵列的距离L，微透镜阵列与CCD的距离S v以及微透 镜阵列与虚拟像面的距离lm，因而该方法不能用于聚焦光场相机的标定。Ole Johannsen提 出基于传统相机标定方法的聚焦光场相机的标定方法。该标定法使用标定模块原始图像， 建立了基于小孔相机模型的标定模块上已知三维坐标点与其图像对应点之间的对应关系， 通过序列二次规划(SQP)算法优化目标函数来求解该模型，从而计算出相机的内部和外部 参数，然而该方法优化求解时需要较为精确的初始值，否则容易出现局部最优解。
【发明内容】
[0004] 发明目的：针对已有的标定技术无法精确获得聚焦光场相机的全部内外参数，为 了能够计算光线的空间方向及位置或被拍摄目标的空间三维信息，本发明提出了一种聚焦 光场相机内外参数标定方法。
[0005] 基本思路:聚焦光场相机拍摄标定板（印有国际象棋棋盘图案的平板）的图像，将 聚焦光场相机主透镜和各微透镜近视为薄透镜，先根据微透镜成像原理，将光场相机原始 图像上已知的像点（棋盘图案角点）转化成虚拟像面上虚拟像点，再根据主透镜成像原理， 建立虚拟像点与标定板上对应角点之间的数学模型，该模型可利用张正友相机标定算法进 行求解，获得待标定的外部参数和相机部分内部参数，再利用聚焦光场相机F数匹配这一特 性，进一步计算出相机的全部内部参数。
[0006] -种聚焦光场相机内外参数标定法，其特征在于，包括如下步骤：
[0007] 步骤一、在图像上定义图像坐标系U-0-V，每一像素的坐标分别是该像素在数组中 的列数和行数，（u，v)是以像素为单位的图像坐标系坐标;固定聚焦光场相机，转动标定板， 改变标定板平面相对于相机探测面的夹角，从不同角度拍摄并保存η张(η 2 3,通常为4-6) 标定板图像;记录标定板图像上的各角点Μ的像点m以及对应的微透镜中心在图像坐标系下 的坐标，以及角点Μ在世界坐标系下的坐标；
[0008] 该步骤一在图像上定义图像坐标系υ-ο-ν，ο点称为相机光心，X轴和Υ轴与图像的X 轴与Υ轴平行，Ζ轴为相机的光轴，它与图像平面垂直，由点0与Χ，Υ，Ζ轴组成的直角坐标系为 相机坐标系。在环境中选择一个基准坐标系来描述相机的位置，并用它描述环境中任何物 体的位置，该坐标系称为世界坐标系，由Xw，Yw，Zw轴组成。标定板使用棋盘格图案，为保证 标定板图像上的角点坐标能够被精确识别，用高清打印机打印高清晰度的标定板图案，将 标定板和光场相机置于光学平台上，二者相距一定距离，调整标定板的位置，使得光场相机 能够拍摄到全部标定板的图像。变换标定板和光场相机的相对放置角度，拍摄并保存若干 张不同角度下的标定板原始图像(相机CCD直接获得的未经处理的图像）。记录标定板图像 上的各角点Μ的像点m以及对应的微透镜中心在图像坐标系下的坐标，以及角点Μ在世界坐 标系下的坐标。
[0009] 步骤二、计算各虚拟像点m'在图像坐标系下的坐标：
[0010] *m \ J
'm V ^·ν J
[0011] 式中，lm是微透镜阵列与CCD的距离，Sv是虚拟像面与微透镜阵列的距离，（Mu，Mv) 是微透镜中心在图像坐标系下的坐标；
[0012] 将微透镜等效成小孔模型，两个像点过微透镜中心的成像光线交于虚拟像点处， 根据微透镜的放大率匕计算公式，利用步骤一得到的两像点在图像坐标系下的u坐标m、 U2， 微透镜中心在图像坐标系下的U坐标Mul、Mu2计算虚拟像点m '在图像坐标系下的坐标：
[0015]式中，（U，V)和(Mu，Mv)分别是像点m及其对应微透镜中心在图像坐标系下的坐标。 [0016]步骤三、建立标定板上角点Μ与虚拟像点m'的标定模型：
[0013
[0014
[0017] .s-m' = \[R t]M
[0018] 基于张正友相机标定法求解该模型，获得聚焦光场相机内部参数矩阵A和外部参 数[Rt]，其中[Rt]为相机坐标系与世界坐标系的坐标转换矩阵，R是旋转变换矩阵，t是平移 变换矩阵，A是基于小孔模型的聚焦光场相机主透镜物像转换矩阵；s是比例系数，?'是各 虚拟像点m'在图像坐标系下的坐标[u，ν，1 ]τ，Μ是对应角点Μ在世界坐标系下的坐标[Xw， Yw,l]T；
[0019] 将主透镜简化成小孔模型，则角点m与虚拟像点m'的对应关系可由下式确定，
[0020] sfii:' = A[Rt]M
[00211引入单应性矩阵H，上式进一步简化为：
[0022] = HM
[0023] 其中，
[0024]
[0025]
[0026]
[0027] 式中s是比例系数，A是聚焦光场相机主透镜成像的物像(M-m'）转换矩阵，[R，t]是 世界坐标系与相机坐标系的坐标变换矩阵，其中R是旋转变换矩阵，t是平移变换矩阵。(uo， vo)是主透镜的光心点在图像坐标系下的坐标。L是主透镜与微透镜阵列之间的距离。dx和 dy是各像素的尺寸大小，q是图像坐标系中两图像坐标轴的不垂直性倾斜角(两图像坐标轴 夹角与直角之差）。'是各虚拟像点m'在图像坐标系下的坐标[u，v，1 ]τ，:麻:是对应角点Μ在 世界坐标系下的坐标[Xw，Yw，l]T。基于张正友标定法求解得到单应性矩阵Η，内部参数矩阵A 和外部参数矩阵[R，t]。
[0028] 步骤四、根据聚焦光场相机F数匹配这一特性，计算得主透镜与微透镜阵列的距离 L，微透镜阵列与(XD的距离Sv以及虚拟像面与微透镜阵列的距离l m;
[0029] 利用步骤三中得到的α，即（L-Sv)/dx和步骤二得到的Mlm/Sv)，进一步计算聚焦 光场相机其他内部参数(相机内部各部件相对位置参数），即主透镜(主面)与微透镜阵列的 距离L，微透镜阵列与CCD的距离S v以及虚拟像面与微透镜阵列的距离lm，需要增加约束条 件。根据聚焦光场相机主透镜和微透镜的F相等，即主透镜的像方出瞳孔径的直径D，微透镜 阵列上各微透镜的直径d，主透镜(主面)与微透镜阵列的距离L以及虚拟像面与微透镜阵列 的距离lm满足，
[0030]
[0031] 最终可得：
[0032]
[0033] 有益效果:本发明具有如下优点：
[0034] (1)能够精确标定聚焦光场相机的全部内外参数，而现有的标定技术无法实现这 一目的；
[0035] (2)基于张正友传统标定法实现的标定技术，具有较好的鲁棒性、实用性和较高的 精度。
【附图说明】
[0036] 图1是聚焦光场相机标定装置图；
[0037]图3是像点-虚拟像点变换原理图；
[0038]图2是聚焦光场相机标定模型原理图；
[0039]图4是聚焦光场相机F数匹配原理图；
[0040] 其中，1 一标定板、2-光场相机、3-计算机、4一主透镜、5-微透镜阵列、6-探测 面(CXD)、7-固定夹、8-调整架、9 一支架、10-光学平台、11 一角点、12-虚拟像点、13-微 透镜中心点、14 一像点、15-光线、16-虚拟像面、17-光阑、18-宏像素。
【具体实施方式】
[0041] 下面结合附图和具体实施例，进一步阐明本发明。应理解这些实施例仅用于说明 本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各 种等价形式的修改均落于本申请所附权利要求所限定的范围。
[0042] -种聚焦光场相机内外参数标定法，包括如下步骤：
[0043]步骤一、在图像上定义图像坐标系U-0-V，每一像素的坐标分别是该像素在数组中 的列数和行数，（u，v)是以像素为单位的图像坐标系坐标。0点称为相机光心，X轴和 Y轴与图 像的X轴与Y轴平行，Z轴为相机的光轴，它与图像平面垂直，由点0与X，Y，Z轴组成的直角坐 标系为相机坐标系。在环境中选择一个基准坐标系来描述相机的位置，并用它描述环境中 任何物体的位置，该坐标系称为世界坐标系，由Xw，Yw，Zw轴组成。聚焦光场相机标定装置如 图1所示，标定板1使用棋盘格图案，为保证标定板1图像上的角点坐标能够被精确识别，用 高清打印机打印高清晰度的标定板，待标定的聚焦光场相机2为Ray trix公司型号R29的光 场相机，相机CCD 6分辨率为4384(H) X 6576(V)，各像素尺寸为5.5 X 5.5μπι，用支架9和调整 架8将标定板1和光场相机2置于光学平台10上，二者相距一定距离，调整标定板1的位置，使 得光场相机2能够拍摄到全部标定板1的图像。标定板1通过光场相机2的主透镜4和微透镜 阵列5组成的成像系统，在CCD 6上成像，固定聚焦光场相机，转动标定板，改变标定板1平面 相对于相机2探测面的夹角，通过相计算机3控制相机2拍摄并保存若干张不同角度下的标 定板原始图像(相机CCD直接获得的未经处理的图像），数字重聚焦图像无法适用于该标定 方法。将标定板原始图像导入图像处理软件(如Matlab)，记录标定板图像上的各角点(Μ)的 像点(m) 14以及对应的微透镜中心在图像坐标系下的坐标，以及角点(M) 11在世界坐标系下 的坐标，为了便于步骤二中放大率的计算，每个角点(Μ) 11记录两个对应的像点(m) 14。 [0044] 步骤二、像点(m) 14与虚拟像点(m'）12的变换原理如图2所示，两个微透镜对虚拟 像点(m'）12分别成像得到两个像点(m)14,虚拟像面16与微透镜阵列5的距离是S v，微透镜 阵列5与CCD 6的距离是lm。将微透镜等效成小孔模型，两个像点(m)14过微透镜中心13的成 像光线15交于虚拟像点(m'）12处。根据微透镜的放大率仏计算公式（1)，利用步骤一得到的 两像点(m)14在图像坐标系下的u坐标ui、U2,微透镜中心13在图像坐标系下的u坐标Mui、MU2 可利用式(2)计算虚拟像点(m '）12图像坐标系下的坐标：
[0045]
[0046]
[0047] 式中，（u，v)和(Mu，Mv)分别是像点(m) 14及其对应微透镜中心13在图像坐标系下的 坐标。
[0048]步骤三、聚焦光场相机标定模型原理如图3所示，角点(M)ll关于主透镜4的虚拟像 点为(m'）12,虚拟像点(m'）12关于微透镜5的像点为(m)14。将主透镜4简化成小孔模型，则 角点(M) 11与虚拟像点(m'）12的对应关系可由式(3)确定，引入单应性矩阵H，式(3)进一步 简化为式(4)。
[0057] 式中s是比例系数，A是聚焦光场相机主透镜4成像的物像(M-m'）转换矩阵，[R，t] 世界坐标系与相机坐标系的坐标变换矩阵，其中R是旋转变换矩阵，t是平移变换矩阵。(uo， vo)是主透镜4的光心点在图像坐标系下的坐标。L是主透镜4与微透镜阵列5之间的距离。dx 和dy是各像素的尺寸大小，q是图像坐标系中两图像坐标轴的不垂直性倾斜角。ι&_'是各虚 拟像点m '在图像坐标系下的坐标[u，v，1 ]τ，Μ是对应角点Μ在世界坐标系下的坐标[Xw，Yw， 1] 1'。认为虚拟像点111'12的坐标包含了均值为0协方差为人1^的高斯噪声，可以通1^￥6油6找-Marquardt优化算法最小化式(8)所示的目标函数，求解齐次线性方程组（10)(解为Lm tLm的 最小特征值对应的特征向量)获得优化的初值，从而得到单应性矩阵Η的最大似然估计值。
[0058]
_
[0059] 其中，
[0065] Η是角点Mil和虚拟像点m'12之间的单应性矩阵，H = A[R，t]，是单应性矩阵Η的 第i行向量，m'_Mj别是第i个虚拟像点m'12在图像坐标系下的坐标(u，v)和角点Mil在世 界坐标系下的坐标(Xw，Yw)。
[0066] 令单应性矩阵!1=[111，112，113]，坐标变换矩阵[1?4]中的旋转变换矩阵1?=[^^ 2， r3]，根据式(3)，可得
[0067] [hi h2 h3]=M[ri Γ2 t] (13)
[0068] 式中λ是任意系数，根据ri，r2的正交性可得
[0073] 将B表示成列向量b，
[0074] b=[Bll,Bl2,B22,Bl3,B23,B33]T (17)
[0075] 令Η的第i列向量为[1ιη，?Η2，?Η3]τ，可得
[0076] hfBhy = vfb (18)
[0077] 其中，
[0078] Vij = [hiihji，hiihj2+hi2hji，hi2hj2，hi3hji+hiihj3，hi3hj2+hi2hj3，hi3hj3 ]T (19)
[0079] 联立式（14)和式（15)，可得
[0080]
(20)
[0081] 拍摄的张标定板图像数量为n(n 2 3)，可获得η个如式(20)所示的齐次线性方程， 联立这些方程，可得
[0082] Vb = 0 (21)
[0083] 求解齐次线性方程组(21)(解为VTV的最小特征值对应的特征向量)得到列向量b， 再根据式(22-27)计算出A，即内部参数νο，ι?()，λ，α，β，γ。
[0084]
[0085]
[0086]
[0087]
[0088]
[0089] _
[0090] 根据式(28-31)得聚焦光场相机外部参数(相机坐标系与世界坐标系的坐标转换 矩阵[R，t])。
[0091] η = λΑ-V (28)
[0092] Γ2 = λΑ^ν (29)
[0093] r3 = ri Xr2 (30)
[0094] t = AA_1h3 (31)
[0095] 步骤四、利用步骤三中得到的α，即（L-Sv)/dx和步骤二得到的Wl m/Sv)，进一步计 算聚焦光场相机其他内部参数(相机内部各部件相对位置参数），即主透镜4(主面)与微透 镜阵列5的距离L，微透镜阵列5与CCD 6的距离Sv以及虚拟像面16与微透镜阵列5的距离lm， 需要增加约束条件。如图4所示，为保证各微透镜所覆盖的子图像18(宏像素)不相互重叠， 光阑17必须限制能到达每个微透镜的光线15不超过宏像素18的区域，同时要求探测器 (CCD)6的像素能够得到最大程度利用，因此主透镜4和微透镜的F数相等，即主透镜4的像方 出瞳孔径的直径D，微透镜阵列5上各微透镜的直径d，主透镜4(主面)与微透镜阵列5的距离 L以及虚拟像面16与微透镜阵列5的距离U茜足，
[0099] Sv=lm/Pm(34)[0100] L = Sv+adx(35)〇
[0096]
[0097]
[0098]
【主权项】
1. 一种基聚焦光场相机内外参数标定法，其特征在于，包括如下步骤： 步骤一、在图像上定义图像坐标系υ-0-ν，每一像素的坐标分别是该像素在数组中的列 数和行数，（U，v)是以像素为单位的图像坐标系坐标;固定聚焦光场相机，转动标定板，改变 标定板平面相对于相机探测面的夹角，从不同角度拍摄并η张标定板图像;记录标定板图像 上的各角点M的像点m以及对应的微透镜中心在图像坐标系下的坐标，以及角点M在世界坐 标系下的坐标，其中η 2 3; 步骤二、计算各虚拟像点m'在图像坐标系下的坐标：式中，Im是微透镜阵列与C⑶的距离，Sv是虚拟像面与微透镜阵列的距离，(Mu，MV)是微透 镜中心在图像坐标系下的坐标； 步骤三、建立标定板上角点M与虚拟像点m'的标定模型：基于张正友相机标定法求解该模型，获得聚焦光场相机内部参数矩阵A和外部参数 [Rt]，其中[R，t]为相机坐标系与世界坐标系的坐标转换矩阵，R是旋转变换矩阵，t是平移 变换矩阵，A是基于小孔模型的聚焦光场相机主透镜物像转换矩阵；s是比例系数，?'是各 虚拟像点m'在图像坐标系下的坐标[u，V，I ]T，M是对应角点M在世界坐标系下的坐标[Xw， Yw,l]T； 步骤四、根据聚焦光场相机F数匹配这一特性，计算得主透镜与微透镜阵列的距离L，微 透镜阵列与(XD的距离Sv以及虚拟像面与微透镜阵列的距离lm。2. 根据权利要求1所述的聚焦光场相机内外参数标定法，其特征在于，所述步骤四的聚 焦光场相机F数匹配这一特性为： 聚焦光场相机主透镜与微透镜的F数满足式中D和d分别是主透镜像方出瞳孔径的直径和微透镜直径。3. 根据权利要求2所述的聚焦光场相机内外参数标定法，其特征在于，所述聚焦光场相 机主透镜物像转换矩阵A为：式中，（uQ，VQ)是主透镜的光心点在图像坐标系下的坐标，L是主透镜与微透镜阵列之间 的距离，dx和dy是各像素的尺寸大小，q是图像坐标系中两图像坐标轴的不垂直性倾斜角。4. 根据权利要求1所述的聚焦光场相机内外参数标定法，其特征在于，所述n = 4-6。
【专利摘要】本发明公开了一种聚焦光场相机内外参数标定法，包括如下步骤：使用聚焦光场相机拍摄并保存标定板图像；记录标定板图像上的各角点的像点以及对应的微透镜中心在图像坐标系下的坐标，以及角点在世界坐标系下的坐标；计算各虚拟像点在图像坐标系下的坐标；建立标定板上角点与虚拟像点的标定模型，基于张正友相机标定法求解该模型，获得聚焦光场相机内部参数矩阵和外部参数；根据聚焦光场相机F数匹配这一特性，计算得主透镜与微透镜阵列的距离，微透镜阵列与CCD的距离以及虚拟像面与微透镜阵列的距离。与现有技术相比，本发明能够精确标定聚焦光场相机的全部内外参数，而现有的标定技术无法实现这一目的。
【IPC分类】G06T7/00
【公开号】CN105488810
【申请号】CN201610038559
【发明人】许传龙, 孙俊, 张彪, 李健, 王式民
【申请人】东南大学
【公开日】2016年4月13日
【申请日】2016年1月20日
【技术领域】
[0001 ]本发明属于光场相机标定技术领域，具体涉及一种聚焦光场相机的内外参数标定 方法。
【背景技术】
[0002] 光场相机，基本机构和原理不同于传统相机，置一个微透镜阵列于主镜头和探测 器之间，每个微透镜接收经主透镜进入的光线后，然后将不同方向的光线聚焦到微透镜下 的不同位置的像素。这样，传感器所有像素被MXN的微透镜阵列划分为MXN个子图像，子图 像中每个像素都对应着某个特定方向的光线，代表着目标某位置的成像。通过微透镜的划 分，探测器同时记录了二维的强度信息和二维的方向信息，构成光场的四维数据。相机不仅 能够记录投射到相机探测器上光线的强度信息，还能够分辨光线的方向，从而实现四维光 场的记录。虚拟焦平面是相机探测器(CCD)关于光场相机的整个成像系统在物空间的共辄 面。虚拟焦平面关于主透镜成像系统有一个共辄面，由于没有成像探测器记录这一像，称作 虚拟像面，虚拟像面关于微透镜阵列也有一个共辄面，即相机的CCD。虚拟光源点，经过这两 个成像单元，最后在CCD上成像。光场相机可根据微透镜与CCD的位置关系分为传统光场相 机和聚焦光场相机，传统光场相机中微透镜阵列与CCD的距离等于微透镜的焦距，聚焦光场 相机中该距离不等于微透镜的焦距。
[0003] 要根据光场相机拍摄的原始图像，确定各光线的空间方向及位置，获取被拍摄目 标的三维信息，需要通过标定技术确定光场相机的内外参数。传统的相机标定方法如直接 线性变换方法(DLT变换)和径向一致约束法(RAC)。标定过程中需要运用到精密加工的标定 模块，标定模块可以是一维、二维和三维的，通过标定模块上已知的三维坐标点与其图像对 应点之间的对应关系，可以计算出相机的内部和外部参数，估计相机参数的精度较高，可以 使用任意的相机模型来进行标定。目前光场相机标定研究较少，Yunsu Bok提出了基于传统 相机标定方法的光场相机的标定方法，该标定法使用标定模块原始图像中的线性特征来进 行标定。然而，对于聚焦光场相机，光场原始图像有可识别特征点，这些特征点可直接用于 聚焦光场相机的标定，因此不需要使用线性特征。同时，由于聚焦光场相机与传统光场相机 的结构差异，Yunsu Bok提出了基于传统相机标定方法不能进一步计算所有聚焦光场相机 内部参数，包括主透镜（主面)与微透镜阵列的距离L，微透镜阵列与CCD的距离S v以及微透 镜阵列与虚拟像面的距离lm，因而该方法不能用于聚焦光场相机的标定。Ole Johannsen提 出基于传统相机标定方法的聚焦光场相机的标定方法。该标定法使用标定模块原始图像， 建立了基于小孔相机模型的标定模块上已知三维坐标点与其图像对应点之间的对应关系， 通过序列二次规划(SQP)算法优化目标函数来求解该模型，从而计算出相机的内部和外部 参数，然而该方法优化求解时需要较为精确的初始值，否则容易出现局部最优解。
【发明内容】
[0004] 发明目的：针对已有的标定技术无法精确获得聚焦光场相机的全部内外参数，为 了能够计算光线的空间方向及位置或被拍摄目标的空间三维信息，本发明提出了一种聚焦 光场相机内外参数标定方法。
[0005] 基本思路:聚焦光场相机拍摄标定板（印有国际象棋棋盘图案的平板）的图像，将 聚焦光场相机主透镜和各微透镜近视为薄透镜，先根据微透镜成像原理，将光场相机原始 图像上已知的像点（棋盘图案角点）转化成虚拟像面上虚拟像点，再根据主透镜成像原理， 建立虚拟像点与标定板上对应角点之间的数学模型，该模型可利用张正友相机标定算法进 行求解，获得待标定的外部参数和相机部分内部参数，再利用聚焦光场相机F数匹配这一特 性，进一步计算出相机的全部内部参数。
[0006] -种聚焦光场相机内外参数标定法，其特征在于，包括如下步骤：
[0007] 步骤一、在图像上定义图像坐标系U-0-V，每一像素的坐标分别是该像素在数组中 的列数和行数，（u，v)是以像素为单位的图像坐标系坐标;固定聚焦光场相机，转动标定板， 改变标定板平面相对于相机探测面的夹角，从不同角度拍摄并保存η张(η 2 3,通常为4-6) 标定板图像;记录标定板图像上的各角点Μ的像点m以及对应的微透镜中心在图像坐标系下 的坐标，以及角点Μ在世界坐标系下的坐标；
[0008] 该步骤一在图像上定义图像坐标系υ-ο-ν，ο点称为相机光心，X轴和Υ轴与图像的X 轴与Υ轴平行，Ζ轴为相机的光轴，它与图像平面垂直，由点0与Χ，Υ，Ζ轴组成的直角坐标系为 相机坐标系。在环境中选择一个基准坐标系来描述相机的位置，并用它描述环境中任何物 体的位置，该坐标系称为世界坐标系，由Xw，Yw，Zw轴组成。标定板使用棋盘格图案，为保证 标定板图像上的角点坐标能够被精确识别，用高清打印机打印高清晰度的标定板图案，将 标定板和光场相机置于光学平台上，二者相距一定距离，调整标定板的位置，使得光场相机 能够拍摄到全部标定板的图像。变换标定板和光场相机的相对放置角度，拍摄并保存若干 张不同角度下的标定板原始图像(相机CCD直接获得的未经处理的图像）。记录标定板图像 上的各角点Μ的像点m以及对应的微透镜中心在图像坐标系下的坐标，以及角点Μ在世界坐 标系下的坐标。
[0009] 步骤二、计算各虚拟像点m'在图像坐标系下的坐标：
[0010] *m \ J
'm V ^·ν J
[0011] 式中，lm是微透镜阵列与CCD的距离，Sv是虚拟像面与微透镜阵列的距离，（Mu，Mv) 是微透镜中心在图像坐标系下的坐标；
[0012] 将微透镜等效成小孔模型，两个像点过微透镜中心的成像光线交于虚拟像点处， 根据微透镜的放大率匕计算公式，利用步骤一得到的两像点在图像坐标系下的u坐标m、 U2， 微透镜中心在图像坐标系下的U坐标Mul、Mu2计算虚拟像点m '在图像坐标系下的坐标：
[0015]式中，（U，V)和(Mu，Mv)分别是像点m及其对应微透镜中心在图像坐标系下的坐标。 [0016]步骤三、建立标定板上角点Μ与虚拟像点m'的标定模型：
[0013
[0014
[0017] .s-m' = \[R t]M
[0018] 基于张正友相机标定法求解该模型，获得聚焦光场相机内部参数矩阵A和外部参 数[Rt]，其中[Rt]为相机坐标系与世界坐标系的坐标转换矩阵，R是旋转变换矩阵，t是平移 变换矩阵，A是基于小孔模型的聚焦光场相机主透镜物像转换矩阵；s是比例系数，?'是各 虚拟像点m'在图像坐标系下的坐标[u，ν，1 ]τ，Μ是对应角点Μ在世界坐标系下的坐标[Xw， Yw,l]T；
[0019] 将主透镜简化成小孔模型，则角点m与虚拟像点m'的对应关系可由下式确定，
[0020] sfii:' = A[Rt]M
[00211引入单应性矩阵H，上式进一步简化为：
[0022] = HM
[0023] 其中，
[0024]
[0025]
[0026]
[0027] 式中s是比例系数，A是聚焦光场相机主透镜成像的物像(M-m'）转换矩阵，[R，t]是 世界坐标系与相机坐标系的坐标变换矩阵，其中R是旋转变换矩阵，t是平移变换矩阵。(uo， vo)是主透镜的光心点在图像坐标系下的坐标。L是主透镜与微透镜阵列之间的距离。dx和 dy是各像素的尺寸大小，q是图像坐标系中两图像坐标轴的不垂直性倾斜角(两图像坐标轴 夹角与直角之差）。'是各虚拟像点m'在图像坐标系下的坐标[u，v，1 ]τ，:麻:是对应角点Μ在 世界坐标系下的坐标[Xw，Yw，l]T。基于张正友标定法求解得到单应性矩阵Η，内部参数矩阵A 和外部参数矩阵[R，t]。
[0028] 步骤四、根据聚焦光场相机F数匹配这一特性，计算得主透镜与微透镜阵列的距离 L，微透镜阵列与(XD的距离Sv以及虚拟像面与微透镜阵列的距离l m;
[0029] 利用步骤三中得到的α，即（L-Sv)/dx和步骤二得到的Mlm/Sv)，进一步计算聚焦 光场相机其他内部参数(相机内部各部件相对位置参数），即主透镜(主面)与微透镜阵列的 距离L，微透镜阵列与CCD的距离S v以及虚拟像面与微透镜阵列的距离lm，需要增加约束条 件。根据聚焦光场相机主透镜和微透镜的F相等，即主透镜的像方出瞳孔径的直径D，微透镜 阵列上各微透镜的直径d，主透镜(主面)与微透镜阵列的距离L以及虚拟像面与微透镜阵列 的距离lm满足，
[0030]
[0031] 最终可得：
[0032]
[0033] 有益效果:本发明具有如下优点：
[0034] (1)能够精确标定聚焦光场相机的全部内外参数，而现有的标定技术无法实现这 一目的；
[0035] (2)基于张正友传统标定法实现的标定技术，具有较好的鲁棒性、实用性和较高的 精度。
【附图说明】
[0036] 图1是聚焦光场相机标定装置图；
[0037]图3是像点-虚拟像点变换原理图；
[0038]图2是聚焦光场相机标定模型原理图；
[0039]图4是聚焦光场相机F数匹配原理图；
[0040] 其中，1 一标定板、2-光场相机、3-计算机、4一主透镜、5-微透镜阵列、6-探测 面(CXD)、7-固定夹、8-调整架、9 一支架、10-光学平台、11 一角点、12-虚拟像点、13-微 透镜中心点、14 一像点、15-光线、16-虚拟像面、17-光阑、18-宏像素。
【具体实施方式】
[0041] 下面结合附图和具体实施例，进一步阐明本发明。应理解这些实施例仅用于说明 本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各 种等价形式的修改均落于本申请所附权利要求所限定的范围。
[0042] -种聚焦光场相机内外参数标定法，包括如下步骤：
[0043]步骤一、在图像上定义图像坐标系U-0-V，每一像素的坐标分别是该像素在数组中 的列数和行数，（u，v)是以像素为单位的图像坐标系坐标。0点称为相机光心，X轴和 Y轴与图 像的X轴与Y轴平行，Z轴为相机的光轴，它与图像平面垂直，由点0与X，Y，Z轴组成的直角坐 标系为相机坐标系。在环境中选择一个基准坐标系来描述相机的位置，并用它描述环境中 任何物体的位置，该坐标系称为世界坐标系，由Xw，Yw，Zw轴组成。聚焦光场相机标定装置如 图1所示，标定板1使用棋盘格图案，为保证标定板1图像上的角点坐标能够被精确识别，用 高清打印机打印高清晰度的标定板，待标定的聚焦光场相机2为Ray trix公司型号R29的光 场相机，相机CCD 6分辨率为4384(H) X 6576(V)，各像素尺寸为5.5 X 5.5μπι，用支架9和调整 架8将标定板1和光场相机2置于光学平台10上，二者相距一定距离，调整标定板1的位置，使 得光场相机2能够拍摄到全部标定板1的图像。标定板1通过光场相机2的主透镜4和微透镜 阵列5组成的成像系统，在CCD 6上成像，固定聚焦光场相机，转动标定板，改变标定板1平面 相对于相机2探测面的夹角，通过相计算机3控制相机2拍摄并保存若干张不同角度下的标 定板原始图像(相机CCD直接获得的未经处理的图像），数字重聚焦图像无法适用于该标定 方法。将标定板原始图像导入图像处理软件(如Matlab)，记录标定板图像上的各角点(Μ)的 像点(m) 14以及对应的微透镜中心在图像坐标系下的坐标，以及角点(M) 11在世界坐标系下 的坐标，为了便于步骤二中放大率的计算，每个角点(Μ) 11记录两个对应的像点(m) 14。 [0044] 步骤二、像点(m) 14与虚拟像点(m'）12的变换原理如图2所示，两个微透镜对虚拟 像点(m'）12分别成像得到两个像点(m)14,虚拟像面16与微透镜阵列5的距离是S v，微透镜 阵列5与CCD 6的距离是lm。将微透镜等效成小孔模型，两个像点(m)14过微透镜中心13的成 像光线15交于虚拟像点(m'）12处。根据微透镜的放大率仏计算公式（1)，利用步骤一得到的 两像点(m)14在图像坐标系下的u坐标ui、U2,微透镜中心13在图像坐标系下的u坐标Mui、MU2 可利用式(2)计算虚拟像点(m '）12图像坐标系下的坐标：
[0045]
[0046]
[0047] 式中，（u，v)和(Mu，Mv)分别是像点(m) 14及其对应微透镜中心13在图像坐标系下的 坐标。
[0048]步骤三、聚焦光场相机标定模型原理如图3所示，角点(M)ll关于主透镜4的虚拟像 点为(m'）12,虚拟像点(m'）12关于微透镜5的像点为(m)14。将主透镜4简化成小孔模型，则 角点(M) 11与虚拟像点(m'）12的对应关系可由式(3)确定，引入单应性矩阵H，式(3)进一步 简化为式(4)。
[0057] 式中s是比例系数，A是聚焦光场相机主透镜4成像的物像(M-m'）转换矩阵，[R，t] 世界坐标系与相机坐标系的坐标变换矩阵，其中R是旋转变换矩阵，t是平移变换矩阵。(uo， vo)是主透镜4的光心点在图像坐标系下的坐标。L是主透镜4与微透镜阵列5之间的距离。dx 和dy是各像素的尺寸大小，q是图像坐标系中两图像坐标轴的不垂直性倾斜角。ι&_'是各虚 拟像点m '在图像坐标系下的坐标[u，v，1 ]τ，Μ是对应角点Μ在世界坐标系下的坐标[Xw，Yw， 1] 1'。认为虚拟像点111'12的坐标包含了均值为0协方差为人1^的高斯噪声，可以通1^￥6油6找-Marquardt优化算法最小化式(8)所示的目标函数，求解齐次线性方程组（10)(解为Lm tLm的 最小特征值对应的特征向量)获得优化的初值，从而得到单应性矩阵Η的最大似然估计值。
[0058]
_
[0059] 其中，
[0065] Η是角点Mil和虚拟像点m'12之间的单应性矩阵，H = A[R，t]，是单应性矩阵Η的 第i行向量，m'_Mj别是第i个虚拟像点m'12在图像坐标系下的坐标(u，v)和角点Mil在世 界坐标系下的坐标(Xw，Yw)。
[0066] 令单应性矩阵!1=[111，112，113]，坐标变换矩阵[1?4]中的旋转变换矩阵1?=[^^ 2， r3]，根据式(3)，可得
[0067] [hi h2 h3]=M[ri Γ2 t] (13)
[0068] 式中λ是任意系数，根据ri，r2的正交性可得
[0073] 将B表示成列向量b，
[0074] b=[Bll,Bl2,B22,Bl3,B23,B33]T (17)
[0075] 令Η的第i列向量为[1ιη，?Η2，?Η3]τ，可得
[0076] hfBhy = vfb (18)
[0077] 其中，
[0078] Vij = [hiihji，hiihj2+hi2hji，hi2hj2，hi3hji+hiihj3，hi3hj2+hi2hj3，hi3hj3 ]T (19)
[0079] 联立式（14)和式（15)，可得
[0080]
(20)
[0081] 拍摄的张标定板图像数量为n(n 2 3)，可获得η个如式(20)所示的齐次线性方程， 联立这些方程，可得
[0082] Vb = 0 (21)
[0083] 求解齐次线性方程组(21)(解为VTV的最小特征值对应的特征向量)得到列向量b， 再根据式(22-27)计算出A，即内部参数νο，ι?()，λ，α，β，γ。
[0084]
[0085]
[0086]
[0087]
[0088]
[0089] _
[0090] 根据式(28-31)得聚焦光场相机外部参数(相机坐标系与世界坐标系的坐标转换 矩阵[R，t])。
[0091] η = λΑ-V (28)
[0092] Γ2 = λΑ^ν (29)
[0093] r3 = ri Xr2 (30)
[0094] t = AA_1h3 (31)
[0095] 步骤四、利用步骤三中得到的α，即（L-Sv)/dx和步骤二得到的Wl m/Sv)，进一步计 算聚焦光场相机其他内部参数(相机内部各部件相对位置参数），即主透镜4(主面)与微透 镜阵列5的距离L，微透镜阵列5与CCD 6的距离Sv以及虚拟像面16与微透镜阵列5的距离lm， 需要增加约束条件。如图4所示，为保证各微透镜所覆盖的子图像18(宏像素)不相互重叠， 光阑17必须限制能到达每个微透镜的光线15不超过宏像素18的区域，同时要求探测器 (CCD)6的像素能够得到最大程度利用，因此主透镜4和微透镜的F数相等，即主透镜4的像方 出瞳孔径的直径D，微透镜阵列5上各微透镜的直径d，主透镜4(主面)与微透镜阵列5的距离 L以及虚拟像面16与微透镜阵列5的距离U茜足，
[0099] Sv=lm/Pm(34)[0100] L = Sv+adx(35)〇
[0096]
[0097]
[0098]
【主权项】
1. 一种基聚焦光场相机内外参数标定法，其特征在于，包括如下步骤： 步骤一、在图像上定义图像坐标系υ-0-ν，每一像素的坐标分别是该像素在数组中的列 数和行数，（U，v)是以像素为单位的图像坐标系坐标;固定聚焦光场相机，转动标定板，改变 标定板平面相对于相机探测面的夹角，从不同角度拍摄并η张标定板图像;记录标定板图像 上的各角点M的像点m以及对应的微透镜中心在图像坐标系下的坐标，以及角点M在世界坐 标系下的坐标，其中η 2 3; 步骤二、计算各虚拟像点m'在图像坐标系下的坐标：式中，Im是微透镜阵列与C⑶的距离，Sv是虚拟像面与微透镜阵列的距离，(Mu，MV)是微透 镜中心在图像坐标系下的坐标； 步骤三、建立标定板上角点M与虚拟像点m'的标定模型：基于张正友相机标定法求解该模型，获得聚焦光场相机内部参数矩阵A和外部参数 [Rt]，其中[R，t]为相机坐标系与世界坐标系的坐标转换矩阵，R是旋转变换矩阵，t是平移 变换矩阵，A是基于小孔模型的聚焦光场相机主透镜物像转换矩阵；s是比例系数，?'是各 虚拟像点m'在图像坐标系下的坐标[u，V，I ]T，M是对应角点M在世界坐标系下的坐标[Xw， Yw,l]T； 步骤四、根据聚焦光场相机F数匹配这一特性，计算得主透镜与微透镜阵列的距离L，微 透镜阵列与(XD的距离Sv以及虚拟像面与微透镜阵列的距离lm。2. 根据权利要求1所述的聚焦光场相机内外参数标定法，其特征在于，所述步骤四的聚 焦光场相机F数匹配这一特性为： 聚焦光场相机主透镜与微透镜的F数满足式中D和d分别是主透镜像方出瞳孔径的直径和微透镜直径。3. 根据权利要求2所述的聚焦光场相机内外参数标定法，其特征在于，所述聚焦光场相 机主透镜物像转换矩阵A为：式中，（uQ，VQ)是主透镜的光心点在图像坐标系下的坐标，L是主透镜与微透镜阵列之间 的距离，dx和dy是各像素的尺寸大小，q是图像坐标系中两图像坐标轴的不垂直性倾斜角。4. 根据权利要求1所述的聚焦光场相机内外参数标定法，其特征在于，所述n = 4-6。
【专利摘要】本发明公开了一种聚焦光场相机内外参数标定法，包括如下步骤：使用聚焦光场相机拍摄并保存标定板图像；记录标定板图像上的各角点的像点以及对应的微透镜中心在图像坐标系下的坐标，以及角点在世界坐标系下的坐标；计算各虚拟像点在图像坐标系下的坐标；建立标定板上角点与虚拟像点的标定模型，基于张正友相机标定法求解该模型，获得聚焦光场相机内部参数矩阵和外部参数；根据聚焦光场相机F数匹配这一特性，计算得主透镜与微透镜阵列的距离，微透镜阵列与CCD的距离以及虚拟像面与微透镜阵列的距离。与现有技术相比，本发明能够精确标定聚焦光场相机的全部内外参数，而现有的标定技术无法实现这一目的。
【IPC分类】G06T7/00
【公开号】CN105488810
【申请号】CN201610038559
【发明人】许传龙, 孙俊, 张彪, 李健, 王式民
【申请人】东南大学
【公开日】2016年4月13日
【申请日】2016年1月20日
最新回复(0)