一种用于工业生产线的单目视觉测距追踪装置及其追踪方法
一种用于工业生产线的单目视觉测距追踪装置及其追踪方法
【技术领域】
[0001] 本发明属于工业机器人技术领域，具体涉及一种用于工业生产线的单目视觉测距 追踪装置及其追踪方法。
【背景技术】
[0002] 近年来，随着人们对大脑视觉皮层(Visual Cortex)功能结构的深入了解，计算机 视觉这门新兴的学科也得到了越来越多的关注，并有了长足而深入的发展。视觉测量及3D 运动定位追踪技术在相应的诸多领域也被广泛应用，比如应用于:娱乐游戏产业中基于定 位控制的运动追踪游戏;军工产业得益于视觉实时定位技术，对目标对象进行识别与捕获； 医疗产业中需要模拟人机交互操作;在人工智能中使用视觉操控机器人系统等领域。
[0003] 目前，大部分测距定位系统都采用双目视觉，其基于双目立体视觉理论，该理论建 立在对人类视觉系统研究的基础上，通过双目视差获取场景信息。MamPoggio以及 Grimson最早提出并实现了一种基于人类视觉系统的计算视觉模型及算法。虽然双目视觉 是最接近于人类视觉的三维数据恢复方式，但事实上，传统双目定位系统存在一定的问题， 例如:传统双目定位系统遮挡盲区现象，特征点匹配过程复杂以及要求高精度的双目协作。
【发明内容】
[0004] 本发明的目的为了克服现有的双目视觉测距追踪系统中存在的：遮挡盲区现象， 在测距算法执行中需要复杂的特征点匹配过程以及在控制操作中需要高精度的双目协作 一系列问题，提出了一种用于工业生产线的单目视觉测距追踪装置及其追踪方法。
[0005] -种用于工业生产线的单目视觉测距追踪装置，包括：图像传感单元，控制校正单 元，用户图形接口界面和数据存储模块；
[0006] 图像传感单元包括图像采集模块和图像预处理模块，用于图像获取。
[0007] 其中，图像采集模块为图像传感单元的硬件采集部分，对特征捕捉对象进行图像 采集，并将采集到的原始图像信息输出给图像预处理模块；图像预处理模块为软件算法处 理部分，利用图像预处理算法，对原始图像信息进行图像处理:光照归一化处理，白平衡处 理，曝光控制处理和图像卷积;将经过处理的图像信息输出给控制校正单元。
[0008] 控制校正单元包括计算机控制器和执行终端模块，用于接收图像传感单元输出的 图像信息，并根据相应的用户指令，控制执行终端模块执行相应的操作。
[0009] 计算机控制器接收图像预处理模块输出的图像信息，并接收从用户图形接口界面 得到的用户指令，根据指令对图像进行处理及数据提取挖掘操作，将图像处理数据生成控 制信号，以控制流的形式输出至执行终端模块。此外，计算机控制器还依据用户指令，将图 像处理数据存储至相应的数据存储模块。
[0010] 执行终端模块连接图像采集模块，接收计算机控制器输出的图像处理数据进行校 正、调整。
[0011] 用户图形接口界面输送用户指令给计算机控制器，同时从计算机控制器接收用户 需要进行的图像处理指令和操作指令；
[0012] 数据存储模块存储计算机控制器输出的图像处理数据。
[0013] 一种用于工业生产线的单目视觉测距追踪方法，具体步骤如下：
[0014] 步骤一、用户图形接口界面输出用户指令给计算机控制器，控制执行终端模块上 的图像采集模块对特征捕捉对象进行图像采集；
[0015] 步骤二、图像预处理模块利用图像预处理算法，对采集的图像进行处理，将图像信 息输出给计算机控制器；
[0016] 步骤三、计算机控制器通过对图像进行处理及数据提取挖掘操作的方法，计算特 征捕捉对象与执行终端模块之间的距离，实现单目视觉测距追踪；
[0017] 所述的计算机控制器对图像进行处理及数据提取挖掘操作的方法，具体步骤如 下：
[0018] 步骤1:根据图像采集模块获取散焦模糊图像，建立数学模型。
[0019] 散焦模糊图像的形成过程的数学模型为：
[0020] f(e ,n)*h(x,y)+n(x,y)=g(x,y)
[0021] 其中f(e，n)为聚焦平面上得到的真实输入散焦模糊图像，h(x，y)为散焦退化核函 数，n(X，y)为环境噪音，g( x，y)为实际输出的散焦模糊图像；
[0022] 其中散焦退化核函数采用点扩散函数模型，即圆形点扩散退化函数形式：
[0023]
123456789 r为退化核函数的点扩散半径，定量地说明散焦图像的模糊程度;X和y为图像中对 应扩散点的笛卡尔坐标系下二维坐标值。 2 步骤2:采用倒谱算法对数学模型进行操作，分离真实输入图像信息与散焦退化核 函数的信息。 3
[0026]步骤201、将实际输出散焦模糊图像信息数据表示为:真实输入图像信息数据与散 焦退化核函数卷积形式； 4 g(x,y)=f(x,y) ,*h(x,y) 5 步骤202、利用傅里叶变换，将步骤201中的卷积结果转化为在频域上相乘的形式； 6 DFT(f(x,y).*h(x,y))=DFT(f(x,y))*DFT(h(x,y)) 7 步骤203、利用对数函数的性质，将步骤202中频域相乘结果转化为相加的形式； 8 log(DFT(f(x,y)))+log(DFT(h(x,y))) 9 步骤204、相加形式将真实输入图像信息与散焦退化核函数的信息分离；
[0033]步骤205、对步骤204得到的结果再次进行逆傅里叶变换，完成对图像的倒谱算法。 [0034]对步骤204得到的对数频域图像处理结果再次进行逆傅里叶变换，完成对图像的 倒谱算法，从而将其转换至倒谱域内，在倒谱域内对其特征信息进行分析。
[0035]步骤3:通过步骤2中分离出的散焦退化核函数相关信息，得到说明散焦图像的模 糊程度的点扩散半径，进一步定量地。
[0036]步骤301、将步骤2中经过倒谱算法获取的数据三维显示；
[0037]步骤302、通过三维图像在二维平面上的包络结果，获取离中心点最近的环槽半 径；
[0038]步骤303、所得到的环槽半径与点扩散半径r成正比关系。
[0039]步骤4:通过步骤3得到特征捕捉对象的距离信息结合对特征捕捉对象的2D定位， 最终得到特征捕捉对象的3D定位坐标。
[0040]本发明的优点在于：
[0041 ] (1)-种用于工业生产线的单目视觉测距追踪方法，不需要初始化标定及标记点， 只需要保证对象物体为均匀着色的不透明体即可。
[0042] (2)-种用于工业生产线的单目视觉测距追踪装置，只使用单个中端工业相机，大 大降低了硬件成本，并消除了上述背景中所述传统双目视觉测距定位装置的赘余及缺点， 从而能够简单方便地进行测距追踪。
[0043] (3)-种用于工业生产线的单目视觉测距追踪方法，有效地去除诸如光照和微小 振动等环境因素对系统的影响。
【附图说明】
[0044] 图1是本发明一种用于工业生产线的单目视觉测距追踪装置示意图；
[0045] 图2是本发明单目视觉测距追踪装置中的图像传感单元示意图；
[0046] 图3是本发明散焦模糊图像的数学模型示意图；
[0047] 图4是本发明定量计算捕捉对象的距离信息示意图；
[0048]图5是本发明单目视觉测距追踪的原理图；
[0049] 图6是本发明一种用于工业生产线的单目视觉测距追踪方法流程图；
[0050] 图7是本发明计算机控制器对图像进行处理及数据提取挖掘操作的方法流程图；
[0051] 图8是本发明单目视觉测距追踪方法中2D定位算法的流程图；
【具体实施方式】
[0052]下面结合附图对本发明的【具体实施方式】作进一步说明。
[0053] 一种用于工业生产线的单目视觉测距追踪装置，被应用于工业生产线上工业机器 人运动操作的测距追踪。如图1所示，包括：图像传感单元，控制校正单元，用户图形接口界 面和数据存储模块；
[0054] 图像传感单元包括图像采集模块和图像预处理模块，用于图像获取；
[0055] 其中，图像采集模块为图像传感单元的硬件采集部分，运用图像采集设备，对特征 捕捉对象进行图像采集，并将采集到的原始图像信息经过图像数据总线，输出给图像预处 理模块，进行下一步图像预处理步骤。
[0056] 图像采集设备优选照相机，摄像机或网络摄像头;本实施例中采用百万像素级工 业定焦相机，具有成像畸变校正功能。其中，工业定焦相机采用固定焦距镜头，镜头的参数 如表1所示，处理器内核为Linux 3.0内核及以上，控制操作系统为Ubuntu 11.04及以上，并 具有相应的GigE千兆以太网接口。
[0057]表1是工业定焦相机的固定焦距镜头参数
[0058]
[0059] 图像预处理模块为图像传感单元的软件算法处理部分。
[0060] 对于现有的任何一种图像采集设备，都需要一套 软件包(SDK)来支持，与采集设备 配套的视觉软件包通常包括以下模块：图像预处理部分；图像处理部分;字符识别部分;数 据提取部分;图像资源管理部分;显示功能部分和其他功能部分。
[0061] 如图2所示，图像采集模块运用工业定焦相机的定焦镜头和GigE千兆以太网，采集 特征捕捉对象的图像，并传输给计算机控制器；同时图像预处理模块应用工业定焦相机自 带软件开发工具包SDK中的图像预处理算法，对图像采集模块输出的原始图像信息进行处 理，包括:设置图像捕捉模式，初始化图像质量以及初步简单的图像预处理功能；其中简单 的图像处理过程，包括:光照归一化处理，白平衡处理，曝光控制处理和图像卷积处理； [0062] 光照归一化处理:去除光照条件不同对后续图像处理的影响；
[0063]白平衡处理:感知图像采集周围管径，调整色彩平衡，对图像采集模块输出的图像 信号进行修正调节；
[0064] 曝光控制处理:调整图像整体亮度；
[0065]图像卷积:对图像进行边缘处理。
[0066]图像预处理模块具体的处理步骤如下：
[0067]第一步、设置Gamma校正，改善光线对获取的图像质量的影响；
[0068] 根据工业定焦相机的Analog Controls功能控制区中的Gamma correction功能函 数，设置Gamma Enable让相机在获取图像并进行预处理时，自动对图像进行Gamma校正。
[0069] 第二步、设置自动白平衡，根据不同环境条件下的光照情况相应调节白平衡；
[0070]工业定焦相机Analog Controls功能控制区中的设置白平衡的功能函数，分为手 动设置和自动设置两种，在手动设置模式下：通过设置Balance Ratio选取需要的白平衡 值;在自动设置模式下，选择Balance White Auto选项使相机在捕捉图像进行图像预处理 时自动进行白平衡调节。
[0071]第三步、设置自动曝光，根据不同环境条件下的光照强度相应调节最优曝光时间。 [0072] 工业定焦相机自带的Acquisition Controls功能控制区，封装了设置曝光模式/ 时间/时间基数的功能函数，分为手动设置和自动设置两种，在手动设置模式下，通过设置 Exposure Mode/Time/Timebase等选项设置调整用户所需要的曝光参数;在自动设置模式 下，选择Exposure Auto选项来使相机在捕捉图像时，依据环境自动设置最优曝光参数。 [0073] 最终将经过上述图像预处理之后的误差噪声较小的预处理图像，输出给下一层控 制校正单元。
[0074]控制校正单元包括计算机控制器和执行终端模块，用于接收图像传感单元输出的 图像信息，并根据相应的用户指令，控制执行终端模块执行相应的操作。
[0075]计算机控制器获取由图像预处理模块输出的图像信息包，并接收从用户图形接口 界面得到的用户指令，根据指令对图像信息包进行特定的后期图像处理及数据提取挖掘操 作，并生成相应的控制信号，将其以控制流的形式，通过数据总线输出至执行终端模块。
[0076]此外，计算机控制器还依据用户指令，对用户感兴趣的数据进行存储，并将该数据 存储至相应的数据存储模块，以便用户在需要的时候，调用数据存储模块中的数据进行查 看以及其他的处理操作。
[0077]执行终端模块接收计算机控制器输出的校正及控制信息，对终端的姿态、位置等 位姿信息进行校正、调整，最终达成用户指定的操作目的。
[0078] 用户图形接口界面属于辅助部分，用以产生友好的人机交互界面；一方面输送用 户指令给计算机控制器，同时从计算机控制器接收用户需要进行的图像处理指令和操作指 令；
[0079] 数据存储模块属于辅助部分，用于存储计算机控制器输出的实时数据。
[0080] 一种用于工业生产线的单目视觉测距追踪方法，被应用于工业控制领域生产线 上;单目视觉测距追踪的原理，如图5所示，采用离焦透镜成像系统的物理光学成像原理，其 中，图像采集设备被简化为定焦透镜，由于距离不同，特征捕捉对象无法准确聚焦在清晰聚 焦平面之上，从而产生一定程度的散焦扩散退化。获取到的实际输出图像信息出现一定程 度的散焦点扩散效应，对于散焦点扩散效应的定量表示为点扩散半径，由物理光学透镜成 像规律公式：
[0081]
[0082]其中，u为物距，是特征捕捉对象与透镜之间的距离;f为透镜焦距;v为聚焦成像像 距。
[0083]由相似三角形的比例可知点扩散半径与物距u之间存在定量关系：当特征捕捉对 象在聚焦平面上清晰成像时，在清晰聚焦平面前，实际成像像距为V1，点扩散半径为Ri;
[0084]
[0085] 在清晰聚焦平面后，实际成像像距为v2,点扩散半径为R2;
[0086]
[0087] 其中，d为透镜直径；
[0088]根据点扩散半径，得到特征捕捉对象与透镜之间的距离u，进行捕捉对象的测距追 足示。
[0089]该软件算法基于信息学理论中现代控制方法的系统思想，设定所得到的模糊图像 为聚焦平面之上的清晰图像经过散焦退化核函数的模糊作用相应得到，其中还需要考虑成 像过程中所受到的环境噪音。
[0090] 如图6所示，该单目视觉测距追踪方法具体步骤如下：
[0091] 步骤一、用户图形接口界面输出用户指令给计算机控制器，控制执行终端模块上 的图像采集模块对特征捕捉对象进行图像采集；
[0092]步骤二、图像预处理模块利用图像预处理算法，对采集的图像进行处理，将图像信 息输出给计算机控制器；
[0093]步骤三、计算机控制器通过对图像进行处理及数据提取挖掘操作的方法，计算特 征捕捉对象与执行终端模块之间的距离，实现单目视觉测距追踪；
[0094]所述的计算机控制器对图像进行处理及数据提取挖掘操作的方法，如图7所示，具 体步骤如下：
[0095]步骤1:根据图像采集模块获取散焦模糊图像，建立数学模型。
[0096] 该数学模型基于图像退化的思想，即真实输入图像经过图像采集模块形成实际输 出图像，由于图像采集模块自身的物理性质及环境噪声的影响，真实输入图像与实际输出 图像并不相同。
[0097] 如图3所示:散焦模糊图像的形成过程的数学模型为：
[0098] f(e ,n)*h(x,y)+n(x,y)=g(x,y)
[0099] 其中f(e，n)为聚焦平面上得到的真实输入图像，h(x，y)为散焦退化核函数，n(x， y)为环境噪音，g(x，y)为实际输出的散焦模糊图像。
[0100] 其中散焦退化核函数采用点扩散函数模型，即圆形点扩散退化函数形式：
[0101]
[0102] r为退化核函数的点扩散半径，定量地说明散焦图像的模糊程度;X和y为图像中对 应扩散点的笛卡尔坐标系下二维坐标值。
[0103]控制校正单元接收图像采集模块获取的散焦模糊图像，结合用户图形接口界面得 到的用户指令校正及控制信息，对终端的姿态、位置等位姿信息进行校正、调整，最终达成 用户指定的操作目的。
[0104] 步骤2:采用倒谱算法对数学模型进行操作，分离真实输入图像信息与散焦退化核 函数的信息。
[0105] 基于倒谱算法求取点扩散半径r的具体步骤如下：
[0106] 步骤201、将实际输出散焦模糊图像信息数据表示为:真实输入图像信息数据与散 焦退化核函数卷积形式；
[0107] g(x,y)=f(x,y) ,*h(x,y)
[0108] 步骤202、利用傅里叶变换，将步骤201中的卷积结果转化为在频域上相乘的形式；
[0109] DFT(f(x,y).*h(x,y))=DFT(f(x,y))*DFT(h(x,y))
[0110] 步骤203、利用对数函数的性质，将步骤202中频域相乘结果转化为相加的形式；
[0111] log(DFT(f(x,y)))+log(DFT(h(x,y)))
[0112] 步骤204、相加形式将真实输入图像信息与散焦退化核函数的信息分离；
[0113] 步骤205、对步骤204得到的结果再次进行逆傅里叶变换，完成对图像的倒谱算法。
[0114] 对步骤204得到的对数频域图像处理结果再次进行逆傅里叶变换，完成对图像的 倒谱算法，从而将其转换至倒谱域内，在倒谱域内对其特征信息进行分析。
[0115]数据存储模块对真实输入图像信息与散焦退化核函数的信息进行存储，并与用户 图形接口界面进行交互。
[0116]步骤3:通过对步骤2中分离出的散焦退化核函数相关信息的分析，得到说明散焦 图像的模糊程度的点扩散半径。
[0117] 步骤301、将步骤2中经过倒谱算法获取的数据三维显示；
[0118] 该数据利用处理Open CV软件进行处理。
[0119] 步骤302、通过三维图像在二维平面上的包络结果，获取离中心点最近的环槽半 径；
[0120] 所述的二维平面指X-Z/Y-Z平面。
[0121]步骤303、所得到的环槽半径与点扩散半径r成正比关系。
[0122] 如图4所示，将纵坐标为y = 0设为倒谱域零平面，简称零线，X ? 641处为倒谱域处 理结果图像中心峰值处;不同曲线代表利用倒谱算法得到的，具有不同r的散焦退化核函数 处理结果二维图像，不同r的散焦退化核函数曲线与零线的交点为零点，零点中距离中心峰 值X ? 641最近的交点距中心峰值的水平距离为环槽半径的值，该环槽半径正比于点扩散半 径r〇
[0123] 本发明中，该环槽半径为点扩散半径r的2倍。
[0124] 至此，利用环槽半径定量地表示点扩散半径r，从而进一步定量计算捕捉对象的距 离信息。
[0125] 数据存储模块对捕捉对象的距离信息进行存储，并与用户图形接口界面进行交 互。
[0126] 步骤4:通过步骤3得到特征捕捉对象的距离信息结合对特征捕捉对象的2D定位， 最终得到特征捕捉对象的3D定位坐标。
[0127] 对于特征捕捉对象的2D定位采用可自动校正的提取算法。2D定位算法执行自动重 定位功能，如图8所示，具体步骤如下：
[0128] 步骤401、设置泊松核函数对原始获取图像进行预处理；
[0129] 步骤402、追踪初始化设定的特征捕捉对象，根据该特征捕捉对象得到点扩散半 径；
[0130] 步骤403、获取时域上连续的图像相关性和差异性信息；
[0131] 步骤404、根据图像相关性和差异性信息，判断连续的图像是否稳定，如果稳定，进 入步骤405，否则进入步骤406;
[0132] 步骤405、根据稳定的连续图像，确认点扩散半径，获取捕捉特征对象的3D定位坐 标；
[0133] 根据稳定的连续图像，确认点扩散半径并输出给用户图形接口界面，捕捉特征对 象，获取该特征捕捉对象的3D定位坐标；
[0134] 步骤406、所获取的图像高度不稳定，则该特征捕捉对象的点扩散半径错误，返回 步骤402。
[0135] 软件算法部分利用单目近景测距思想，基于运动散焦模糊算法的测距算法，通过 所获取的一系列散焦模糊图像的模糊程度反映特征捕捉对象的距离信息。与此同时，应用 信息学理论，基于频域倒谱算法获取散焦模糊图像点扩散核函数的点扩散半径，进而得到 图像模糊退化模型的退化系统函数，从而准确且定量地计算得出所述特征捕捉对象的距离 信息，最终辅以相应的2D自动校正定位算法，获得特征捕捉对象的测距及定位坐标信息。
[0136] 由于该系统结合运用了一种新的算法处理思想，且主要应用于工业机器人领域， 故必须考虑其在工业机器人领域使用过程中的特殊要求及可靠性问题。工业机器人操作系 统需要较小的波动性和较高的稳定性，基于上述原因，在本发明的算法中加入了平滑滤波 算法，从而对控制器提供相对平滑稳定的定位数据。
【主权项】
1. 一种用于工业生产线的单目视觉测距追踪装置，其特征在于，包括图像传感单元、控 制校正单元、用户图形接口界面和数据存储模块； 图像传感单元包括图像采集模块和图像预处理模块，图像采集模块采集特征捕捉对象 的图像，并输出给图像预处理模块;图像预处理模块利用图像预处理算法，对图像信息进行 图像处理，并输出给控制校正单元； 控制校正单元包括计算机控制器和执行终端模块，计算机控制器接收图像预处理模块 输出的图像信息，并接收用户图形接口界面输出的用户指令，根据指令对图像进行处理及 数据提取挖掘操作，将图像处理数据生成控制信号，输出至执行终端模块，控制执行终端模 块执行相应的操作；同时计算机控制器依据用户指令，将图像处理数据存储至数据存储模 块； 执行终端模块连接图像采集模块，接收计算机控制器输出的图像处理数据进行校正、 调整； 用户图形接口界面输送用户指令给计算机控制器，同时接收用户需要的图像处理指令 和操作指令； 数据存储模块存储计算机控制器输出的图像处理数据。2. 如权利要求1所述的一种用于工业生产线的单目视觉测距追踪装置，其特征在于，所 述的图像采集设备为百万像素级工业定焦相机。3. 如权利要求1所述的一种用于工业生产线的单目视觉测距追踪装置，其特征在于，所 述的图像预处理模块对图像信息进行如下操作:设置图像捕捉模式，初始化图像质量以及 图像预处理;其中图像预处理包括:光照归一化处理，白平衡处理，曝光控制处理和图像卷 积处理。4. 应用权利要求1所述的单目视觉测距追踪装置的一种用于工业生产线的单目视觉测 距追踪方法，其特征在于，具体步骤如下： 步骤一、用户图形接口界面输出用户指令给计算机控制器，控制执行终端模块上的图 像采集模块对特征捕捉对象进行图像采集； 步骤二、图像预处理模块利用图像预处理算法，对采集的图像进行处理，将图像信息输 出给计算机控制器； 步骤三、计算机控制器通过对图像进行处理及数据提取挖掘操作的方法，计算特征捕 捉对象与执行终端模块之间的距离，实现单目视觉测距追踪； 所述的计算机控制器对图像进行处理及数据提取挖掘操作的方法，具体步骤如下： 步骤1:根据图像采集模块获取散焦模糊图像，建立数学模型； 散焦模糊图像的形成过程的数学模型为： f (ε ,n)*h(x,y)+n(x,y) = g(x,y) 其中f(e，n)为聚焦平面上得到的真实输入散焦模糊图像，h(x，y)为散焦退化核函数，η (X，y)为环境噪音，g(x，y)为实际输出的散焦模糊图像； 其中散焦退化核函数采用点扩散函数模型，即圆形点扩散退化函数形式：r为退化核函数的点扩散半径;x和y为图像中对应扩散点的笛卡尔坐标系下二维坐标 值； 步骤2:采用倒谱算法对数学模型进行操作，分离真实输入图像信息与散焦退化核函数 的信息； 具体包括： 步骤201、将实际输出散焦模糊图像信息数据表示为:真实输入图像信息数据与散焦退 化核函数卷积形式； g(x,y)=f (x,y) .*h(x,y) 步骤202、利用傅里叶变换，将步骤201中的卷积结果转化为在频域上相乘的形式； DFT(f(x,y).*h(x,y))=DFT(f(x,y))*DFT(h(x,y)) 步骤203、利用对数函数的性质，将步骤202中频域相乘结果转化为相加的形式； log(DFT(f(x,y)))+log(DFT(h(x,y))) 步骤204、相加形式将真实输入图像信息与散焦退化核函数的信息分离； 步骤205、对步骤204得到的结果再次进行逆傅里叶变换，完成对图像的倒谱算法； 对步骤204得到的对数频域图像处理结果再次进行逆傅里叶变换，完成对图像的倒谱 算法，从而将其转换至倒谱域内，在倒谱域内对其特征信息进行分析； 步骤3:通过步骤2中分离出的散焦退化核函数信息，得到说明散焦图像的模糊程度的 点扩散半径； 将步骤二中经过倒谱算法获取的分离信息三维显示，通过三维图像在二维平面上的包 络结果，获取离中心点最近的环槽半径，该环槽半径与点扩散半径r成正比关系，点扩散半 径r表示特征捕捉对象的距离信息； 步骤4:通过步骤3得到特征捕捉对象的距离信息结合对特征捕捉对象的2D定位，最终 得到特征捕捉对象的3D定位坐标。5.如权利要求4所述的一种用于工业生产线的单目视觉测距追踪方法，其特征在于，步 骤三中所述的2D定位具体步骤如下： 步骤401、设置泊松核函数对原始获取图像进行预处理； 步骤402、追踪初始化设定的特征捕捉对象，根据该特征捕捉对象得到点扩散半径； 步骤403、获取时域上连续的图像相关性和差异性信息； 步骤404、根据图像相关性和差异性信息，判断连续的图像是否稳定，如果稳定，进入步 骤405，否则进入步骤406; 步骤405、根据稳定的连续图像，确认点扩散半径，获取捕捉特征对象的3D定位坐标； 步骤406、所获取的图像高度不稳定，则该特征捕捉对象的点扩散半径错误，返回步骤 402 〇
【专利摘要】本发明公开了一种用于工业生产线的单目视觉测距追踪装置及其追踪方法，被应用于工业生产线。其中该装置包括图像传感单元，控制校正单元，用户图形接口界面和数据存储模块；该方法包括：1)、图像采集模块获取散焦模糊图像，建立数学模型；2)、采用倒谱算法对数学模型进行操作，分离真实输入图像信息与散焦退化核函数的信息；3)、通过分析散焦退化核函数相关信息，定量得到点扩散半径；4)、根据点扩散半径得到特征捕捉对象的距离信息，结合对特征捕捉对象的2D定位信息，最终得到特征捕捉对象的3D定位坐标。本发明的优点在于，只使用一个中端工业相机，大大降低了系统成本；且不需要初始化标定及标记点。
【IPC分类】G06T7/00
【公开号】CN105488780
【申请号】CN201510132219
【发明人】魏洪兴, 黄真, 董芹鹏, 邵宇秀
【申请人】遨博（北京）智能科技有限公司
【公开日】2016年4月13日
【申请日】2015年3月25日
【技术领域】
[0001] 本发明属于工业机器人技术领域，具体涉及一种用于工业生产线的单目视觉测距 追踪装置及其追踪方法。
【背景技术】
[0002] 近年来，随着人们对大脑视觉皮层(Visual Cortex)功能结构的深入了解，计算机 视觉这门新兴的学科也得到了越来越多的关注，并有了长足而深入的发展。视觉测量及3D 运动定位追踪技术在相应的诸多领域也被广泛应用，比如应用于:娱乐游戏产业中基于定 位控制的运动追踪游戏;军工产业得益于视觉实时定位技术，对目标对象进行识别与捕获； 医疗产业中需要模拟人机交互操作;在人工智能中使用视觉操控机器人系统等领域。
[0003] 目前，大部分测距定位系统都采用双目视觉，其基于双目立体视觉理论，该理论建 立在对人类视觉系统研究的基础上，通过双目视差获取场景信息。MamPoggio以及 Grimson最早提出并实现了一种基于人类视觉系统的计算视觉模型及算法。虽然双目视觉 是最接近于人类视觉的三维数据恢复方式，但事实上，传统双目定位系统存在一定的问题， 例如:传统双目定位系统遮挡盲区现象，特征点匹配过程复杂以及要求高精度的双目协作。
【发明内容】
[0004] 本发明的目的为了克服现有的双目视觉测距追踪系统中存在的：遮挡盲区现象， 在测距算法执行中需要复杂的特征点匹配过程以及在控制操作中需要高精度的双目协作 一系列问题，提出了一种用于工业生产线的单目视觉测距追踪装置及其追踪方法。
[0005] -种用于工业生产线的单目视觉测距追踪装置，包括：图像传感单元，控制校正单 元，用户图形接口界面和数据存储模块；
[0006] 图像传感单元包括图像采集模块和图像预处理模块，用于图像获取。
[0007] 其中，图像采集模块为图像传感单元的硬件采集部分，对特征捕捉对象进行图像 采集，并将采集到的原始图像信息输出给图像预处理模块；图像预处理模块为软件算法处 理部分，利用图像预处理算法，对原始图像信息进行图像处理:光照归一化处理，白平衡处 理，曝光控制处理和图像卷积;将经过处理的图像信息输出给控制校正单元。
[0008] 控制校正单元包括计算机控制器和执行终端模块，用于接收图像传感单元输出的 图像信息，并根据相应的用户指令，控制执行终端模块执行相应的操作。
[0009] 计算机控制器接收图像预处理模块输出的图像信息，并接收从用户图形接口界面 得到的用户指令，根据指令对图像进行处理及数据提取挖掘操作，将图像处理数据生成控 制信号，以控制流的形式输出至执行终端模块。此外，计算机控制器还依据用户指令，将图 像处理数据存储至相应的数据存储模块。
[0010] 执行终端模块连接图像采集模块，接收计算机控制器输出的图像处理数据进行校 正、调整。
[0011] 用户图形接口界面输送用户指令给计算机控制器，同时从计算机控制器接收用户 需要进行的图像处理指令和操作指令；
[0012] 数据存储模块存储计算机控制器输出的图像处理数据。
[0013] 一种用于工业生产线的单目视觉测距追踪方法，具体步骤如下：
[0014] 步骤一、用户图形接口界面输出用户指令给计算机控制器，控制执行终端模块上 的图像采集模块对特征捕捉对象进行图像采集；
[0015] 步骤二、图像预处理模块利用图像预处理算法，对采集的图像进行处理，将图像信 息输出给计算机控制器；
[0016] 步骤三、计算机控制器通过对图像进行处理及数据提取挖掘操作的方法，计算特 征捕捉对象与执行终端模块之间的距离，实现单目视觉测距追踪；
[0017] 所述的计算机控制器对图像进行处理及数据提取挖掘操作的方法，具体步骤如 下：
[0018] 步骤1:根据图像采集模块获取散焦模糊图像，建立数学模型。
[0019] 散焦模糊图像的形成过程的数学模型为：
[0020] f(e ,n)*h(x,y)+n(x,y)=g(x,y)
[0021] 其中f(e，n)为聚焦平面上得到的真实输入散焦模糊图像，h(x，y)为散焦退化核函 数，n(X，y)为环境噪音，g( x，y)为实际输出的散焦模糊图像；
[0022] 其中散焦退化核函数采用点扩散函数模型，即圆形点扩散退化函数形式：
[0023]
123456789 r为退化核函数的点扩散半径，定量地说明散焦图像的模糊程度;X和y为图像中对 应扩散点的笛卡尔坐标系下二维坐标值。 2 步骤2:采用倒谱算法对数学模型进行操作，分离真实输入图像信息与散焦退化核 函数的信息。 3
[0026]步骤201、将实际输出散焦模糊图像信息数据表示为:真实输入图像信息数据与散 焦退化核函数卷积形式； 4 g(x,y)=f(x,y) ,*h(x,y) 5 步骤202、利用傅里叶变换，将步骤201中的卷积结果转化为在频域上相乘的形式； 6 DFT(f(x,y).*h(x,y))=DFT(f(x,y))*DFT(h(x,y)) 7 步骤203、利用对数函数的性质，将步骤202中频域相乘结果转化为相加的形式； 8 log(DFT(f(x,y)))+log(DFT(h(x,y))) 9 步骤204、相加形式将真实输入图像信息与散焦退化核函数的信息分离；
[0033]步骤205、对步骤204得到的结果再次进行逆傅里叶变换，完成对图像的倒谱算法。 [0034]对步骤204得到的对数频域图像处理结果再次进行逆傅里叶变换，完成对图像的 倒谱算法，从而将其转换至倒谱域内，在倒谱域内对其特征信息进行分析。
[0035]步骤3:通过步骤2中分离出的散焦退化核函数相关信息，得到说明散焦图像的模 糊程度的点扩散半径，进一步定量地。
[0036]步骤301、将步骤2中经过倒谱算法获取的数据三维显示；
[0037]步骤302、通过三维图像在二维平面上的包络结果，获取离中心点最近的环槽半 径；
[0038]步骤303、所得到的环槽半径与点扩散半径r成正比关系。
[0039]步骤4:通过步骤3得到特征捕捉对象的距离信息结合对特征捕捉对象的2D定位， 最终得到特征捕捉对象的3D定位坐标。
[0040]本发明的优点在于：
[0041 ] (1)-种用于工业生产线的单目视觉测距追踪方法，不需要初始化标定及标记点， 只需要保证对象物体为均匀着色的不透明体即可。
[0042] (2)-种用于工业生产线的单目视觉测距追踪装置，只使用单个中端工业相机，大 大降低了硬件成本，并消除了上述背景中所述传统双目视觉测距定位装置的赘余及缺点， 从而能够简单方便地进行测距追踪。
[0043] (3)-种用于工业生产线的单目视觉测距追踪方法，有效地去除诸如光照和微小 振动等环境因素对系统的影响。
【附图说明】
[0044] 图1是本发明一种用于工业生产线的单目视觉测距追踪装置示意图；
[0045] 图2是本发明单目视觉测距追踪装置中的图像传感单元示意图；
[0046] 图3是本发明散焦模糊图像的数学模型示意图；
[0047] 图4是本发明定量计算捕捉对象的距离信息示意图；
[0048]图5是本发明单目视觉测距追踪的原理图；
[0049] 图6是本发明一种用于工业生产线的单目视觉测距追踪方法流程图；
[0050] 图7是本发明计算机控制器对图像进行处理及数据提取挖掘操作的方法流程图；
[0051] 图8是本发明单目视觉测距追踪方法中2D定位算法的流程图；
【具体实施方式】
[0052]下面结合附图对本发明的【具体实施方式】作进一步说明。
[0053] 一种用于工业生产线的单目视觉测距追踪装置，被应用于工业生产线上工业机器 人运动操作的测距追踪。如图1所示，包括：图像传感单元，控制校正单元，用户图形接口界 面和数据存储模块；
[0054] 图像传感单元包括图像采集模块和图像预处理模块，用于图像获取；
[0055] 其中，图像采集模块为图像传感单元的硬件采集部分，运用图像采集设备，对特征 捕捉对象进行图像采集，并将采集到的原始图像信息经过图像数据总线，输出给图像预处 理模块，进行下一步图像预处理步骤。
[0056] 图像采集设备优选照相机，摄像机或网络摄像头;本实施例中采用百万像素级工 业定焦相机，具有成像畸变校正功能。其中，工业定焦相机采用固定焦距镜头，镜头的参数 如表1所示，处理器内核为Linux 3.0内核及以上，控制操作系统为Ubuntu 11.04及以上，并 具有相应的GigE千兆以太网接口。
[0057]表1是工业定焦相机的固定焦距镜头参数
[0058]
[0059] 图像预处理模块为图像传感单元的软件算法处理部分。
[0060] 对于现有的任何一种图像采集设备，都需要一套 软件包(SDK)来支持，与采集设备 配套的视觉软件包通常包括以下模块：图像预处理部分；图像处理部分;字符识别部分;数 据提取部分;图像资源管理部分;显示功能部分和其他功能部分。
[0061] 如图2所示，图像采集模块运用工业定焦相机的定焦镜头和GigE千兆以太网，采集 特征捕捉对象的图像，并传输给计算机控制器；同时图像预处理模块应用工业定焦相机自 带软件开发工具包SDK中的图像预处理算法，对图像采集模块输出的原始图像信息进行处 理，包括:设置图像捕捉模式，初始化图像质量以及初步简单的图像预处理功能；其中简单 的图像处理过程，包括:光照归一化处理，白平衡处理，曝光控制处理和图像卷积处理； [0062] 光照归一化处理:去除光照条件不同对后续图像处理的影响；
[0063]白平衡处理:感知图像采集周围管径，调整色彩平衡，对图像采集模块输出的图像 信号进行修正调节；
[0064] 曝光控制处理:调整图像整体亮度；
[0065]图像卷积:对图像进行边缘处理。
[0066]图像预处理模块具体的处理步骤如下：
[0067]第一步、设置Gamma校正，改善光线对获取的图像质量的影响；
[0068] 根据工业定焦相机的Analog Controls功能控制区中的Gamma correction功能函 数，设置Gamma Enable让相机在获取图像并进行预处理时，自动对图像进行Gamma校正。
[0069] 第二步、设置自动白平衡，根据不同环境条件下的光照情况相应调节白平衡；
[0070]工业定焦相机Analog Controls功能控制区中的设置白平衡的功能函数，分为手 动设置和自动设置两种，在手动设置模式下：通过设置Balance Ratio选取需要的白平衡 值;在自动设置模式下，选择Balance White Auto选项使相机在捕捉图像进行图像预处理 时自动进行白平衡调节。
[0071]第三步、设置自动曝光，根据不同环境条件下的光照强度相应调节最优曝光时间。 [0072] 工业定焦相机自带的Acquisition Controls功能控制区，封装了设置曝光模式/ 时间/时间基数的功能函数，分为手动设置和自动设置两种，在手动设置模式下，通过设置 Exposure Mode/Time/Timebase等选项设置调整用户所需要的曝光参数;在自动设置模式 下，选择Exposure Auto选项来使相机在捕捉图像时，依据环境自动设置最优曝光参数。 [0073] 最终将经过上述图像预处理之后的误差噪声较小的预处理图像，输出给下一层控 制校正单元。
[0074]控制校正单元包括计算机控制器和执行终端模块，用于接收图像传感单元输出的 图像信息，并根据相应的用户指令，控制执行终端模块执行相应的操作。
[0075]计算机控制器获取由图像预处理模块输出的图像信息包，并接收从用户图形接口 界面得到的用户指令，根据指令对图像信息包进行特定的后期图像处理及数据提取挖掘操 作，并生成相应的控制信号，将其以控制流的形式，通过数据总线输出至执行终端模块。
[0076]此外，计算机控制器还依据用户指令，对用户感兴趣的数据进行存储，并将该数据 存储至相应的数据存储模块，以便用户在需要的时候，调用数据存储模块中的数据进行查 看以及其他的处理操作。
[0077]执行终端模块接收计算机控制器输出的校正及控制信息，对终端的姿态、位置等 位姿信息进行校正、调整，最终达成用户指定的操作目的。
[0078] 用户图形接口界面属于辅助部分，用以产生友好的人机交互界面；一方面输送用 户指令给计算机控制器，同时从计算机控制器接收用户需要进行的图像处理指令和操作指 令；
[0079] 数据存储模块属于辅助部分，用于存储计算机控制器输出的实时数据。
[0080] 一种用于工业生产线的单目视觉测距追踪方法，被应用于工业控制领域生产线 上;单目视觉测距追踪的原理，如图5所示，采用离焦透镜成像系统的物理光学成像原理，其 中，图像采集设备被简化为定焦透镜，由于距离不同，特征捕捉对象无法准确聚焦在清晰聚 焦平面之上，从而产生一定程度的散焦扩散退化。获取到的实际输出图像信息出现一定程 度的散焦点扩散效应，对于散焦点扩散效应的定量表示为点扩散半径，由物理光学透镜成 像规律公式：
[0081]
[0082]其中，u为物距，是特征捕捉对象与透镜之间的距离;f为透镜焦距;v为聚焦成像像 距。
[0083]由相似三角形的比例可知点扩散半径与物距u之间存在定量关系：当特征捕捉对 象在聚焦平面上清晰成像时，在清晰聚焦平面前，实际成像像距为V1，点扩散半径为Ri;
[0084]
[0085] 在清晰聚焦平面后，实际成像像距为v2,点扩散半径为R2;
[0086]
[0087] 其中，d为透镜直径；
[0088]根据点扩散半径，得到特征捕捉对象与透镜之间的距离u，进行捕捉对象的测距追 足示。
[0089]该软件算法基于信息学理论中现代控制方法的系统思想，设定所得到的模糊图像 为聚焦平面之上的清晰图像经过散焦退化核函数的模糊作用相应得到，其中还需要考虑成 像过程中所受到的环境噪音。
[0090] 如图6所示，该单目视觉测距追踪方法具体步骤如下：
[0091] 步骤一、用户图形接口界面输出用户指令给计算机控制器，控制执行终端模块上 的图像采集模块对特征捕捉对象进行图像采集；
[0092]步骤二、图像预处理模块利用图像预处理算法，对采集的图像进行处理，将图像信 息输出给计算机控制器；
[0093]步骤三、计算机控制器通过对图像进行处理及数据提取挖掘操作的方法，计算特 征捕捉对象与执行终端模块之间的距离，实现单目视觉测距追踪；
[0094]所述的计算机控制器对图像进行处理及数据提取挖掘操作的方法，如图7所示，具 体步骤如下：
[0095]步骤1:根据图像采集模块获取散焦模糊图像，建立数学模型。
[0096] 该数学模型基于图像退化的思想，即真实输入图像经过图像采集模块形成实际输 出图像，由于图像采集模块自身的物理性质及环境噪声的影响，真实输入图像与实际输出 图像并不相同。
[0097] 如图3所示:散焦模糊图像的形成过程的数学模型为：
[0098] f(e ,n)*h(x,y)+n(x,y)=g(x,y)
[0099] 其中f(e，n)为聚焦平面上得到的真实输入图像，h(x，y)为散焦退化核函数，n(x， y)为环境噪音，g(x，y)为实际输出的散焦模糊图像。
[0100] 其中散焦退化核函数采用点扩散函数模型，即圆形点扩散退化函数形式：
[0101]
[0102] r为退化核函数的点扩散半径，定量地说明散焦图像的模糊程度;X和y为图像中对 应扩散点的笛卡尔坐标系下二维坐标值。
[0103]控制校正单元接收图像采集模块获取的散焦模糊图像，结合用户图形接口界面得 到的用户指令校正及控制信息，对终端的姿态、位置等位姿信息进行校正、调整，最终达成 用户指定的操作目的。
[0104] 步骤2:采用倒谱算法对数学模型进行操作，分离真实输入图像信息与散焦退化核 函数的信息。
[0105] 基于倒谱算法求取点扩散半径r的具体步骤如下：
[0106] 步骤201、将实际输出散焦模糊图像信息数据表示为:真实输入图像信息数据与散 焦退化核函数卷积形式；
[0107] g(x,y)=f(x,y) ,*h(x,y)
[0108] 步骤202、利用傅里叶变换，将步骤201中的卷积结果转化为在频域上相乘的形式；
[0109] DFT(f(x,y).*h(x,y))=DFT(f(x,y))*DFT(h(x,y))
[0110] 步骤203、利用对数函数的性质，将步骤202中频域相乘结果转化为相加的形式；
[0111] log(DFT(f(x,y)))+log(DFT(h(x,y)))
[0112] 步骤204、相加形式将真实输入图像信息与散焦退化核函数的信息分离；
[0113] 步骤205、对步骤204得到的结果再次进行逆傅里叶变换，完成对图像的倒谱算法。
[0114] 对步骤204得到的对数频域图像处理结果再次进行逆傅里叶变换，完成对图像的 倒谱算法，从而将其转换至倒谱域内，在倒谱域内对其特征信息进行分析。
[0115]数据存储模块对真实输入图像信息与散焦退化核函数的信息进行存储，并与用户 图形接口界面进行交互。
[0116]步骤3:通过对步骤2中分离出的散焦退化核函数相关信息的分析，得到说明散焦 图像的模糊程度的点扩散半径。
[0117] 步骤301、将步骤2中经过倒谱算法获取的数据三维显示；
[0118] 该数据利用处理Open CV软件进行处理。
[0119] 步骤302、通过三维图像在二维平面上的包络结果，获取离中心点最近的环槽半 径；
[0120] 所述的二维平面指X-Z/Y-Z平面。
[0121]步骤303、所得到的环槽半径与点扩散半径r成正比关系。
[0122] 如图4所示，将纵坐标为y = 0设为倒谱域零平面，简称零线，X ? 641处为倒谱域处 理结果图像中心峰值处;不同曲线代表利用倒谱算法得到的，具有不同r的散焦退化核函数 处理结果二维图像，不同r的散焦退化核函数曲线与零线的交点为零点，零点中距离中心峰 值X ? 641最近的交点距中心峰值的水平距离为环槽半径的值，该环槽半径正比于点扩散半 径r〇
[0123] 本发明中，该环槽半径为点扩散半径r的2倍。
[0124] 至此，利用环槽半径定量地表示点扩散半径r，从而进一步定量计算捕捉对象的距 离信息。
[0125] 数据存储模块对捕捉对象的距离信息进行存储，并与用户图形接口界面进行交 互。
[0126] 步骤4:通过步骤3得到特征捕捉对象的距离信息结合对特征捕捉对象的2D定位， 最终得到特征捕捉对象的3D定位坐标。
[0127] 对于特征捕捉对象的2D定位采用可自动校正的提取算法。2D定位算法执行自动重 定位功能，如图8所示，具体步骤如下：
[0128] 步骤401、设置泊松核函数对原始获取图像进行预处理；
[0129] 步骤402、追踪初始化设定的特征捕捉对象，根据该特征捕捉对象得到点扩散半 径；
[0130] 步骤403、获取时域上连续的图像相关性和差异性信息；
[0131] 步骤404、根据图像相关性和差异性信息，判断连续的图像是否稳定，如果稳定，进 入步骤405，否则进入步骤406;
[0132] 步骤405、根据稳定的连续图像，确认点扩散半径，获取捕捉特征对象的3D定位坐 标；
[0133] 根据稳定的连续图像，确认点扩散半径并输出给用户图形接口界面，捕捉特征对 象，获取该特征捕捉对象的3D定位坐标；
[0134] 步骤406、所获取的图像高度不稳定，则该特征捕捉对象的点扩散半径错误，返回 步骤402。
[0135] 软件算法部分利用单目近景测距思想，基于运动散焦模糊算法的测距算法，通过 所获取的一系列散焦模糊图像的模糊程度反映特征捕捉对象的距离信息。与此同时，应用 信息学理论，基于频域倒谱算法获取散焦模糊图像点扩散核函数的点扩散半径，进而得到 图像模糊退化模型的退化系统函数，从而准确且定量地计算得出所述特征捕捉对象的距离 信息，最终辅以相应的2D自动校正定位算法，获得特征捕捉对象的测距及定位坐标信息。
[0136] 由于该系统结合运用了一种新的算法处理思想，且主要应用于工业机器人领域， 故必须考虑其在工业机器人领域使用过程中的特殊要求及可靠性问题。工业机器人操作系 统需要较小的波动性和较高的稳定性，基于上述原因，在本发明的算法中加入了平滑滤波 算法，从而对控制器提供相对平滑稳定的定位数据。
【主权项】
1. 一种用于工业生产线的单目视觉测距追踪装置，其特征在于，包括图像传感单元、控 制校正单元、用户图形接口界面和数据存储模块； 图像传感单元包括图像采集模块和图像预处理模块，图像采集模块采集特征捕捉对象 的图像，并输出给图像预处理模块;图像预处理模块利用图像预处理算法，对图像信息进行 图像处理，并输出给控制校正单元； 控制校正单元包括计算机控制器和执行终端模块，计算机控制器接收图像预处理模块 输出的图像信息，并接收用户图形接口界面输出的用户指令，根据指令对图像进行处理及 数据提取挖掘操作，将图像处理数据生成控制信号，输出至执行终端模块，控制执行终端模 块执行相应的操作；同时计算机控制器依据用户指令，将图像处理数据存储至数据存储模 块； 执行终端模块连接图像采集模块，接收计算机控制器输出的图像处理数据进行校正、 调整； 用户图形接口界面输送用户指令给计算机控制器，同时接收用户需要的图像处理指令 和操作指令； 数据存储模块存储计算机控制器输出的图像处理数据。2. 如权利要求1所述的一种用于工业生产线的单目视觉测距追踪装置，其特征在于，所 述的图像采集设备为百万像素级工业定焦相机。3. 如权利要求1所述的一种用于工业生产线的单目视觉测距追踪装置，其特征在于，所 述的图像预处理模块对图像信息进行如下操作:设置图像捕捉模式，初始化图像质量以及 图像预处理;其中图像预处理包括:光照归一化处理，白平衡处理，曝光控制处理和图像卷 积处理。4. 应用权利要求1所述的单目视觉测距追踪装置的一种用于工业生产线的单目视觉测 距追踪方法，其特征在于，具体步骤如下： 步骤一、用户图形接口界面输出用户指令给计算机控制器，控制执行终端模块上的图 像采集模块对特征捕捉对象进行图像采集； 步骤二、图像预处理模块利用图像预处理算法，对采集的图像进行处理，将图像信息输 出给计算机控制器； 步骤三、计算机控制器通过对图像进行处理及数据提取挖掘操作的方法，计算特征捕 捉对象与执行终端模块之间的距离，实现单目视觉测距追踪； 所述的计算机控制器对图像进行处理及数据提取挖掘操作的方法，具体步骤如下： 步骤1:根据图像采集模块获取散焦模糊图像，建立数学模型； 散焦模糊图像的形成过程的数学模型为： f (ε ,n)*h(x,y)+n(x,y) = g(x,y) 其中f(e，n)为聚焦平面上得到的真实输入散焦模糊图像，h(x，y)为散焦退化核函数，η (X，y)为环境噪音，g(x，y)为实际输出的散焦模糊图像； 其中散焦退化核函数采用点扩散函数模型，即圆形点扩散退化函数形式：r为退化核函数的点扩散半径;x和y为图像中对应扩散点的笛卡尔坐标系下二维坐标 值； 步骤2:采用倒谱算法对数学模型进行操作，分离真实输入图像信息与散焦退化核函数 的信息； 具体包括： 步骤201、将实际输出散焦模糊图像信息数据表示为:真实输入图像信息数据与散焦退 化核函数卷积形式； g(x,y)=f (x,y) .*h(x,y) 步骤202、利用傅里叶变换，将步骤201中的卷积结果转化为在频域上相乘的形式； DFT(f(x,y).*h(x,y))=DFT(f(x,y))*DFT(h(x,y)) 步骤203、利用对数函数的性质，将步骤202中频域相乘结果转化为相加的形式； log(DFT(f(x,y)))+log(DFT(h(x,y))) 步骤204、相加形式将真实输入图像信息与散焦退化核函数的信息分离； 步骤205、对步骤204得到的结果再次进行逆傅里叶变换，完成对图像的倒谱算法； 对步骤204得到的对数频域图像处理结果再次进行逆傅里叶变换，完成对图像的倒谱 算法，从而将其转换至倒谱域内，在倒谱域内对其特征信息进行分析； 步骤3:通过步骤2中分离出的散焦退化核函数信息，得到说明散焦图像的模糊程度的 点扩散半径； 将步骤二中经过倒谱算法获取的分离信息三维显示，通过三维图像在二维平面上的包 络结果，获取离中心点最近的环槽半径，该环槽半径与点扩散半径r成正比关系，点扩散半 径r表示特征捕捉对象的距离信息； 步骤4:通过步骤3得到特征捕捉对象的距离信息结合对特征捕捉对象的2D定位，最终 得到特征捕捉对象的3D定位坐标。5.如权利要求4所述的一种用于工业生产线的单目视觉测距追踪方法，其特征在于，步 骤三中所述的2D定位具体步骤如下： 步骤401、设置泊松核函数对原始获取图像进行预处理； 步骤402、追踪初始化设定的特征捕捉对象，根据该特征捕捉对象得到点扩散半径； 步骤403、获取时域上连续的图像相关性和差异性信息； 步骤404、根据图像相关性和差异性信息，判断连续的图像是否稳定，如果稳定，进入步 骤405，否则进入步骤406; 步骤405、根据稳定的连续图像，确认点扩散半径，获取捕捉特征对象的3D定位坐标； 步骤406、所获取的图像高度不稳定，则该特征捕捉对象的点扩散半径错误，返回步骤 402 〇
【专利摘要】本发明公开了一种用于工业生产线的单目视觉测距追踪装置及其追踪方法，被应用于工业生产线。其中该装置包括图像传感单元，控制校正单元，用户图形接口界面和数据存储模块；该方法包括：1)、图像采集模块获取散焦模糊图像，建立数学模型；2)、采用倒谱算法对数学模型进行操作，分离真实输入图像信息与散焦退化核函数的信息；3)、通过分析散焦退化核函数相关信息，定量得到点扩散半径；4)、根据点扩散半径得到特征捕捉对象的距离信息，结合对特征捕捉对象的2D定位信息，最终得到特征捕捉对象的3D定位坐标。本发明的优点在于，只使用一个中端工业相机，大大降低了系统成本；且不需要初始化标定及标记点。
【IPC分类】G06T7/00
【公开号】CN105488780
【申请号】CN201510132219
【发明人】魏洪兴, 黄真, 董芹鹏, 邵宇秀
【申请人】遨博（北京）智能科技有限公司
【公开日】2016年4月13日
【申请日】2015年3月25日
最新回复(0)