一种基于三维视觉信息的矿物浮选泡沫流速在线检测装置及方法
一种基于三维视觉信息的矿物浮选泡沫流速在线检测装置及方法
【技术领域】
[0001]本发明涉及泡沫浮选过程泡沫图像机器视觉领域，具体涉及一种基于三维视觉信 息的泡沫流速在线检测嵌入式装置及方法。
【背景技术】
[0002] 泡沫浮选法是矿物生产加工过程中应用最广泛的一种选矿法，利用矿物本身的疏 水特性或经浮选药剂复杂的物理化学反应作用后获得的疏水特性，使矿浆中可浮性好的矿 粒粘附于气泡形成气、固、液三相组成的矿化泡沫层。矿化泡沫层泡沫流动性强、易破碎，其 在空间三个维度的流速能够直接反映浮选泡沫的状态，而浮选泡沫的状态则直接决定浮选 金属的回收率。尤其是泡沫沉降速度与泡沫破碎率指标息息相关，但至今仍没有测量泡沫 沉降速度的有效方法。通过泡沫流速信息，工人可以给出对当前浮选状态的一个判断，进而 调整浮选槽搅拌速度和浮选加药量。
[0003] 长期以来，选矿厂主要靠选矿经验丰富的工人根据观察浮选槽泡沫的流速，很难 得到准确的泡沫流速大小，而且不同工人对泡沫流速的视觉判断也没有统一的标准，浮选 操作的主观性和随意性较大，使得浮选过程难以处于最优化的运行状态，导致经常出现生 产过程不稳定、矿物资源严重浪费等问题。传统的差压式流量计采用接触式的方式，而且不 能持续稳定的在线检测，在工厂浮选槽已经稳定运行的情况下很难安装使用。泡沫层位于 矿浆层表面，是一个带有大量细小矿物颗粒的气、固、液三态混合层面，先进超声波流量计 或者激光流量计会在泡沫层表面产生透射，只能测得底层矿浆的流速。随着微控制器技术、 图像处理技术和自动控制技术的发展，使得采用机器视觉测量泡沫三维流速成为可能。同 时，由于浮选工业过程相当复杂并且环境恶劣，浮选厂内充斥噪声、电磁波、粉尘等的干扰 以及浮选液体的腐蚀，传统的基于PC机的机器视觉系统笨重、体积大、移动能力弱而且抗干 扰能力差，所以很难在浮选工业过程使用。基于嵌入式平台的机器视觉系统相对于PC系统 具有体积小、移动性好、抗干扰能力强、专用性强、硬件成本低等特点，已经成为机器视觉系 统新的发展方向。
【发明内容】
[0004] 本发明的目的是提出一种基于三维视觉信息的泡沫三维流速测量方法，解决传统 流量计难以非接触式测量泡沫流速、不能测量泡沫沉降速度以及只能测量二维像平面泡沫 像素点移动速度的问题；同时，提出构建一种基于嵌入式平台的流速测量装置，具有很好的 可移动性和可靠性，解决传统基于PC机的机器视觉系统难以在工作环境恶劣的浮选厂使用 的问题。
[0005] 本发明实现了一种基于三维视觉信息的泡沫流速测量装置和方法。
[0006] 一种基于三维视觉信息的矿物浮选泡沫流速在线检测装置，其特征在于，包括：
[0007] 用于对三维视频图像进行特征点提取、匹配，计算得到泡沫流速，将彩色视频压 缩、封装为RTP格式实时传输给上位机，并与上位机进行控制参数网络通讯的图像处理核心 板；
[0008] 用于采集三维视频数据，包括彩色视频和深度视频的三维泡沫图像采集装置；
[0009] 提供视频采集所需光照的高频光源；
[0010] 所述图像处理核心板与三维泡沫图像采集装置通过USB总线相连；图像处理核心 板通过网线连接至远端PC;图像处理核心板和三维泡沫图像采集装置固定于浮选槽上方并 拍摄浮选槽内的矿物浮选泡沫，高频光源照射矿物浮选泡沫为拍摄提供光照。
[0011] 所述的一种基于三维视觉信息的矿物浮选泡沫流速在线检测装置中，所述三维泡 沫图像采集装置为Kinect装置，所述的Kinect装置集成有用于拍摄彩色视频的RGB彩色相 机和用于获取深度视频的红外深度传感器。
[0012] 一种基于三维视觉信息的矿物浮选泡沫流速检测方法，使用上述装置，包括以下 步骤：
[0013] 步骤一:高频光源照射浮选槽的泡沫表面，Kinect装置采集泡沫包括颜色图像和 深度信息的三维视觉信息，并传输至图像处理核心板进行储存；
[0014] 步骤二：图像处理核心板读取前后两帧泡沫三维视觉数据，并对颜色图像和深度 信息进行预处理；
[0015] 步骤三:利用步骤二中预处理后的两帧泡沫颜色图像进行图像特征点提取和特征 点匹配；
[0016] 步骤四：利用步骤二中预处理后的特征点深度数据、步骤三中特征点的像素坐标 和针孔投影成像模型计算出图像特征点的三维空间坐标，然后通过两帧图像匹配特征点的 三维空间坐标和图像采集速率计算出泡沫在空间三个维度上的移动速率，即为泡沫流速。
[0017] 所述的一种基于三维视觉信息的矿物浮选泡沫流速检测方法，
[0018] 所述步骤一包括以下子步骤：
[0019] 步骤1:采集泡沫三维视觉信息：
[0020] 利用Kinect的颜色相机拍摄泡沫颜色图像，得到分辨率为aXb的三通道颜色矩阵 M;利用Kinect的红外深度传感器获取泡沫颜色图像对应像素点的深度数据，得到分辨率为 aXb的深度矩阵N;
[0021] 步骤2:三维视觉信息的传输和保存；
[0022]将泡沫颜色矩阵Μ和深度矩阵N通过总线传输至嵌入式图像处理核心板的存储器 中保存。
[0023]所述的一种基于三维视觉信息的矿物浮选泡沫流速检测方法，所述步骤二包括以 下子步骤：
[0024]步骤1:颜色图像的预处理；
[0025]图像处理核心板中的处理器从存储器中读取泡沫颜色矩阵Μ，并依次在DSP核对其 进行图像灰度化、图像滤波和图像增强；
[0026] 1)图像灰度化
[0027] 图像灰度矩阵Gray由颜色矩阵Μ灰度化得到，对于图像中任一像素点（x，y)，其灰 度Gray (X，y)的计算公式为：
[0028] Gray(x,y)=0.299M(x,y,l)+0.587M(x,y,2)+0.114M(x,y,3) (1)
[0029] 其中姒1，7，1)、1(^7,2)、1(1，7,3)分别为分辨率为 &\13的颜色矩阵1中像素点 (x，y)的R、G、B颜色分量，遍历泡沫颜色图像所有像素点，得到分辨率为aXb的图像灰度矩 阵Gray;
[0030] 2)图像滤波
[0031] 采用中值滤波方式对图像灰度矩阵Gray进行滤波处理:首先，选取中值滤波器的 邻域窗口；然后，对灰度图像中某一像素点（x，y)邻域窗口的所有像素点灰度值进行排序， 选取中位值作为像素点(x，y)的灰度值;最后遍历整幅图像，得到滤波后的灰度矩阵Gray'；
[0032] 3)图像增强
[0033] 采用直方图均衡化对泡沫图像进行增强:首先，统计滤波后的灰度矩阵Gray'中每 种灰度级像素的个数，形成灰度直方图；然后，以归一化图像灰度的累积分布函数为映射函 数，产生灰度级具有均匀密度的图像，即直方图均衡化后的增强图像；
[0034]步骤2:深度信息的预处理；
[0035]图像处理核心板中的处理器从存储器中读取泡沫深度矩阵N，并采用邻域窗口的 中值滤波器对深度图像N进行滤波，得到滤波后的深度矩阵Ν'。
[0036]所述的一种基于三维视觉信息的矿物浮选泡沫流速检测方法，所述步骤三包括以 下子步骤：
[0037]步骤1:构建泡沫图像的高斯金字塔尺度空间；
[0038]为了提取预处理后的泡沫灰度图像Gray'的特征点，首先构造图像的尺度空间L U，y，?)为··
[0039]
[0040] 其中，Θ代表卷积运算，G(x，y，〇)为高斯核函数，表达式为：
[0041]
[0042] 其中，〇为尺度空间因子，用于衡量尺度平滑的大小，尺度越大表示平滑程度越大， 对应图像轮廓越模糊；
[0043] 对图像应用不同尺度大小进行高斯模糊变化，形成具有不同平滑程度的多组图 像，按尺度大到尺度小的顺序，从顶层到底层排列图像构成高斯金字塔尺度空间;采用高斯 差分算子，得到高斯差分尺度空间D(x，y， 〇):
[0044]
[0045] 其中k为尺度空间不同组对应的尺度空间因子，以得到稳定的图像极值点；
[0046] 步骤2:检测尺度空间的极值点；
[0047]在遍历检查某一尺度下高斯差分图像像素点是否为极值点的过程中，将该像素点 与同尺度下8个邻域像素点以及上下相邻尺度下高斯差分图像中9X2个像素点，共26个像 素点的灰度值进行比较得到局部极大值点，即为极值点，也就是图像的关键点；
[0048] 步骤3:给关键点标定方向形成关键点特征向量；
[0049] 在已知关键点尺度因子。的情况下，选取关键点周围4X4个4X4像素单元，对每个 4\4单元内的像素点？(1，7)求取梯度大小111(1，7)和方向0(1，7)为 ：
[0050]
[0051] 0(x,y)=tan_1( (L(x,y+l)-L(x,y-l))/(L(x+1 ,y)-L(x-l ,y))) (6)
[0052] 统计4X4像素单元内16个像素点的梯度在8个方向上的投影和构成8个方向向量， 作为一个种子点的特征向量，总共4X4个种子点根据离关键点的距离采用高斯加权生成4 X4X8共128维特征向量，以此作为特征点的SIFT特征向量；
[0053]设特征点128维SIFT特征向量为Η(1η，1ι2,. . .，h128)，进一步，为了消除光照条件对 特征点的影响，对SIFT特征向量进行归一化处理，得到特征点的特征向量L(li, 12,...， ll28)，其中：
[0054]
[0055] 步骤4:采用最近邻/次近邻(NN)距离匹配方法进行特征点匹配；
[0056] 对两幅图像的特征点进行匹配，以得到两幅图像中相同特征点的运动信息，设前 后两帧图像进行SIFT特征提取后得到特征点集分别为P= {Pl，p2, . . .，pm}和P' = {P1'，p '2, . . .，P'n}，采用最近邻/次近邻(NN)距离匹配方法进行特征点匹配，则当前图像特征点集 P中任意特征点矜= 和前一帧图像特征点集P，中任意特征点 A = 的欧式距离 d(pi，p'j)为：
[0057]
[0058] 在实际特征点匹配过程中，从当前图特征点集中选择一个特征点，并将此特征点 与前一幅图像中所有特征点计算欧式距离，找出距离最小值和次小值，将距离最小值除以 次最小值，通过公式(9)判断得到距离最小值的匹配点是否是合格的匹配点；
[0059]
[0000] 其中，dmin是距离最小值，dnmin是距离次最小值，Threshold为设定阈值；阈值越小， 匹配成功率越低，可靠性越强，本发明取ThreShold = 0.2;如果公式(9)所得结果小于阈值， 则该对匹配点合格，否则舍弃；穷举匹配当前图像中所有特征点和前一帧图像中所有特征 点，得到合格的匹配点R对，将R对匹配点根据公式(9)的比值结果升序排列，选取比值最小 的前η对匹配点作为正确的匹配点，不足η对则选取所有匹配点作为正确的匹配点。
[0061]所述的一种基于三维视觉信息的矿物浮选泡沫流速检测方法，步骤三的子步骤2 中，考虑提取出的极值点为图像边缘的情况，计算极值点在X和y方向的梯度分别为α和β，假 定α>β，且有α = Γβ，其中r>10的极值点为图像边缘点，舍弃图像边缘点以提高特征点的稳定 性、可靠性。
[0062]所述的一种基于三维视觉信息的矿物浮选泡沫流速检测方法，所述步骤四包括以 下子步骤：
[0063] 步骤1:建立坐标系；
[0064] 建立世界坐标系，相机坐标系，图像像素坐标系和图像物理坐标系，以图像左上角 顶点作为图像像素坐标系原点；以像素坐标系的中心像素点(UQ，V0)作为图像物理坐标系的 原点；以相机的光心作为相机坐标系的原点，以光轴作为相机坐标系的Z轴，并且垂直于成 像平面;世界坐标系的原点取浮选槽内任一点，世界坐标系的三轴与浮选槽长、宽、高平行；
[0065] 步骤2:计算图像像素坐标系某一点与世界坐标系空间某一点的坐标变换关系； [0066]首先，获取图像像素坐标系(u，v)与物理坐标系(x，y)的坐标变换关系，变换式为：
[0067]
[0068] 其中，dx，dy分别为相机成像面单位长度的像素点个数；
[0069]然后，利用针孔投影模型计算物理坐标系(x，y)与相机坐标系(^。，心)的坐标变 换关系，变换式为：
[0070]
[0071]相机坐标系(1，7。，2。)与世界坐标系(Xw，yw，zw)的变换式为：
[0072]
[0073]其中，R3X3是两个坐标系的正交旋转矩阵，^^是两个坐标原点的平移向量；
[0074] 由公式（10)、（11)、（12)可以得到像素坐标系(1!^)与世界坐标系(^，5^，心)的变 换关系为：
[0075]
[0076] 给定世界坐标系和相机坐标系重合，则R3X3 = I，T3X1 = 0，公式(13)变为：
[0077]
[0078] 其中，K3X3是相机的内参矩阵，公式（14)即为世界坐标系下一点（Xw，yw，z w)与其在 相机成像平面的投影点(u，v)之间的变换关系；
[0079]步骤3:计算泡沫的移动速率；
[0080]根据步骤二中得到的图像像素点的深度数据和步骤三中特征点的像素坐标，通过 公式（14)计算出泡沫特征点的三维世界坐标(Xw，yw，zw)，给定图像采集速率为每秒S帧，通 过计算前后两帧泡沫图像匹配特征点Pi和Pi'的世界坐标(Xiw，yiw，ziw)和(x'iw，y'iw，z 'iw)， 从而得到泡沫的三维移动速率如下：
[0081]
[0082]
[0083]
[0084] 其中，η是前后两帧图像匹配特征点的个数，流速单位是mm/s，Z方向速率称作泡沫 沉降速度。根据三个方向的速率可以得到泡沫的三维流速矢量V= (Vx，Vy，Vz)，求取一秒内 连续S帧泡沫图像的流速矢量并取平均值，作为泡沫的三维流速。
[0085] 本发明的技术效果在于，开发出了一套能采集浮选槽泡沫三维场景图像信息、处 理和分析图像信息，并且具有集成度高、体积小、可移动性好、抗干扰性能好、成本低、专用 性强、运行效率高等优点的基于嵌入式ARM+DSP异构多核处理架构的泡沫流速在线检测装 置。本发明泡沫流速检测装置采用嵌入式平台构建，解决了传统基于PC机的机器视觉系统 难以在工作环境恶劣的现场稳定运行的问题，具有较高的可靠性。本发明的泡沫流速检测 装置内部集成颜色相机和红外深度传感器获取泡沫的三维机器视觉，通过采用本发明的基 于三维视觉信息的泡沫流速测量方法，可以实现泡沫三维流速的非接触式测量，解决了传 统流量计难以非接触式测量泡沫流速以及不能测量泡沫沉降速度的问题。同时使用该装置 的泡沫流速检测方法采用图像匹配技术和投影成像模型测量泡沫流速，从本质上解决了现 有基于机器视觉的流速检测装置只能测量二维像平面泡沫像素点移动速度的问题，测得了 泡沫的三维真实流速，单位为mm/s。此外，本发明的泡沫流速检测装置采用ARM+DSP异构多 核处理架构，利用ARM核调度DSP核进行复杂的图像处理，充分利用了 DSP核高效的图像处理 性能，满足工业现场对泡沫流速测量实时性的要求，并且具有较高的测量精度。
【附图说明】
[0086]图1为为基于三维视觉信息的泡沫流速在线检测装置的工程示意图；
[0087]图2为基于三维视觉信息的泡沫流速在线检测装置的硬件结构图；
[0088]图3为基于三维视觉信息的泡沫流速检测方法流程图；
[0089] 图4为泡沫流速检测装置实施例中颜色相机采集到的彩色图像；
[0090] 图5为泡沫流速检测装置实施例中红外深度传感器采集到的深度图像；
[0091] 图6为泡沫流速检测方法实施例中相邻两帧泡沫图像特征点匹配结果；
[0092] 其中标号1是浮选槽、2是矿浆层、3是泡沫层、4是铁质活动支架、5是高频光源、6是 三维泡沫图像采集装置防护罩、7是三维图像采集装置、8是红外发射器、9是颜色相机、10是 红外接收器、11是USB总线、12是图像处理核心板防护罩、13是图像处理核心板、14是以太网 双绞线、15是远端工控机、16是显示器。
【具体实施方式】
[0093]下面结合附图及具体实施例对本专利作进一步详细说明。
[0094]本发明的基于三维视觉信息的泡沫流速在线检测装置的工程示意图如图1所示， 整套装置的工程包括:浮选槽1、矿浆层2、泡沫层3、安装支架4、高频光源5、三维泡沫图像采 集装置防护罩6、三维图像采集装置7、红外发射器8、颜色相机9、红外接收器10、USB总线11、 图像处理核心板防护罩12、图像处理核心板13、以太网双绞线14、远端工控机15、显示器16。 [0095]浮选槽1是矿物与浮选药剂发生复杂物理化学反应的容器，通过反应后在浮选槽 内形成矿浆层2和泡沫层3,泡沫层3在矿浆层2的顶部。三维泡沫图像采集装置防护罩6和图 像处理核心板防护罩12采用铝合金材料制成，为密封箱体，防护等级达到IP65级。其中，三 维泡沫图像采集装置防护罩6的封装大小为25cmX 3.5cmX4.5cm，图像处理核心板防护罩 12的封装大小为1 lcm X 10cm X 2.5cm，内部均用铆钉固定。高频光源5与三维泡沫图像采集 装置7保持相互平行，并且垂直于浮选槽表面安装在铁质活动支架4上。三维泡沫图像采集 装置7固定在距离浮选槽1泡沫表面1.5-3m的范围内，并且可以在此范围对高频光源5和三 维泡沫图像采集装置7的安装高度进行调节。高频光源采用功率为200W，发光功率为 2.6 5MHz，照度为1500 lux，色温为4500K的大功率卤素灯，为浮选槽提供照明。
[0096]三维泡沫图像采集装置7采用微软Kinect体感设备构建，内部集成有颜色相机9和 红外深度传感器，用来采集浮选槽泡沫的三维视觉信息。其中，其中，RGB彩色相机用来获取 分辨率为640*480、帧率为30FPS的泡沫彩色图像;红外深度传感器采用红外发射器8和红外 接收器10构成，一个用于发送，一个用于接收，以此来获取泡沫图像对应像素点的深度数 据。三维泡沫图像采集装置7采集到泡沫三维视觉信息后，将其通过USB总线传输至图像处 理核心板13,图像处理核心板对泡沫三维视觉信息进行处理，并采用本发明的基于三维视 觉信息的泡沫流速监测方法计算得到泡沫实时流速，然后通过以太网双绞线传输至远端工 控机15用于进行浮选流程监控，同时在显示器16上显示泡沫实时流速。
[0097]图2是本装置的硬件结构图，主要由嵌入式图像处理核心板13,图像采集装置7和 外扩LCD显示屏构成。嵌入式图像处理核心板内部集成有嵌入式核心处理器模块、存储器模 块、外围接口或设备模块。其中：
[0098] 嵌入式核心处理器模块采用TI公司具有ARM和DSP异构多处理核的0map4460型处 理器，包括主频为1.5GHZ的对称ARM Cortex-A9双内核、基于TI C64x系列的DSP内核以及对 称ARM Cortex-M3双内核。对称ARM Cortex-A9双内核用于运行实时操作系统RT0S;对称ARM Cortex-M3双内核用于图像处理任务的调度以及与DSP核进行通信;C64x系列的DSP核用于 硬件加速执行图像处理任务；
[0099] 存储器模块具有2GB LPDDR2SDRAM和16GB SD存储卡。SDRAM与0map4460处理器的 Ε ΜIF接口（外部内存接口）连接，用于缓存图像处理过程中产生的临时数据；S D卡与 0map4460处理器的SDI0接口连接，用于非易失性存储实时操作系统RT0S和泡沫速率参数。 [0100] 外围接口或设备模块具有RS232接口、RJ45接口、USB Host端口和外扩LCD显示屏。 RS232接口一端通过Max232芯片进行电平转换后与0map4460处理器UART连接，另一端与上 位机RS232接口连接，用于实现与工控机的串行通讯;RJ45接口一端通过BCM5221型以太网 控制器与0map4460处理器连接，另一端与以太网双绞线连接，用于向工控机发送实时泡沫 流速数据;USB Host端口一端通过USB总线与0map4460处理器连接，另一端与Kinect的USB 输出端连接，用于采集泡沫颜色图像和深度信息;外扩LCD显示屏与0map4460DISPC接口（显 示控制器)连接，用于本地实时显示泡沫流速信息。
[0101] 本发明的基于三维视觉信息的泡沫流速检测方法使用上述泡沫流速检测装置，并 实施以下步骤实现对泡沫流速的测量：
[0102] 步骤一:光源照射浮选槽泡沫表面，三维泡沫图像采集装置采集泡沫三维视觉信 息，并传输至图像处理核心板；
[0103] 步骤二：图像处理核心板读取前后两帧泡沫三维视觉数据，并对颜色图像和深度 信息进行预处理；
[0104] 步骤三:利用步骤二中预处理后的两帧泡沫颜色图像进行图像特征点提取和特征 点匹配；
[0105] 步骤四：利用步骤二中预处理后的特征点深度数据、步骤三中特征点的像素坐标 和针孔投影成像模型计算出图像特征点的三维空间坐标。然后，通过两帧图像匹配特征点 的三维空间坐标和图像采集速率计算出泡沫在空间三个维度上的移动速率，即为泡沫流 速；
[0106] 步骤一具体使用以下子步骤实现：
[0107] Stepl:采集泡沫三维视觉信息；
[0108]利用三维泡沫图像采集装置内部集成的Kinect设备采集泡沫三维视觉信息。首 先，嵌入式操作系统RT0S下，采用跨平台、开源自然交互框架OpenNI开发应用软件，本实施 例设置采集颜色图像数据流的分辨率为640 X 480，帧率为30FPS，格式为XN_PIXEL_FORMAT_ RGB24，设置采集深度数据流的分辨率为640 X 480，并采用OpenNI下的"Alternative View" 工具校正颜色相机和深度相机的视角，使得颜色图像和深度图像的像素点完全对准。然后， 利用Kinect的颜色相机拍摄泡沫颜色图像，得到颜色矩阵M，其大小为640X480X3阶，如图 4所示;利用红外深度传感器获取泡沫颜色图像对应像素点的深度数据，得到深度矩阵N，其 大小为640X480阶，如图5所示。图5所示泡沫深度图像中，像素点灰度越偏白代表深度越 小，灰度越偏黑深度越大，偏白的局部区域代表一个凸起的泡沫，深度图像白色区域的分布 与颜色图像泡沫的分布--对应。
[0109] Step2:三维视觉信息的传输和保存；
[0110]将泡沫颜色矩阵Μ和深度矩阵N通过USB总线传输至嵌入式图像处理核心板的 SDRAM存储器中保存。 Com]步骤二具体使用以下子步骤实现：
[0112] Stepl:颜色图像的预处理；
[0113] 图像处理核心板中的0map4460处理器从SDRAM中读取泡沫颜色矩阵M，并依次在 DSP核对其进行图像灰度化、图像滤波和图像增强。
[0114] 1)图像灰度化
[0115] 图像灰度矩阵Gray由图像颜色矩阵Μ灰度化得到。对于图像中任一像素点（x，y)， 其灰度Gray (x，y)的计算公式为：
[0116] Gray(x,y)=0.299M(x,y,1)+0.587M(x,y,2)+0.114M(x,y,3) (1)
[0117] 其中1(1，7，1)、1(1，7,2)、1(1，7,3)分别为颜色矩阵1中像素点(1， 7)的1?、6、8颜色 分量。公式（1)通过整数化后，在DSP中采用移位过程代替耗时长的除法过程，优化图像处理 速度。遍历泡沫颜色图像所有像素点，得到图像灰度矩阵Gray，其大小为640X480阶。
[0118] 2)图像滤波
[0119] 为了抑制泡沫图像中由于光照原因产生的噪点，并且保留泡沫图像中泡沫的细节 特征，采用中值滤波方式对泡沫灰度图像进行滤波处理。具体过程是:首先，选取中值滤波 器的邻域窗口，本发明选取邻域3X3像素窗口，但不限于此;然后，对灰度图像中某一像素 点（x，y)邻域窗口的所有像素点灰度值进行排序，选取中位值作为像素点（x，y)的灰度值； 最后遍历整幅图像，得到滤波后的灰度矩阵Gray'。
[0120] 3)图像增强
[0121] 为了消除光照强度对泡沫图像整体色彩的影响，增强泡沫图像的对比度，突出泡 沫的细节特征，采用直方图均衡化对泡沫图像进行增强。具体过程是:首先，统计灰度图像 Gray'中每种灰度级像素的个数，形成灰度直方图；然后，针对灰度值分布不均匀影响图像 对比度的特点，以归一化图像灰度的累积分布函数为映射函数，产生灰度级具有均匀密度 的图像，即直方图均衡化后的增强图像。
[0122] Step2:深度信息的预处理；
[0123] 图像处理核心板中的0map4460处理器从SDRAM中读取泡沫深度矩阵N，并在DSP核 同样采用邻域3X3像素窗口的中值滤波器对深度图像N进行滤波，得到滤波后的深度矩阵 N，。
[0124] 步骤三具体使用以下子步骤实现：
[0125] Stepl:构建泡沫图像的高斯金字塔尺度空间；
[0126] 为了提取预处理后的泡沫灰度图像Gray'的特征点，首先构造图像的尺度空间L U，y，?)为··
[0127] L(x, i',σ) = G{x, ι:,σ) Θ Gray (.ν, ι:) (2 )
[0128] 其中，0代表卷积运算，G(x，y，〇)为高斯核函数，表达式为：
[0129]
[0130] 其中，〇为尺度空间因子，用于衡量尺度平滑的大小，尺度越大表示平滑程度越大， 对应图像轮廓越模糊。对图像应用不同尺度大小进行高斯模糊变化，形成具有不同平滑程 度的多组图像。按尺度大到尺度小的顺序，从顶层到底层排列图像构成高斯金字塔尺度空 间。
[0131] 进一步，采用高斯差分算子，得到高斯差分尺度空间D(x，y，〇):
[0132]
[0133] 其中k为尺度空间不同组对应的尺度空间因子。简单来说，高斯差分尺度空间就是 将高斯金字塔尺度空间中上下连续的两组图像相减得到。利用高斯差分尺度空间，可以得 到稳定的图像极值点。
[0134] Step2:检测尺度空间的极值点；
[0135] 高斯差分图像中局部最大值点即是图像关键点的位置。在遍历检查某一尺度下高 斯差分图像像素点是否为极值点的过程中，将该像素点与同尺度下8个邻域像素点以及上 下相邻尺度下高斯差分图像中9 X2个像素点，共26个像素点的灰度值进行比较得到局部极 大值点，即为图像的关键点。考虑D0G算子具有较强的边缘效应，提取出的极值点可能是图 像边缘，但图像在边缘处的横向梯度和垂直梯度大小差异明显，因此计算极值点在X和y方 向的梯度分别为α和β，假定α>β，且有α = 。本实施例取r> 10的极值点为图像边缘点，舍弃 图像边缘点，提高特征点的稳定性、可靠性。关键点在同层以及相邻层高斯差分尺度空间中 均是极大值点，说明关键点是图像在尺度变换下稳定的极值点。
[0136] Step3:给关键点标定方向形成关键点特征向量；
[0137] 在确定了关键点的位置以及尺度之后，需要对关键点进行描述，以提取关键点在 灰度变换、尺度变换和旋转变换下稳定的特征信息。在已知关键点尺度因子σ的情况下，选 取关键点周围4X4个4X4像素单元，对每个4X4单元内的像素点P(x，y)求取其梯度大小m (x，y)和方向 0(x，y)为：
[0138]
[0139] 0(x,y)=tan_1((L(x,y+l)-L(x,y-l))/(L(x+1 ,y)-L(x-l ,y))) (6)
[0140] 统计4X4像素单元内16个像素点的梯度在8个方向上的投影和构成8个方向向量， 作为一个种子点的特征向量。总共4X4个种子点根据离关键点的距离采用高斯加权生成4 X4X8共128维特征向量，以此作为特征点的SIFT特征向量。
[0141] 假设特征点128维SIFT特征向量为Η(1η，1ι2, . . .，h128)。进一步，为了消除光照条件 对特征点的影响，对SIFT特征向量进行归一化处理，得到特征点的特征向量L(li, 12,...， ll28)，其中：
[0142]
[0143] 由此，完成了图像特征点的特征描述。
[0144] Step4:采用最近邻/次近邻(NN)距离匹配方法进行特征点匹配；
[0145] 完成对前后两帧泡沫图像特征点的提取以及特征的描述后，需要对两幅图像的特 征点进行匹配，以得到两幅图像中相同特征点的运动信息。假设前后两帧图像进行SIFT特 征提取后得到特征点集分别为P= {pi，P2, . . .，pm}和P' = {pi'，p'2, . . . ,ρ'η}，采用最近邻/ 次近邻（ΝΝ)距离匹配方法进行特征点匹配，则当前图像特征点集Ρ中任意特征点 仍=(4,λ;2，...,x,12s)和前一帧图像特征点集P'中任意特征点i?/ ..., jf)的欧式距离d (Pi，P'j)为：
[0146]
[0147] 在实际特征点匹配过程中，从当前图特征点集中选择一个特征点，并将此特征点 与前一幅图像中所有特征点计算欧式距离，找出距离最小值和次小值，将距离最小值除以 次最小值，通过公式(9)判断得到距离最小值的匹配点是否是合格的匹配点。
[0148]
[0149] 其中，dmin是距离最小值，dnmin是距离次最小值，Thresho Id为设定阈值。阈值越小， 匹配成功率越低，可靠性越强，本实施例取ThreShold = 0.2。如果公式(9)所得结果小于阈 值0.2,则该对匹配点合格，否则舍弃。穷举匹配当前图像中所有特征点和前一帧图像中所 有特征点，得到合格的匹配点R对。将R对匹配点根据公式(9)的比值结果升序排列，选取比 值最小的前25对匹配点作为正确的匹配点，不足25对则选取所有匹配点作为正确的匹配 点。本实施例对某一时刻Kinect采集到前后两帧泡沫图像进行特征点提取和匹配，并保存 两帧图像中提取出来的特征点及其特征点的匹配对，通过MATLAB重绘两帧图像的特征点和 特征点匹配对，得到的匹配效果如图6所示。图6中左侧图像是前一帧图像，右侧图像是当前 图像，小圆圈为检测出来的特征点，白色直线连接的是两帧图像匹配的特征点。图6中可以 看出，25对匹配特征点的对应位置基本准确，而且用于连接匹配特征点的直线基本保持平 行，说明了本发明方法的有效性。
[0150] 步骤四具体使用以下子步骤实现：
[0151] Stepl:建立坐标系；
[0152] 建立世界坐标系，相机坐标系，图像像素坐标系和图像物理坐标系。以图像左上角 顶点作为图像像素坐标系原点；以像素坐标系的中心像素点(uq，vo)作为图像物理坐标系的 原点；以相机的光心作为相机坐标系的原点，以光轴作为相机坐标系的Z轴，并且垂直于成 像平面;世界坐标系的原点取正方体浮选槽内某一点，三轴与浮选槽长、宽、高平行。
[0153] Step2:计算图像像素坐标系某一点与世界坐标系空间某一点的坐标变换关系；
[0154] 首先，获取图像像素坐标系(u，v)与物理坐标系(x，y)的坐标变换关系，变换式为：
[0155]
[0156] 其中，dx，dy分别为相机成像面单位长度的像素点个数。
[0157] 然后，利用针孔投影模型计算物理坐标系(x，y)与相机坐标系(^。，2。)的坐标变 换关系，变换式为：
[0158]
[0159] 最后，因为相机坐标系是绕世界坐标系三个轴多次旋转并平移坐标原点的结果， 所以相机坐标系(1。，7。，2。)与世界坐标系(1?，7?，2?)的变换式为 ：
[0160]
[0161] 其中，R3X3是两个坐标系的正交旋转矩阵，^^是两个坐标原点的平移向量。
[0162] 由公式（10)、（11)、（12)可以得到像素坐标系(1!^)与世界坐标系(^，5^，心)的变 换关系为：
[0163]
[0164] 给定世界坐标系和相机坐标系重合，则R3X3 = I，T3X1 = 0，公式(13)变为：
[0165]
[0166] 其中，Κ3Χ3是相机的内参矩阵。公式（14)即为世界坐标系下一点（Xw，yw，z w)与其在 相机成像平面的投影点(u，v)之间的变换关系。由于相机的内参矩阵由其本身特征决定，因 此可以通过相机标定方法求取相机的内参矩阵。
[0167] Step3:计算泡沫的移动速率；
[0168] 所述步骤二中已经给出图像像素点的深度数据，所述步骤三已经计算出特征点的 像素坐标，通过公式（14)可以计算出泡沫特征点的三维世界坐标( Xw，yw，zw)。给定图像采集 速率为30FPS，通过计算前后两帧泡沫图像匹配特征点 Pi和p ' i的世界坐标(xiw，yiw，ziw)和 (x ' iw，y ' iw，z ' iw)，从而得到泡沫的三维移动速率如下：
[0169] X方向速率
[0170]
[0171]
[0172] 其中，η是前后两帧图像匹配特征点的个数，流速单位是mm/S(3Z方向速率称作泡沫 沉降速度。根据三个方向的速率可以得到泡沫的三维流速矢量V= (Vx，Vy，Vz)。求取一秒内 连续30帧泡沫图像的流速矢量并取平均值，作为泡沫的三维流速。
【主权项】
1. 一种基于三维视觉信息的矿物浮选泡沫流速在线检测装置，其特征在于，包括： 用于对三维视频图像进行特征点提取、匹配，计算得到泡沫流速，将彩色视频压缩、封 装为RTP格式实时传输给上位机，并与上位机进行控制参数网络通讯的图像处理核心板； 用于采集三维视频数据，包括彩色视频和深度视频的三维泡沫图像采集装置； 提供视频采集所需光照的高频光源； 所述图像处理核心板与三维泡沫图像采集装置通过USB总线相连；图像处理核心板通 过网线连接至远端PC;图像处理核心板和三维泡沫图像采集装置固定于浮选槽上方并拍摄 浮选槽内的矿物浮选泡沫，高频光源照射矿物浮选泡沫为拍摄提供光照。2. 根据权利要求1所述的一种基于三维视觉信息的矿物浮选泡沫流速在线检测装置， 其特征在于，所述三维泡沫图像采集装置为Kinect装置，所述的Kinect装置集成有用于拍 摄彩色视频的RGB彩色相机和用于获取深度视频的红外深度传感器。3. -种基于三维视觉信息的矿物浮选泡沫流速检测方法，其特征在于，使用如权利要 求1所述的装置，包括以下步骤： 步骤一：高频光源照射浮选槽的泡沫表面，Kinect装置采集泡沫包括颜色图像和深度 信息的三维视觉信息，并传输至图像处理核心板进行储存； 步骤二：图像处理核心板读取前后两帧泡沫三维视觉数据，并对颜色图像和深度信息 进行预处理； 步骤三:利用步骤二中预处理后的两帧泡沫颜色图像进行图像特征点提取和特征点匹 配； 步骤四：利用步骤二中预处理后的特征点深度数据、步骤三中特征点的像素坐标和针 孔投影成像模型计算出图像特征点的三维空间坐标，然后通过两帧图像匹配特征点的三维 空间坐标和图像采集速率计算出泡沫在空间三个维度上的移动速率，即为泡沫流速。4. 根据权利要求3所述的一种基于三维视觉信息的矿物浮选泡沫流速检测方法，其特 征在于， 所述步骤一包括以下子步骤： 步骤1:采集泡沫三维视觉信息： 利用Kinect的 颜色相机拍摄泡沫颜色图像，得到分辨率为aXb的三通道颜色矩阵M;利 用Kinect的红外深度传感器获取泡沫颜色图像对应像素点的深度数据，得到分辨率为aXb 的深度矩阵N; 步骤2:三维视觉信息的传输和保存； 将泡沫颜色矩阵M和深度矩阵N通过总线传输至嵌入式图像处理核心板的存储器中保 存。5. 根据权利要求4所述的一种基于三维视觉信息的矿物浮选泡沫流速检测方法，其特 征在于，所述步骤二包括以下子步骤： 步骤1:颜色图像的预处理； 图像处理核心板中的处理器从存储器中读取泡沫颜色矩阵M，并依次在DSP核对其进行 图像灰度化、图像滤波和图像增强； 1)图像灰度化 图像灰度矩阵Gray由颜色矩阵M灰度化得到，对于图像中任一像素点（x，y)，其灰度 Gray (x，y)的计算公式为： Gray(x,y)=O.299M(x,y,1)+0.587M(x,y,2)+0.114M(x,y,3) (I) 其中姒^7，1)、1(^7,2)、1(^7,3)分别为分辨率为 &\13的颜色矩阵1中像素点（^7) 的R、G、B颜色分量，遍历泡沫颜色图像所有像素点，得到分辨率为a Xb的图像灰度矩阵 Gray； 2) 图像滤波 采用中值滤波方式对图像灰度矩阵Gray进行滤波处理:首先，选取中值滤波器的邻域 窗口；然后，对灰度图像中某一像素点（x，y)邻域窗口的所有像素点灰度值进行排序，选取 中位值作为像素点(x，y)的灰度值;最后遍历整幅图像，得到滤波后的灰度矩阵Gray'； 3) 图像增强 采用直方图均衡化对泡沫图像进行增强:首先，统计滤波后的灰度矩阵Gray'中每种灰 度级像素的个数，形成灰度直方图；然后，以归一化图像灰度的累积分布函数为映射函数， 产生灰度级具有均匀密度的图像，即直方图均衡化后的增强图像； 步骤2:深度信息的预处理； 图像处理核心板中的处理器从存储器中读取泡沫深度矩阵N，并采用邻域窗口的中值 滤波器对深度图像N进行滤波，得到滤波后的深度矩阵Ν'。6.根据权利要求5所述的一种基于三维视觉信息的矿物浮选泡沫流速检测方法，其特 征在于，所述步骤三包括以下子步骤： 步骤1:构建泡沫图像的高斯金字塔尺度空间； 为了提取预处理后的泡沫灰度图像Gray'的特征点，首先构造图像的尺度空间L(x，y, σ)为：其中，?代表卷积运算，G(X, y, σ)为高斯核函数，表达式为：其中，σ为尺度空间因子，用于衡量尺度平滑的大小，尺度越大表示平滑程度越大，对应 图像轮廓越模糊； 对图像应用不同尺度大小进行高斯模糊变化，形成具有不同平滑程度的多组图像，按 尺度大到尺度小的顺序，从顶层到底层排列图像构成高斯金字塔尺度空间；采用高斯差分 算子，得到高斯差分尺度空间D(x，y， 〇):I 其中k为尺度空间不同组对应的尺度空间因子，以得到稳定的图像极值点； 步骤2:检测尺度空间的极值点； 在遍历检查某一尺度下高斯差分图像像素点是否为极值点的过程中，将该像素点与同 尺度下8个邻域像素点以及上下相邻尺度下高斯差分图像中9 X 2个像素点，共26个像素点 的灰度值进行比较得到局部极大值点，即为极值点，也就是图像的关键点； 步骤3:给关键点标定方向形成关键点特征向量； 在已知关键点尺度因子σ的情况下，选取关键点周围4X4个4X4像素单元，对每个4X4 单元内的像素点P(x，y)求取梯度大小m(x，y)和方向0(x，y)为：统计4 X 4像素单元内16个像素点的梯度在8个方向上的投影和构成8个方向向量，作为 一个种子点的特征向量，总共4 X 4个种子点根据离关键点的距离采用高斯加权生成4 X 4 X 8共128维特征向量，以此作为特征点的SIFT特征向量； 设特征点128维SIFT特征向量为Η(1η，1ι2, . . .，h128)，进一步，为了消除光照条件对特征 点的影响，对SIFT特征向量进行归一化处理，得到特征点的特征向量L(li，l2,. . .，1?28)，其 中：步骤4:采用最近邻/次近邻(NN)距离匹配方法进行特征点匹配； 对两幅图像的特征点进行匹配，以得到两幅图像中相同特征点的运动信息，设前后两 帧图像进行SIFT特征提取后得到特征点集分别为P= {pi,P2, ... ,Pm}和P' = {p71，P7 2,...， P7 η}，采用最近邻/次近邻(NN)距离匹配方法进行特征点匹配，则当前图像特征点集P中任 意特征点和前一帧图像特征点集P '中任意特征点I的 欧式距离d(Pl，p、)为：在实际特征点匹配过程中，从当前图特征点集中选择一个特征点，并将此特征点与前 一幅图像中所有特征点计算欧式距离，找出距离最小值和次小值，将距离最小值除以次最 小值，通过公式(9)判断得到距离最小值的匹配点是否是合格的匹配点；其中，dmin是距离最小值，dnmin是距离次最小值，Thresho Id为设定阈值；阈值越小，匹配 成功率越低，可靠性越强，本发明取Threshold = O.2;如果公式(9)所得结果小于阈值，则该 对匹配点合格，否则舍弃;穷举匹配当前图像中所有特征点和前一帧图像中所有特征点，得 到合格的匹配点R对，将R对匹配点根据公式(9)的比值结果升序排列，选取比值最小的前η 对匹配点作为正确的匹配点，不足η对则选取所有匹配点作为正确的匹配点。7. 根据权利要求6所述的一种基于三维视觉信息的矿物浮选泡沫流速检测方法，其特 征在于，步骤三的子步骤2中，考虑提取出的极值点为图像边缘的情况，计算极值点在X和y 方向的梯度分别为α和β，假定α>β，且有α = Γβ，其中r>10的极值点为图像边缘点，舍弃图像 边缘点以提高特征点的稳定性、可靠性。8. 根据权利要求7所述的一种基于三维视觉信息的矿物浮选泡沫流速检测方法，其特 征在于，所述步骤四包括以下子步骤： 步骤1:建立坐标系； 建立世界坐标系，相机坐标系，图像像素坐标系和图像物理坐标系，以图像左上角顶点 作为图像像素坐标系原点；以像素坐标系的中心像素点（UO，VO)作为图像物理坐标系的原 点；以相机的光心作为相机坐标系的原点，以光轴作为相机坐标系的Z轴，并且垂直于成像 平面;世界坐标系的原点取浮选槽内任一点，世界坐标系的三轴与浮选槽长、宽、高平行； 步骤2:计算图像像素坐标系某一点与世界坐标系空间某一点的坐标变换关系； 首先，获取图像像素坐标系(u，v)与物理坐标系(x，y)的坐标变换关系，变换式为：其中，dx，dy分别为相机成像面单位长度的像素点个数； 然后，利用针孔投影模型计算物理坐标系(x，y)与相机坐标系(^。，2。)的坐标变换关 系，变换式为：相机坐标系(1。，7。，2。)与世界坐标系(1?，7?，2?)的变换式为：其中，R3X3是两个坐标系的正交旋转矩阵，!^:是两个坐标原点的平移向量； 由公式（10)、（11)、（12)可以得到像素坐标系(1!^)与世界坐标系(^，7|，&)的变换关 系为：给定世界坐标系和相机坐标系重合，则R3X3 = I，T3xl = O，公式（13)变为：其中，K3x3是相机的内参矩阵，公式（14)即为世界坐标系下一点（Xw，yw， Zw)与其在相机 成像平面的投影点(u，v)之间的变换关系； 步骤3:计算泡沫的移动速率； 根据步骤二中得到的图像像素点的深度数据和步骤三中特征点的像素坐标，通过公式 (14)计算出泡沫特征点的三维世界坐标(Xw，yw，zw)，给定图像采集速率为每秒S帧，通过计 算前后两帧泡沫图像匹配特征点Pi和l/i的世界坐标(xiW，yiw，ziw)和&、， 7、，2、），从而 得到泡沫的三维移动速率如下：其中，η是前后两帧图像匹配特征点的个数，流速单位是mm/s，Z方向速率称作泡沫沉降 速度。根据三个方向的速率可以得到泡沫的三维流速矢量V= (Vx，Vy，Vz )，求取一秒内连续S 帧泡沫图像的流速矢量并取平均值，作为泡沫的三维流速。
【专利摘要】本发明公开了一种基于三维视觉信息的矿物浮选泡沫流速在线检测装置及方法。采用Kinect获取泡沫颜色图像和深度信息，构成泡沫三维视觉信息。在嵌入式异构多核处理器内对当前帧和前一帧图像进行特征点提取和匹配，并利用特征点的像素坐标信息、深度信息和针孔投影成像模型计算出图像特征点的三维空间坐标。通过两帧图像匹配特征点的三维空间坐标和图像采集速率计算出泡沫在空间三个维度上的移动速率，即为泡沫流速。本发明实现了对浮选槽泡沫流速的实时在线非接触式检测，并且具有体积小、可移动性强、功耗低、成本低、检测速度快、可靠性高的特点，特别适合矿物浮选现场泡沫流速指标的实时在线测量，有助于实现浮选过程的自动监控，进而提高选矿效率。
【IPC分类】G06T7/00, G06T7/40, G06T7/20
【公开号】CN105488816
【申请号】CN201510845079
【发明人】阳春华, 朱超, 徐德刚, 邵明明, 刘育峰, 蔡海明, 谢永芳, 桂卫华
【申请人】中南大学
【公开日】2016年4月13日
【申请日】2015年11月27日
【技术领域】
[0001]本发明涉及泡沫浮选过程泡沫图像机器视觉领域，具体涉及一种基于三维视觉信 息的泡沫流速在线检测嵌入式装置及方法。
【背景技术】
[0002] 泡沫浮选法是矿物生产加工过程中应用最广泛的一种选矿法，利用矿物本身的疏 水特性或经浮选药剂复杂的物理化学反应作用后获得的疏水特性，使矿浆中可浮性好的矿 粒粘附于气泡形成气、固、液三相组成的矿化泡沫层。矿化泡沫层泡沫流动性强、易破碎，其 在空间三个维度的流速能够直接反映浮选泡沫的状态，而浮选泡沫的状态则直接决定浮选 金属的回收率。尤其是泡沫沉降速度与泡沫破碎率指标息息相关，但至今仍没有测量泡沫 沉降速度的有效方法。通过泡沫流速信息，工人可以给出对当前浮选状态的一个判断，进而 调整浮选槽搅拌速度和浮选加药量。
[0003] 长期以来，选矿厂主要靠选矿经验丰富的工人根据观察浮选槽泡沫的流速，很难 得到准确的泡沫流速大小，而且不同工人对泡沫流速的视觉判断也没有统一的标准，浮选 操作的主观性和随意性较大，使得浮选过程难以处于最优化的运行状态，导致经常出现生 产过程不稳定、矿物资源严重浪费等问题。传统的差压式流量计采用接触式的方式，而且不 能持续稳定的在线检测，在工厂浮选槽已经稳定运行的情况下很难安装使用。泡沫层位于 矿浆层表面，是一个带有大量细小矿物颗粒的气、固、液三态混合层面，先进超声波流量计 或者激光流量计会在泡沫层表面产生透射，只能测得底层矿浆的流速。随着微控制器技术、 图像处理技术和自动控制技术的发展，使得采用机器视觉测量泡沫三维流速成为可能。同 时，由于浮选工业过程相当复杂并且环境恶劣，浮选厂内充斥噪声、电磁波、粉尘等的干扰 以及浮选液体的腐蚀，传统的基于PC机的机器视觉系统笨重、体积大、移动能力弱而且抗干 扰能力差，所以很难在浮选工业过程使用。基于嵌入式平台的机器视觉系统相对于PC系统 具有体积小、移动性好、抗干扰能力强、专用性强、硬件成本低等特点，已经成为机器视觉系 统新的发展方向。
【发明内容】
[0004] 本发明的目的是提出一种基于三维视觉信息的泡沫三维流速测量方法，解决传统 流量计难以非接触式测量泡沫流速、不能测量泡沫沉降速度以及只能测量二维像平面泡沫 像素点移动速度的问题；同时，提出构建一种基于嵌入式平台的流速测量装置，具有很好的 可移动性和可靠性，解决传统基于PC机的机器视觉系统难以在工作环境恶劣的浮选厂使用 的问题。
[0005] 本发明实现了一种基于三维视觉信息的泡沫流速测量装置和方法。
[0006] 一种基于三维视觉信息的矿物浮选泡沫流速在线检测装置，其特征在于，包括：
[0007] 用于对三维视频图像进行特征点提取、匹配，计算得到泡沫流速，将彩色视频压 缩、封装为RTP格式实时传输给上位机，并与上位机进行控制参数网络通讯的图像处理核心 板；
[0008] 用于采集三维视频数据，包括彩色视频和深度视频的三维泡沫图像采集装置；
[0009] 提供视频采集所需光照的高频光源；
[0010] 所述图像处理核心板与三维泡沫图像采集装置通过USB总线相连；图像处理核心 板通过网线连接至远端PC;图像处理核心板和三维泡沫图像采集装置固定于浮选槽上方并 拍摄浮选槽内的矿物浮选泡沫，高频光源照射矿物浮选泡沫为拍摄提供光照。
[0011] 所述的一种基于三维视觉信息的矿物浮选泡沫流速在线检测装置中，所述三维泡 沫图像采集装置为Kinect装置，所述的Kinect装置集成有用于拍摄彩色视频的RGB彩色相 机和用于获取深度视频的红外深度传感器。
[0012] 一种基于三维视觉信息的矿物浮选泡沫流速检测方法，使用上述装置，包括以下 步骤：
[0013] 步骤一:高频光源照射浮选槽的泡沫表面，Kinect装置采集泡沫包括颜色图像和 深度信息的三维视觉信息，并传输至图像处理核心板进行储存；
[0014] 步骤二：图像处理核心板读取前后两帧泡沫三维视觉数据，并对颜色图像和深度 信息进行预处理；
[0015] 步骤三:利用步骤二中预处理后的两帧泡沫颜色图像进行图像特征点提取和特征 点匹配；
[0016] 步骤四：利用步骤二中预处理后的特征点深度数据、步骤三中特征点的像素坐标 和针孔投影成像模型计算出图像特征点的三维空间坐标，然后通过两帧图像匹配特征点的 三维空间坐标和图像采集速率计算出泡沫在空间三个维度上的移动速率，即为泡沫流速。
[0017] 所述的一种基于三维视觉信息的矿物浮选泡沫流速检测方法，
[0018] 所述步骤一包括以下子步骤：
[0019] 步骤1:采集泡沫三维视觉信息：
[0020] 利用Kinect的颜色相机拍摄泡沫颜色图像，得到分辨率为aXb的三通道颜色矩阵 M;利用Kinect的红外深度传感器获取泡沫颜色图像对应像素点的深度数据，得到分辨率为 aXb的深度矩阵N;
[0021] 步骤2:三维视觉信息的传输和保存；
[0022]将泡沫颜色矩阵Μ和深度矩阵N通过总线传输至嵌入式图像处理核心板的存储器 中保存。
[0023]所述的一种基于三维视觉信息的矿物浮选泡沫流速检测方法，所述步骤二包括以 下子步骤：
[0024]步骤1:颜色图像的预处理；
[0025]图像处理核心板中的处理器从存储器中读取泡沫颜色矩阵Μ，并依次在DSP核对其 进行图像灰度化、图像滤波和图像增强；
[0026] 1)图像灰度化
[0027] 图像灰度矩阵Gray由颜色矩阵Μ灰度化得到，对于图像中任一像素点（x，y)，其灰 度Gray (X，y)的计算公式为：
[0028] Gray(x,y)=0.299M(x,y,l)+0.587M(x,y,2)+0.114M(x,y,3) (1)
[0029] 其中姒1，7，1)、1(^7,2)、1(1，7,3)分别为分辨率为 &\13的颜色矩阵1中像素点 (x，y)的R、G、B颜色分量，遍历泡沫颜色图像所有像素点，得到分辨率为aXb的图像灰度矩 阵Gray;
[0030] 2)图像滤波
[0031] 采用中值滤波方式对图像灰度矩阵Gray进行滤波处理:首先，选取中值滤波器的 邻域窗口；然后，对灰度图像中某一像素点（x，y)邻域窗口的所有像素点灰度值进行排序， 选取中位值作为像素点(x，y)的灰度值;最后遍历整幅图像，得到滤波后的灰度矩阵Gray'；
[0032] 3)图像增强
[0033] 采用直方图均衡化对泡沫图像进行增强:首先，统计滤波后的灰度矩阵Gray'中每 种灰度级像素的个数，形成灰度直方图；然后，以归一化图像灰度的累积分布函数为映射函 数，产生灰度级具有均匀密度的图像，即直方图均衡化后的增强图像；
[0034]步骤2:深度信息的预处理；
[0035]图像处理核心板中的处理器从存储器中读取泡沫深度矩阵N，并采用邻域窗口的 中值滤波器对深度图像N进行滤波，得到滤波后的深度矩阵Ν'。
[0036]所述的一种基于三维视觉信息的矿物浮选泡沫流速检测方法，所述步骤三包括以 下子步骤：
[0037]步骤1:构建泡沫图像的高斯金字塔尺度空间；
[0038]为了提取预处理后的泡沫灰度图像Gray'的特征点，首先构造图像的尺度空间L U，y，?)为··
[0039]
[0040] 其中，Θ代表卷积运算，G(x，y，〇)为高斯核函数，表达式为：
[0041]
[0042] 其中，〇为尺度空间因子，用于衡量尺度平滑的大小，尺度越大表示平滑程度越大， 对应图像轮廓越模糊；
[0043] 对图像应用不同尺度大小进行高斯模糊变化，形成具有不同平滑程度的多组图 像，按尺度大到尺度小的顺序，从顶层到底层排列图像构成高斯金字塔尺度空间;采用高斯 差分算子，得到高斯差分尺度空间D(x，y， 〇):
[0044]
[0045] 其中k为尺度空间不同组对应的尺度空间因子，以得到稳定的图像极值点；
[0046] 步骤2:检测尺度空间的极值点；
[0047]在遍历检查某一尺度下高斯差分图像像素点是否为极值点的过程中，将该像素点 与同尺度下8个邻域像素点以及上下相邻尺度下高斯差分图像中9X2个像素点，共26个像 素点的灰度值进行比较得到局部极大值点，即为极值点，也就是图像的关键点；
[0048] 步骤3:给关键点标定方向形成关键点特征向量；
[0049] 在已知关键点尺度因子。的情况下，选取关键点周围4X4个4X4像素单元，对每个 4\4单元内的像素点？(1，7)求取梯度大小111(1，7)和方向0(1，7)为 ：
[0050]
[0051] 0(x,y)=tan_1( (L(x,y+l)-L(x,y-l))/(L(x+1 ,y)-L(x-l ,y))) (6)
[0052] 统计4X4像素单元内16个像素点的梯度在8个方向上的投影和构成8个方向向量， 作为一个种子点的特征向量，总共4X4个种子点根据离关键点的距离采用高斯加权生成4 X4X8共128维特征向量，以此作为特征点的SIFT特征向量；
[0053]设特征点128维SIFT特征向量为Η(1η，1ι2,. . .，h128)，进一步，为了消除光照条件对 特征点的影响，对SIFT特征向量进行归一化处理，得到特征点的特征向量L(li, 12,...， ll28)，其中：
[0054]
[0055] 步骤4:采用最近邻/次近邻(NN)距离匹配方法进行特征点匹配；
[0056] 对两幅图像的特征点进行匹配，以得到两幅图像中相同特征点的运动信息，设前 后两帧图像进行SIFT特征提取后得到特征点集分别为P= {Pl，p2, . . .，pm}和P' = {P1'，p '2, . . .，P'n}，采用最近邻/次近邻(NN)距离匹配方法进行特征点匹配，则当前图像特征点集 P中任意特征点矜= 和前一帧图像特征点集P，中任意特征点 A = 的欧式距离 d(pi，p'j)为：
[0057]
[0058] 在实际特征点匹配过程中，从当前图特征点集中选择一个特征点，并将此特征点 与前一幅图像中所有特征点计算欧式距离，找出距离最小值和次小值，将距离最小值除以 次最小值，通过公式(9)判断得到距离最小值的匹配点是否是合格的匹配点；
[0059]
[0000] 其中，dmin是距离最小值，dnmin是距离次最小值，Threshold为设定阈值；阈值越小， 匹配成功率越低，可靠性越强，本发明取ThreShold = 0.2;如果公式(9)所得结果小于阈值， 则该对匹配点合格，否则舍弃；穷举匹配当前图像中所有特征点和前一帧图像中所有特征 点，得到合格的匹配点R对，将R对匹配点根据公式(9)的比值结果升序排列，选取比值最小 的前η对匹配点作为正确的匹配点，不足η对则选取所有匹配点作为正确的匹配点。
[0061]所述的一种基于三维视觉信息的矿物浮选泡沫流速检测方法，步骤三的子步骤2 中，考虑提取出的极值点为图像边缘的情况，计算极值点在X和y方向的梯度分别为α和β，假 定α>β，且有α = Γβ，其中r>10的极值点为图像边缘点，舍弃图像边缘点以提高特征点的稳定 性、可靠性。
[0062]所述的一种基于三维视觉信息的矿物浮选泡沫流速检测方法，所述步骤四包括以 下子步骤：
[0063] 步骤1:建立坐标系；
[0064] 建立世界坐标系，相机坐标系，图像像素坐标系和图像物理坐标系，以图像左上角 顶点作为图像像素坐标系原点；以像素坐标系的中心像素点(UQ，V0)作为图像物理坐标系的 原点；以相机的光心作为相机坐标系的原点，以光轴作为相机坐标系的Z轴，并且垂直于成 像平面;世界坐标系的原点取浮选槽内任一点，世界坐标系的三轴与浮选槽长、宽、高平行；
[0065] 步骤2:计算图像像素坐标系某一点与世界坐标系空间某一点的坐标变换关系； [0066]首先，获取图像像素坐标系(u，v)与物理坐标系(x，y)的坐标变换关系，变换式为：
[0067]
[0068] 其中，dx，dy分别为相机成像面单位长度的像素点个数；
[0069]然后，利用针孔投影模型计算物理坐标系(x，y)与相机坐标系(^。，心)的坐标变 换关系，变换式为：
[0070]
[0071]相机坐标系(1，7。，2。)与世界坐标系(Xw，yw，zw)的变换式为：
[0072]
[0073]其中，R3X3是两个坐标系的正交旋转矩阵，^^是两个坐标原点的平移向量；
[0074] 由公式（10)、（11)、（12)可以得到像素坐标系(1!^)与世界坐标系(^，5^，心)的变 换关系为：
[0075]
[0076] 给定世界坐标系和相机坐标系重合，则R3X3 = I，T3X1 = 0，公式(13)变为：
[0077]
[0078] 其中，K3X3是相机的内参矩阵，公式（14)即为世界坐标系下一点（Xw，yw，z w)与其在 相机成像平面的投影点(u，v)之间的变换关系；
[0079]步骤3:计算泡沫的移动速率；
[0080]根据步骤二中得到的图像像素点的深度数据和步骤三中特征点的像素坐标，通过 公式（14)计算出泡沫特征点的三维世界坐标(Xw，yw，zw)，给定图像采集速率为每秒S帧，通 过计算前后两帧泡沫图像匹配特征点Pi和Pi'的世界坐标(Xiw，yiw，ziw)和(x'iw，y'iw，z 'iw)， 从而得到泡沫的三维移动速率如下：
[0081]
[0082]
[0083]
[0084] 其中，η是前后两帧图像匹配特征点的个数，流速单位是mm/s，Z方向速率称作泡沫 沉降速度。根据三个方向的速率可以得到泡沫的三维流速矢量V= (Vx，Vy，Vz)，求取一秒内 连续S帧泡沫图像的流速矢量并取平均值，作为泡沫的三维流速。
[0085] 本发明的技术效果在于，开发出了一套能采集浮选槽泡沫三维场景图像信息、处 理和分析图像信息，并且具有集成度高、体积小、可移动性好、抗干扰性能好、成本低、专用 性强、运行效率高等优点的基于嵌入式ARM+DSP异构多核处理架构的泡沫流速在线检测装 置。本发明泡沫流速检测装置采用嵌入式平台构建，解决了传统基于PC机的机器视觉系统 难以在工作环境恶劣的现场稳定运行的问题，具有较高的可靠性。本发明的泡沫流速检测 装置内部集成颜色相机和红外深度传感器获取泡沫的三维机器视觉，通过采用本发明的基 于三维视觉信息的泡沫流速测量方法，可以实现泡沫三维流速的非接触式测量，解决了传 统流量计难以非接触式测量泡沫流速以及不能测量泡沫沉降速度的问题。同时使用该装置 的泡沫流速检测方法采用图像匹配技术和投影成像模型测量泡沫流速，从本质上解决了现 有基于机器视觉的流速检测装置只能测量二维像平面泡沫像素点移动速度的问题，测得了 泡沫的三维真实流速，单位为mm/s。此外，本发明的泡沫流速检测装置采用ARM+DSP异构多 核处理架构，利用ARM核调度DSP核进行复杂的图像处理，充分利用了 DSP核高效的图像处理 性能，满足工业现场对泡沫流速测量实时性的要求，并且具有较高的测量精度。
【附图说明】
[0086]图1为为基于三维视觉信息的泡沫流速在线检测装置的工程示意图；
[0087]图2为基于三维视觉信息的泡沫流速在线检测装置的硬件结构图；
[0088]图3为基于三维视觉信息的泡沫流速检测方法流程图；
[0089] 图4为泡沫流速检测装置实施例中颜色相机采集到的彩色图像；
[0090] 图5为泡沫流速检测装置实施例中红外深度传感器采集到的深度图像；
[0091] 图6为泡沫流速检测方法实施例中相邻两帧泡沫图像特征点匹配结果；
[0092] 其中标号1是浮选槽、2是矿浆层、3是泡沫层、4是铁质活动支架、5是高频光源、6是 三维泡沫图像采集装置防护罩、7是三维图像采集装置、8是红外发射器、9是颜色相机、10是 红外接收器、11是USB总线、12是图像处理核心板防护罩、13是图像处理核心板、14是以太网 双绞线、15是远端工控机、16是显示器。
【具体实施方式】
[0093]下面结合附图及具体实施例对本专利作进一步详细说明。
[0094]本发明的基于三维视觉信息的泡沫流速在线检测装置的工程示意图如图1所示， 整套装置的工程包括:浮选槽1、矿浆层2、泡沫层3、安装支架4、高频光源5、三维泡沫图像采 集装置防护罩6、三维图像采集装置7、红外发射器8、颜色相机9、红外接收器10、USB总线11、 图像处理核心板防护罩12、图像处理核心板13、以太网双绞线14、远端工控机15、显示器16。 [0095]浮选槽1是矿物与浮选药剂发生复杂物理化学反应的容器，通过反应后在浮选槽 内形成矿浆层2和泡沫层3,泡沫层3在矿浆层2的顶部。三维泡沫图像采集装置防护罩6和图 像处理核心板防护罩12采用铝合金材料制成，为密封箱体，防护等级达到IP65级。其中，三 维泡沫图像采集装置防护罩6的封装大小为25cmX 3.5cmX4.5cm，图像处理核心板防护罩 12的封装大小为1 lcm X 10cm X 2.5cm，内部均用铆钉固定。高频光源5与三维泡沫图像采集 装置7保持相互平行，并且垂直于浮选槽表面安装在铁质活动支架4上。三维泡沫图像采集 装置7固定在距离浮选槽1泡沫表面1.5-3m的范围内，并且可以在此范围对高频光源5和三 维泡沫图像采集装置7的安装高度进行调节。高频光源采用功率为200W，发光功率为 2.6 5MHz，照度为1500 lux，色温为4500K的大功率卤素灯，为浮选槽提供照明。
[0096]三维泡沫图像采集装置7采用微软Kinect体感设备构建，内部集成有颜色相机9和 红外深度传感器，用来采集浮选槽泡沫的三维视觉信息。其中，其中，RGB彩色相机用来获取 分辨率为640*480、帧率为30FPS的泡沫彩色图像;红外深度传感器采用红外发射器8和红外 接收器10构成，一个用于发送，一个用于接收，以此来获取泡沫图像对应像素点的深度数 据。三维泡沫图像采集装置7采集到泡沫三维视觉信息后，将其通过USB总线传输至图像处 理核心板13,图像处理核心板对泡沫三维视觉信息进行处理，并采用本发明的基于三维视 觉信息的泡沫流速监测方法计算得到泡沫实时流速，然后通过以太网双绞线传输至远端工 控机15用于进行浮选流程监控，同时在显示器16上显示泡沫实时流速。
[0097]图2是本装置的硬件结构图，主要由嵌入式图像处理核心板13,图像采集装置7和 外扩LCD显示屏构成。嵌入式图像处理核心板内部集成有嵌入式核心处理器模块、存储器模 块、外围接口或设备模块。其中：
[0098] 嵌入式核心处理器模块采用TI公司具有ARM和DSP异构多处理核的0map4460型处 理器，包括主频为1.5GHZ的对称ARM Cortex-A9双内核、基于TI C64x系列的DSP内核以及对 称ARM Cortex-M3双内核。对称ARM Cortex-A9双内核用于运行实时操作系统RT0S;对称ARM Cortex-M3双内核用于图像处理任务的调度以及与DSP核进行通信;C64x系列的DSP核用于 硬件加速执行图像处理任务；
[0099] 存储器模块具有2GB LPDDR2SDRAM和16GB SD存储卡。SDRAM与0map4460处理器的 Ε ΜIF接口（外部内存接口）连接，用于缓存图像处理过程中产生的临时数据；S D卡与 0map4460处理器的SDI0接口连接，用于非易失性存储实时操作系统RT0S和泡沫速率参数。 [0100] 外围接口或设备模块具有RS232接口、RJ45接口、USB Host端口和外扩LCD显示屏。 RS232接口一端通过Max232芯片进行电平转换后与0map4460处理器UART连接，另一端与上 位机RS232接口连接，用于实现与工控机的串行通讯;RJ45接口一端通过BCM5221型以太网 控制器与0map4460处理器连接，另一端与以太网双绞线连接，用于向工控机发送实时泡沫 流速数据;USB Host端口一端通过USB总线与0map4460处理器连接，另一端与Kinect的USB 输出端连接，用于采集泡沫颜色图像和深度信息;外扩LCD显示屏与0map4460DISPC接口（显 示控制器)连接，用于本地实时显示泡沫流速信息。
[0101] 本发明的基于三维视觉信息的泡沫流速检测方法使用上述泡沫流速检测装置，并 实施以下步骤实现对泡沫流速的测量：
[0102] 步骤一:光源照射浮选槽泡沫表面，三维泡沫图像采集装置采集泡沫三维视觉信 息，并传输至图像处理核心板；
[0103] 步骤二：图像处理核心板读取前后两帧泡沫三维视觉数据，并对颜色图像和深度 信息进行预处理；
[0104] 步骤三:利用步骤二中预处理后的两帧泡沫颜色图像进行图像特征点提取和特征 点匹配；
[0105] 步骤四：利用步骤二中预处理后的特征点深度数据、步骤三中特征点的像素坐标 和针孔投影成像模型计算出图像特征点的三维空间坐标。然后，通过两帧图像匹配特征点 的三维空间坐标和图像采集速率计算出泡沫在空间三个维度上的移动速率，即为泡沫流 速；
[0106] 步骤一具体使用以下子步骤实现：
[0107] Stepl:采集泡沫三维视觉信息；
[0108]利用三维泡沫图像采集装置内部集成的Kinect设备采集泡沫三维视觉信息。首 先，嵌入式操作系统RT0S下，采用跨平台、开源自然交互框架OpenNI开发应用软件，本实施 例设置采集颜色图像数据流的分辨率为640 X 480，帧率为30FPS，格式为XN_PIXEL_FORMAT_ RGB24，设置采集深度数据流的分辨率为640 X 480，并采用OpenNI下的"Alternative View" 工具校正颜色相机和深度相机的视角，使得颜色图像和深度图像的像素点完全对准。然后， 利用Kinect的颜色相机拍摄泡沫颜色图像，得到颜色矩阵M，其大小为640X480X3阶，如图 4所示;利用红外深度传感器获取泡沫颜色图像对应像素点的深度数据，得到深度矩阵N，其 大小为640X480阶，如图5所示。图5所示泡沫深度图像中，像素点灰度越偏白代表深度越 小，灰度越偏黑深度越大，偏白的局部区域代表一个凸起的泡沫，深度图像白色区域的分布 与颜色图像泡沫的分布--对应。
[0109] Step2:三维视觉信息的传输和保存；
[0110]将泡沫颜色矩阵Μ和深度矩阵N通过USB总线传输至嵌入式图像处理核心板的 SDRAM存储器中保存。 Com]步骤二具体使用以下子步骤实现：
[0112] Stepl:颜色图像的预处理；
[0113] 图像处理核心板中的0map4460处理器从SDRAM中读取泡沫颜色矩阵M，并依次在 DSP核对其进行图像灰度化、图像滤波和图像增强。
[0114] 1)图像灰度化
[0115] 图像灰度矩阵Gray由图像颜色矩阵Μ灰度化得到。对于图像中任一像素点（x，y)， 其灰度Gray (x，y)的计算公式为：
[0116] Gray(x,y)=0.299M(x,y,1)+0.587M(x,y,2)+0.114M(x,y,3) (1)
[0117] 其中1(1，7，1)、1(1，7,2)、1(1，7,3)分别为颜色矩阵1中像素点(1， 7)的1?、6、8颜色 分量。公式（1)通过整数化后，在DSP中采用移位过程代替耗时长的除法过程，优化图像处理 速度。遍历泡沫颜色图像所有像素点，得到图像灰度矩阵Gray，其大小为640X480阶。
[0118] 2)图像滤波
[0119] 为了抑制泡沫图像中由于光照原因产生的噪点，并且保留泡沫图像中泡沫的细节 特征，采用中值滤波方式对泡沫灰度图像进行滤波处理。具体过程是:首先，选取中值滤波 器的邻域窗口，本发明选取邻域3X3像素窗口，但不限于此;然后，对灰度图像中某一像素 点（x，y)邻域窗口的所有像素点灰度值进行排序，选取中位值作为像素点（x，y)的灰度值； 最后遍历整幅图像，得到滤波后的灰度矩阵Gray'。
[0120] 3)图像增强
[0121] 为了消除光照强度对泡沫图像整体色彩的影响，增强泡沫图像的对比度，突出泡 沫的细节特征，采用直方图均衡化对泡沫图像进行增强。具体过程是:首先，统计灰度图像 Gray'中每种灰度级像素的个数，形成灰度直方图；然后，针对灰度值分布不均匀影响图像 对比度的特点，以归一化图像灰度的累积分布函数为映射函数，产生灰度级具有均匀密度 的图像，即直方图均衡化后的增强图像。
[0122] Step2:深度信息的预处理；
[0123] 图像处理核心板中的0map4460处理器从SDRAM中读取泡沫深度矩阵N，并在DSP核 同样采用邻域3X3像素窗口的中值滤波器对深度图像N进行滤波，得到滤波后的深度矩阵 N，。
[0124] 步骤三具体使用以下子步骤实现：
[0125] Stepl:构建泡沫图像的高斯金字塔尺度空间；
[0126] 为了提取预处理后的泡沫灰度图像Gray'的特征点，首先构造图像的尺度空间L U，y，?)为··
[0127] L(x, i',σ) = G{x, ι:,σ) Θ Gray (.ν, ι:) (2 )
[0128] 其中，0代表卷积运算，G(x，y，〇)为高斯核函数，表达式为：
[0129]
[0130] 其中，〇为尺度空间因子，用于衡量尺度平滑的大小，尺度越大表示平滑程度越大， 对应图像轮廓越模糊。对图像应用不同尺度大小进行高斯模糊变化，形成具有不同平滑程 度的多组图像。按尺度大到尺度小的顺序，从顶层到底层排列图像构成高斯金字塔尺度空 间。
[0131] 进一步，采用高斯差分算子，得到高斯差分尺度空间D(x，y，〇):
[0132]
[0133] 其中k为尺度空间不同组对应的尺度空间因子。简单来说，高斯差分尺度空间就是 将高斯金字塔尺度空间中上下连续的两组图像相减得到。利用高斯差分尺度空间，可以得 到稳定的图像极值点。
[0134] Step2:检测尺度空间的极值点；
[0135] 高斯差分图像中局部最大值点即是图像关键点的位置。在遍历检查某一尺度下高 斯差分图像像素点是否为极值点的过程中，将该像素点与同尺度下8个邻域像素点以及上 下相邻尺度下高斯差分图像中9 X2个像素点，共26个像素点的灰度值进行比较得到局部极 大值点，即为图像的关键点。考虑D0G算子具有较强的边缘效应，提取出的极值点可能是图 像边缘，但图像在边缘处的横向梯度和垂直梯度大小差异明显，因此计算极值点在X和y方 向的梯度分别为α和β，假定α>β，且有α = 。本实施例取r> 10的极值点为图像边缘点，舍弃 图像边缘点，提高特征点的稳定性、可靠性。关键点在同层以及相邻层高斯差分尺度空间中 均是极大值点，说明关键点是图像在尺度变换下稳定的极值点。
[0136] Step3:给关键点标定方向形成关键点特征向量；
[0137] 在确定了关键点的位置以及尺度之后，需要对关键点进行描述，以提取关键点在 灰度变换、尺度变换和旋转变换下稳定的特征信息。在已知关键点尺度因子σ的情况下，选 取关键点周围4X4个4X4像素单元，对每个4X4单元内的像素点P(x，y)求取其梯度大小m (x，y)和方向 0(x，y)为：
[0138]
[0139] 0(x,y)=tan_1((L(x,y+l)-L(x,y-l))/(L(x+1 ,y)-L(x-l ,y))) (6)
[0140] 统计4X4像素单元内16个像素点的梯度在8个方向上的投影和构成8个方向向量， 作为一个种子点的特征向量。总共4X4个种子点根据离关键点的距离采用高斯加权生成4 X4X8共128维特征向量，以此作为特征点的SIFT特征向量。
[0141] 假设特征点128维SIFT特征向量为Η(1η，1ι2, . . .，h128)。进一步，为了消除光照条件 对特征点的影响，对SIFT特征向量进行归一化处理，得到特征点的特征向量L(li, 12,...， ll28)，其中：
[0142]
[0143] 由此，完成了图像特征点的特征描述。
[0144] Step4:采用最近邻/次近邻(NN)距离匹配方法进行特征点匹配；
[0145] 完成对前后两帧泡沫图像特征点的提取以及特征的描述后，需要对两幅图像的特 征点进行匹配，以得到两幅图像中相同特征点的运动信息。假设前后两帧图像进行SIFT特 征提取后得到特征点集分别为P= {pi，P2, . . .，pm}和P' = {pi'，p'2, . . . ,ρ'η}，采用最近邻/ 次近邻（ΝΝ)距离匹配方法进行特征点匹配，则当前图像特征点集Ρ中任意特征点 仍=(4,λ;2，...,x,12s)和前一帧图像特征点集P'中任意特征点i?/ ..., jf)的欧式距离d (Pi，P'j)为：
[0146]
[0147] 在实际特征点匹配过程中，从当前图特征点集中选择一个特征点，并将此特征点 与前一幅图像中所有特征点计算欧式距离，找出距离最小值和次小值，将距离最小值除以 次最小值，通过公式(9)判断得到距离最小值的匹配点是否是合格的匹配点。
[0148]
[0149] 其中，dmin是距离最小值，dnmin是距离次最小值，Thresho Id为设定阈值。阈值越小， 匹配成功率越低，可靠性越强，本实施例取ThreShold = 0.2。如果公式(9)所得结果小于阈 值0.2,则该对匹配点合格，否则舍弃。穷举匹配当前图像中所有特征点和前一帧图像中所 有特征点，得到合格的匹配点R对。将R对匹配点根据公式(9)的比值结果升序排列，选取比 值最小的前25对匹配点作为正确的匹配点，不足25对则选取所有匹配点作为正确的匹配 点。本实施例对某一时刻Kinect采集到前后两帧泡沫图像进行特征点提取和匹配，并保存 两帧图像中提取出来的特征点及其特征点的匹配对，通过MATLAB重绘两帧图像的特征点和 特征点匹配对，得到的匹配效果如图6所示。图6中左侧图像是前一帧图像，右侧图像是当前 图像，小圆圈为检测出来的特征点，白色直线连接的是两帧图像匹配的特征点。图6中可以 看出，25对匹配特征点的对应位置基本准确，而且用于连接匹配特征点的直线基本保持平 行，说明了本发明方法的有效性。
[0150] 步骤四具体使用以下子步骤实现：
[0151] Stepl:建立坐标系；
[0152] 建立世界坐标系，相机坐标系，图像像素坐标系和图像物理坐标系。以图像左上角 顶点作为图像像素坐标系原点；以像素坐标系的中心像素点(uq，vo)作为图像物理坐标系的 原点；以相机的光心作为相机坐标系的原点，以光轴作为相机坐标系的Z轴，并且垂直于成 像平面;世界坐标系的原点取正方体浮选槽内某一点，三轴与浮选槽长、宽、高平行。
[0153] Step2:计算图像像素坐标系某一点与世界坐标系空间某一点的坐标变换关系；
[0154] 首先，获取图像像素坐标系(u，v)与物理坐标系(x，y)的坐标变换关系，变换式为：
[0155]
[0156] 其中，dx，dy分别为相机成像面单位长度的像素点个数。
[0157] 然后，利用针孔投影模型计算物理坐标系(x，y)与相机坐标系(^。，2。)的坐标变 换关系，变换式为：
[0158]
[0159] 最后，因为相机坐标系是绕世界坐标系三个轴多次旋转并平移坐标原点的结果， 所以相机坐标系(1。，7。，2。)与世界坐标系(1?，7?，2?)的变换式为 ：
[0160]
[0161] 其中，R3X3是两个坐标系的正交旋转矩阵，^^是两个坐标原点的平移向量。
[0162] 由公式（10)、（11)、（12)可以得到像素坐标系(1!^)与世界坐标系(^，5^，心)的变 换关系为：
[0163]
[0164] 给定世界坐标系和相机坐标系重合，则R3X3 = I，T3X1 = 0，公式(13)变为：
[0165]
[0166] 其中，Κ3Χ3是相机的内参矩阵。公式（14)即为世界坐标系下一点（Xw，yw，z w)与其在 相机成像平面的投影点(u，v)之间的变换关系。由于相机的内参矩阵由其本身特征决定，因 此可以通过相机标定方法求取相机的内参矩阵。
[0167] Step3:计算泡沫的移动速率；
[0168] 所述步骤二中已经给出图像像素点的深度数据，所述步骤三已经计算出特征点的 像素坐标，通过公式（14)可以计算出泡沫特征点的三维世界坐标( Xw，yw，zw)。给定图像采集 速率为30FPS，通过计算前后两帧泡沫图像匹配特征点 Pi和p ' i的世界坐标(xiw，yiw，ziw)和 (x ' iw，y ' iw，z ' iw)，从而得到泡沫的三维移动速率如下：
[0169] X方向速率
[0170]
[0171]
[0172] 其中，η是前后两帧图像匹配特征点的个数，流速单位是mm/S(3Z方向速率称作泡沫 沉降速度。根据三个方向的速率可以得到泡沫的三维流速矢量V= (Vx，Vy，Vz)。求取一秒内 连续30帧泡沫图像的流速矢量并取平均值，作为泡沫的三维流速。
【主权项】
1. 一种基于三维视觉信息的矿物浮选泡沫流速在线检测装置，其特征在于，包括： 用于对三维视频图像进行特征点提取、匹配，计算得到泡沫流速，将彩色视频压缩、封 装为RTP格式实时传输给上位机，并与上位机进行控制参数网络通讯的图像处理核心板； 用于采集三维视频数据，包括彩色视频和深度视频的三维泡沫图像采集装置； 提供视频采集所需光照的高频光源； 所述图像处理核心板与三维泡沫图像采集装置通过USB总线相连；图像处理核心板通 过网线连接至远端PC;图像处理核心板和三维泡沫图像采集装置固定于浮选槽上方并拍摄 浮选槽内的矿物浮选泡沫，高频光源照射矿物浮选泡沫为拍摄提供光照。2. 根据权利要求1所述的一种基于三维视觉信息的矿物浮选泡沫流速在线检测装置， 其特征在于，所述三维泡沫图像采集装置为Kinect装置，所述的Kinect装置集成有用于拍 摄彩色视频的RGB彩色相机和用于获取深度视频的红外深度传感器。3. -种基于三维视觉信息的矿物浮选泡沫流速检测方法，其特征在于，使用如权利要 求1所述的装置，包括以下步骤： 步骤一：高频光源照射浮选槽的泡沫表面，Kinect装置采集泡沫包括颜色图像和深度 信息的三维视觉信息，并传输至图像处理核心板进行储存； 步骤二：图像处理核心板读取前后两帧泡沫三维视觉数据，并对颜色图像和深度信息 进行预处理； 步骤三:利用步骤二中预处理后的两帧泡沫颜色图像进行图像特征点提取和特征点匹 配； 步骤四：利用步骤二中预处理后的特征点深度数据、步骤三中特征点的像素坐标和针 孔投影成像模型计算出图像特征点的三维空间坐标，然后通过两帧图像匹配特征点的三维 空间坐标和图像采集速率计算出泡沫在空间三个维度上的移动速率，即为泡沫流速。4. 根据权利要求3所述的一种基于三维视觉信息的矿物浮选泡沫流速检测方法，其特 征在于， 所述步骤一包括以下子步骤： 步骤1:采集泡沫三维视觉信息： 利用Kinect的 颜色相机拍摄泡沫颜色图像，得到分辨率为aXb的三通道颜色矩阵M;利 用Kinect的红外深度传感器获取泡沫颜色图像对应像素点的深度数据，得到分辨率为aXb 的深度矩阵N; 步骤2:三维视觉信息的传输和保存； 将泡沫颜色矩阵M和深度矩阵N通过总线传输至嵌入式图像处理核心板的存储器中保 存。5. 根据权利要求4所述的一种基于三维视觉信息的矿物浮选泡沫流速检测方法，其特 征在于，所述步骤二包括以下子步骤： 步骤1:颜色图像的预处理； 图像处理核心板中的处理器从存储器中读取泡沫颜色矩阵M，并依次在DSP核对其进行 图像灰度化、图像滤波和图像增强； 1)图像灰度化 图像灰度矩阵Gray由颜色矩阵M灰度化得到，对于图像中任一像素点（x，y)，其灰度 Gray (x，y)的计算公式为： Gray(x,y)=O.299M(x,y,1)+0.587M(x,y,2)+0.114M(x,y,3) (I) 其中姒^7，1)、1(^7,2)、1(^7,3)分别为分辨率为 &\13的颜色矩阵1中像素点（^7) 的R、G、B颜色分量，遍历泡沫颜色图像所有像素点，得到分辨率为a Xb的图像灰度矩阵 Gray； 2) 图像滤波 采用中值滤波方式对图像灰度矩阵Gray进行滤波处理:首先，选取中值滤波器的邻域 窗口；然后，对灰度图像中某一像素点（x，y)邻域窗口的所有像素点灰度值进行排序，选取 中位值作为像素点(x，y)的灰度值;最后遍历整幅图像，得到滤波后的灰度矩阵Gray'； 3) 图像增强 采用直方图均衡化对泡沫图像进行增强:首先，统计滤波后的灰度矩阵Gray'中每种灰 度级像素的个数，形成灰度直方图；然后，以归一化图像灰度的累积分布函数为映射函数， 产生灰度级具有均匀密度的图像，即直方图均衡化后的增强图像； 步骤2:深度信息的预处理； 图像处理核心板中的处理器从存储器中读取泡沫深度矩阵N，并采用邻域窗口的中值 滤波器对深度图像N进行滤波，得到滤波后的深度矩阵Ν'。6.根据权利要求5所述的一种基于三维视觉信息的矿物浮选泡沫流速检测方法，其特 征在于，所述步骤三包括以下子步骤： 步骤1:构建泡沫图像的高斯金字塔尺度空间； 为了提取预处理后的泡沫灰度图像Gray'的特征点，首先构造图像的尺度空间L(x，y, σ)为：其中，?代表卷积运算，G(X, y, σ)为高斯核函数，表达式为：其中，σ为尺度空间因子，用于衡量尺度平滑的大小，尺度越大表示平滑程度越大，对应 图像轮廓越模糊； 对图像应用不同尺度大小进行高斯模糊变化，形成具有不同平滑程度的多组图像，按 尺度大到尺度小的顺序，从顶层到底层排列图像构成高斯金字塔尺度空间；采用高斯差分 算子，得到高斯差分尺度空间D(x，y， 〇):I 其中k为尺度空间不同组对应的尺度空间因子，以得到稳定的图像极值点； 步骤2:检测尺度空间的极值点； 在遍历检查某一尺度下高斯差分图像像素点是否为极值点的过程中，将该像素点与同 尺度下8个邻域像素点以及上下相邻尺度下高斯差分图像中9 X 2个像素点，共26个像素点 的灰度值进行比较得到局部极大值点，即为极值点，也就是图像的关键点； 步骤3:给关键点标定方向形成关键点特征向量； 在已知关键点尺度因子σ的情况下，选取关键点周围4X4个4X4像素单元，对每个4X4 单元内的像素点P(x，y)求取梯度大小m(x，y)和方向0(x，y)为：统计4 X 4像素单元内16个像素点的梯度在8个方向上的投影和构成8个方向向量，作为 一个种子点的特征向量，总共4 X 4个种子点根据离关键点的距离采用高斯加权生成4 X 4 X 8共128维特征向量，以此作为特征点的SIFT特征向量； 设特征点128维SIFT特征向量为Η(1η，1ι2, . . .，h128)，进一步，为了消除光照条件对特征 点的影响，对SIFT特征向量进行归一化处理，得到特征点的特征向量L(li，l2,. . .，1?28)，其 中：步骤4:采用最近邻/次近邻(NN)距离匹配方法进行特征点匹配； 对两幅图像的特征点进行匹配，以得到两幅图像中相同特征点的运动信息，设前后两 帧图像进行SIFT特征提取后得到特征点集分别为P= {pi,P2, ... ,Pm}和P' = {p71，P7 2,...， P7 η}，采用最近邻/次近邻(NN)距离匹配方法进行特征点匹配，则当前图像特征点集P中任 意特征点和前一帧图像特征点集P '中任意特征点I的 欧式距离d(Pl，p、)为：在实际特征点匹配过程中，从当前图特征点集中选择一个特征点，并将此特征点与前 一幅图像中所有特征点计算欧式距离，找出距离最小值和次小值，将距离最小值除以次最 小值，通过公式(9)判断得到距离最小值的匹配点是否是合格的匹配点；其中，dmin是距离最小值，dnmin是距离次最小值，Thresho Id为设定阈值；阈值越小，匹配 成功率越低，可靠性越强，本发明取Threshold = O.2;如果公式(9)所得结果小于阈值，则该 对匹配点合格，否则舍弃;穷举匹配当前图像中所有特征点和前一帧图像中所有特征点，得 到合格的匹配点R对，将R对匹配点根据公式(9)的比值结果升序排列，选取比值最小的前η 对匹配点作为正确的匹配点，不足η对则选取所有匹配点作为正确的匹配点。7. 根据权利要求6所述的一种基于三维视觉信息的矿物浮选泡沫流速检测方法，其特 征在于，步骤三的子步骤2中，考虑提取出的极值点为图像边缘的情况，计算极值点在X和y 方向的梯度分别为α和β，假定α>β，且有α = Γβ，其中r>10的极值点为图像边缘点，舍弃图像 边缘点以提高特征点的稳定性、可靠性。8. 根据权利要求7所述的一种基于三维视觉信息的矿物浮选泡沫流速检测方法，其特 征在于，所述步骤四包括以下子步骤： 步骤1:建立坐标系； 建立世界坐标系，相机坐标系，图像像素坐标系和图像物理坐标系，以图像左上角顶点 作为图像像素坐标系原点；以像素坐标系的中心像素点（UO，VO)作为图像物理坐标系的原 点；以相机的光心作为相机坐标系的原点，以光轴作为相机坐标系的Z轴，并且垂直于成像 平面;世界坐标系的原点取浮选槽内任一点，世界坐标系的三轴与浮选槽长、宽、高平行； 步骤2:计算图像像素坐标系某一点与世界坐标系空间某一点的坐标变换关系； 首先，获取图像像素坐标系(u，v)与物理坐标系(x，y)的坐标变换关系，变换式为：其中，dx，dy分别为相机成像面单位长度的像素点个数； 然后，利用针孔投影模型计算物理坐标系(x，y)与相机坐标系(^。，2。)的坐标变换关 系，变换式为：相机坐标系(1。，7。，2。)与世界坐标系(1?，7?，2?)的变换式为：其中，R3X3是两个坐标系的正交旋转矩阵，!^:是两个坐标原点的平移向量； 由公式（10)、（11)、（12)可以得到像素坐标系(1!^)与世界坐标系(^，7|，&)的变换关 系为：给定世界坐标系和相机坐标系重合，则R3X3 = I，T3xl = O，公式（13)变为：其中，K3x3是相机的内参矩阵，公式（14)即为世界坐标系下一点（Xw，yw， Zw)与其在相机 成像平面的投影点(u，v)之间的变换关系； 步骤3:计算泡沫的移动速率； 根据步骤二中得到的图像像素点的深度数据和步骤三中特征点的像素坐标，通过公式 (14)计算出泡沫特征点的三维世界坐标(Xw，yw，zw)，给定图像采集速率为每秒S帧，通过计 算前后两帧泡沫图像匹配特征点Pi和l/i的世界坐标(xiW，yiw，ziw)和&、， 7、，2、），从而 得到泡沫的三维移动速率如下：其中，η是前后两帧图像匹配特征点的个数，流速单位是mm/s，Z方向速率称作泡沫沉降 速度。根据三个方向的速率可以得到泡沫的三维流速矢量V= (Vx，Vy，Vz )，求取一秒内连续S 帧泡沫图像的流速矢量并取平均值，作为泡沫的三维流速。
【专利摘要】本发明公开了一种基于三维视觉信息的矿物浮选泡沫流速在线检测装置及方法。采用Kinect获取泡沫颜色图像和深度信息，构成泡沫三维视觉信息。在嵌入式异构多核处理器内对当前帧和前一帧图像进行特征点提取和匹配，并利用特征点的像素坐标信息、深度信息和针孔投影成像模型计算出图像特征点的三维空间坐标。通过两帧图像匹配特征点的三维空间坐标和图像采集速率计算出泡沫在空间三个维度上的移动速率，即为泡沫流速。本发明实现了对浮选槽泡沫流速的实时在线非接触式检测，并且具有体积小、可移动性强、功耗低、成本低、检测速度快、可靠性高的特点，特别适合矿物浮选现场泡沫流速指标的实时在线测量，有助于实现浮选过程的自动监控，进而提高选矿效率。
【IPC分类】G06T7/00, G06T7/40, G06T7/20
【公开号】CN105488816
【申请号】CN201510845079
【发明人】阳春华, 朱超, 徐德刚, 邵明明, 刘育峰, 蔡海明, 谢永芳, 桂卫华
【申请人】中南大学
【公开日】2016年4月13日
【申请日】2015年11月27日
最新回复(0)