基于单目视觉的前方车辆检测与测距的制作方法
基于单目视觉的前方车辆检测与测距的制作方法
【技术领域】
[0001] 本发明设及一种基于单目视觉的前方车辆检测与测距方法，该方法提出了机器视 觉与先验知识相结合的方法进行车辆检测，属于图像处理和机器视觉领域，可应用于准确 有效的检测出不同天气情况下的车辆并准确测量车距。
【背景技术】
[0002] 道路交通事故给人民生命财产和国民经济带来了巨大损失，及时检测当前车辆前 方的物体并做出预警具有非常重要的意义，而车辆检测是前方物体检测中至关重要的一部 分。此外，准确测量当前车辆和前车之间的距离对于行车安全意义重大。
[0003] 在视觉车辆检测方面，主要有四类方法:基于先验知识的方法;基于模板匹配的方 法;基于光流场的方法;基于机器学习的方法。运些方法的局限性主要表现为:对光照敏感， 光线的变化很有可能导致无法检测到车辆；当模板个数增加时实时性会受很大影响，并且 无法建立一个对所有车辆都适用的通用模板;实时性差；训练分类器时收集的样本对检测 效果影响较大。
[0004] 在单目视觉车辆测距方面，主要有Ξ类方法:基于成像模型的方法;基于几何关系 的推导方法;基于数学回归建模测距的方法。运些方法主要受车辆实际宽度、精确测量相机 视野角与俯仰角、前期数据采集分析并计算数学模型的影响。
[0005] 为了解决当前车辆检测和测距中存在的对光线敏感、需要精确测量相机俯仰角的 问题，本文提出一种基于单目视觉的前方车辆检测与测距方法，将机器视觉与先验知识相 结合进行车辆检测，在提出车辆底部阴影长度滤波方法对初检结果准确定位获得车辆准确 位置的基础上，利用位置信息的成像模型方法测量车距，试验表明本方法能准确有效的检 测出不同天气情况下的车辆并准确测量车距，满足实时性要求。
【发明内容】
[0006] 本发明的目的是克服现有技术的上述不足，提出了一种基于单目视觉的前方车辆 检测与测距方法，该方法能够准确有效地检测出不同天气情况下的车辆，同时还能准确测 量车距。为此，本发明采用如下的技术方案：
[0007] 1.获取视频图像并进行灰度化；
[0008] 2.提取感兴趣区域并进行直方图均衡化；
[0009] 3.车辆分类器训练，Adaboost级联分类器算法对样本的MB-LBP特征向量进行分类 学习，选择每阶段的最优弱分类器并级联成最终的强分类器；
[0010] 4.用训练完的车辆分类器初检实验视频；
[0011] 5.基于水平边缘与灰度信息结合去除初检中的误检；
[0012] 6.采用孔桐填充去除孤立噪声点和细小片段，利用长度滤波检测车辆底部阴影定 位轮胎与地面交线；
[0013] 7.采用双阔值法对图像进行二值化并依据车道线宽度滤波，采用抽样扫描法提取 车道线特征并用最小二乘拟合建立车道线方程获得车道线位置确定车道消失点；
[0014] 8.采用基于位置信息的前方车辆测距方法测量前车到当前车辆的距离。
[0015] 本发明具有如下的技术效果：
[0016] 1.方法简单，易于实施。本发明利用机器视觉与先验知识相结合的算法，采用 Adaboost级联分类器算法对样本的MB-LBP特征向量进行分类学习，计算速度提高，且不需 要高精度的仪器设备，方法简单实用。
[0017] 2.准确性高。本发明在检测过程中，采用水平边缘结合灰度信息验证初检结果去 除误检，提高了检测精度。
[0018] 3.对不同天气情况下能够满足视觉车辆检测、测距与实时性要求。
【附图说明】
[0019] 图1:本发明总体方案流程图。
[0020] 图2:MB-LBP算子图。利用MB-LBP算子可W捕捉不同尺度的结构信息，使测量更加 稳定，可通过积分图进行计算，提高计算速度。
[0021] 图3:正样本示例图。对正样本手动截取不同角度的后视车辆，尽量保持图像下边 缘为轮胎与地面的交点，归一化的正样本尺寸为24 X 24单位像素。
[0022] 图4:车辆初检结果图。
[0023] 图5:基于先验知识各阶段检测结果图。图（a)为水平边缘信息图，图（b)为灰度信 息图，图（c)-(e)为判别结果图。如图（a)所示，车辆具有丰富的水平边缘，而伪目标没有或 者具有很少的水平边缘，基于化nny边缘检测，统计水平边缘信息，排除为目标;如图（b)所 示，根据车辆轮胎与其邻近区域的灰度值关系进一步排除为目标。
[0024] 图6:孔桐填充算子图。
[0025] 图7:底部阴影各阶段检测结果图。图（a)为原始车辆图，图（b)为Sobel边缘图，图 (C)为孔桐填充图，图（d)为长度滤波图，图（e)为最终交线图。如图（b)所示利用3X3 Sobel 水平边缘检测获得灰度渐变区域;如图（C)依据孔桐填充去除孤立噪声点和细小片段并对 孔桐进行填充;如图（d)所示根据底部阴影在矩形框中的位置对矩形框底部1/4进行处理并 W矩形框下边线为基准进行长度滤波;如图（e)所示W长度滤波后线段的最上层边缘作为 轮胎与地面的交线。
[0026] 图8:车道线检测图。图（a)为高斯滤波图，图（b)为二次阔值分割图，图（C)为宽度 滤波图，图（d)为形态学滤波图，图（e)为左右车道线扫描示意图，图（f)为特征点坐标图。如 图（a)所示截取图像底部1/2进行3 X 3高斯滤波;如图（b)所示依据0TSU方法中求取阔值的 操作得到初步分割阔值Si，基于Si对图像进行第一次二值化，并对二值化后的白色区域利用 相同的操作得到二次阔值S2,利用S2对图像二值化;如图（C)所示依据车道线宽度对二值化 图像滤波进一步消除干扰;如图（d)所示利用闭运算对图像进行处理W填充细小孔桐及平 滑边界;如图（e)所示对车道线进行抽样扫描提取特征点便于建立车道线方程确定车道线 位置及车道线消失点。
[0027] 图9:车辆测距模型图。如图所示当相机与水平方向的俯仰角较小时，在获取离线 参数Fcam、出am的情况下，根据轮胎与地面的交线及车道消失线即可求得车辆距离。
[0028] 图10:车辆检测结果图。图（a)为晴天-早晨工业相机视频检测与测距图，图（b)为 晴天-中午工业相机视频检测与测距图，图（c)为晴天-上午工业相机视频检测与测距图，图 (d)为阴天-上午工业相机视频检测与测距图，图（e)为阴天-中午工业相机视频检测与测距 图，图（f)为阴天-傍晚工业相机视频检测与测距图，图（g)为阴天行车记录仪视频检测图， 图化)为轻度雾靈行车记录仪视频检测图，图（i)为小雨行车记录仪视频检测图。
【具体实施方式】
[0029] 本发明的流程图如图1所示，首先将车载摄像机采集的视频图像转换为灰度图像， 然后根据相机成像范围选择感兴趣区域进行直方图均衡化，再对均衡后的图像用分类器初 检得到包含车辆信息的矩形区域并利用先验知识对初检结果进行验证W去除误检，最后利 用车辆底部阴影计算轮胎与地面的交线获得车辆的准确位置同时将车辆位置与车道线检 测结果作为先验信息进行车辆测距。下面结合附图，对本发明技术方案的具体实施过程加 W说明。
[0030] 1.获取图像并进行灰度化
[0031] 成像系统为MVC1000MS型CMOS黑白工业相机和行车记录仪。其中相机的分辨率设 为640X480,帖率为25fps。相机标定结果为，相机水平和垂直方向等效焦距(单位像素）为 (1686，1690 )，主点坐标(单位像素)为(320，240)。相机安装在车辆内部前挡风玻璃后视镜 下方，距离地面高度为1.2m。视频采集于城郊快速路和高速公路。为进一步验证车辆检测算 法的准确性，对CMOS型普通彩色行车记录仪(分辨率为848X480)采集的城市道路视频进行 验证。系统检测结果如图10所示。
[0032] 2.提取感兴趣区域并对其进行直方图均衡
[0033] 截取感兴趣区域，W去除天空、远方道路、部分道路标识牌等干扰信息，对感兴趣 区域进行直方图均衡化提高图像对比度。
[0034] 3.车辆分类器训练
[0035] 利用Adaboost级联分类器算法对样本的MB-LBP特征向量进行分类学习，选择每阶 段的最优弱分类器并级联成最终的强分类器。MB-LBP算子中屯、子区域特征为
[0036]
[0037] 其中.
，gc为相应子区域的灰度均值，子区域大小为mXn(像素）。 MB-LBP算子如图2所示。
[0038] 在选取正样本时，手动截取不同角度的后视车辆。为了测距需要，正样本截取时尽 量保持图像下边缘为轮胎与地面的交点，如图3所示。负样本为不包含车辆但与车辆行驶环 境相关的场景，如道路、绿化带、行人、建筑物等。为了缩短分类器的训练时间，提高检测的 实时性与准确性，样本均为灰度图像，归一化的正样本尺寸为24 X 24单位像素，非尺度归 一化的负样本尺寸从100 X 100到752 X 480像素不等。
[0039] 4.训练后的分类器初检实验视频
[0040] 为提高检测速度，缩小原图像尺寸，缩放比例为1/2,同时截取图像底部2Λ的部分 W消除天空，远方道路，道路标识牌的干扰。初检结果如图4所示。
[0041 ] 5.水平边缘结合灰度信息验证初检结果
[0042] (1)水平边缘
[0043] 对初检中出现误检的情况，发现伪目标多集中在路面和绿化带区域。分析车辆和 伪目标的边缘图像可知，车辆具有丰富的水平边缘，而伪目标没有或者具有很少的水平边 缘。据此对初检结果进行化nny边缘检测，统计矩形框内的水平边缘信息，W排除伪目标。统 计初检结果矩形框R内满足条件的水平边缘数N
[0044]
[0045] 式中L为水平边缘长度，ki为比例系数，Wr为R的宽度。根据该式判断区域R是否为误 检目标。
[0046]
[0047] 式中(Νμιν,Νμαχ)为N的取值范围，Fo为是否误检的标志。
[004引当R内水平边缘数脚馬足域值条件时，Fo = 0保留此矩形框，否则为误检则去除。
[0049] (2)灰度信息
[0050] 为进一步消除误检，可利用车辆轮胎与其邻近区域的灰度值关系进行判别。对初 检矩形框R按比例kg(0<kg<l)截取其中的一部分即可得到轮胎所在的区域，WTi、T2 分别 表示左轮和右轮的区域;截取两轮胎外侧与Τι、Τ2同样大小的矩形框化、化；构建与区域R同 宽、与Τι、Τ2等高的矩形框Β，如图5(b)所示。统计下列区域灰度信息
[0化1 ]
[0052]式中Gt为轮胎灰度均值，Gni、Gn,、馬、Gt,、Gb、Gb为相应矩形框的灰度均值。根 据该式进一步排除伪目标。
[0化3]
[0054] Fi为R是否误检的标志，Gr > 为Gt大于G冲任意两个元素。
[0055] 当Fi = l去除此矩形框，否则保留。得益于正样本的选取规则，在Τι、Τ2内引入的非 轮胎区域的比例低于0.3，因此即使轮胎压在车道线上也能准确判别。
[0056] 结合水平边缘和灰度信息对初检结果进行验证，结果如图5(c)-(e)所示。从图可 知，上述先验知识相结合能够有效去除误检，提局检测精度。
[0057] 6.车辆底部阴影检测
[0058] 轮胎与地面的交线II是影响测距准确性的重要因素。对判别后的结果进行车辆底 部阴影检测来定位II。计算方法为：
[0059] (1)为了得到灰度渐变区域，对车辆（如图7(a)所示）进行3 X3Sobel水平边缘检 巧。，检测结果如图7(b)所示；
[0060] (2)利用孔桐填充算子(如图6所示)去除孤立噪声点和细小线段，并对孔桐进行填 充。算子计算公式：
[0061]
[0062] (3)根据底部阴影在矩形框中的位置，只对矩形框底部1/4进行处理，计算时W矩 形框下边线为基准从左到右扫描进行长度滤波。如式当线段长度Lo满足条件Lo含ks · Wr时 线段有效标志Fs=l，保留此线段，否则去除。滤波结果如图7(d)所示；
[0063]
[0064] (4)抽取上步中最上层边缘作为II，如图7(e)所示。
[00化]7.车道线检测
[0066] 车道线检测依据W下步骤完成：
[0067] (1)根据相机成像范围，取图像底部1/^2作为车道线感兴趣区域；
[0068] (2)利用3 X 3高斯滤波对截取后的图像去噪，如图8 (a)所示；
[0069] (3)利用双阔值法对图像二值化。依据0TSU方法中求取阔值的操作得到初步分割 阔值Si。基于Si对图像进行第一次二值化，并对二值化后的白色区域利用相同的操作得到二 次阔值S2，利用S2对图像二值化，如图8 (b)所示；
[0070] (4)为进一步消除干扰，利用车道线宽度对二值化图像滤波，如图8(c)所示；
[0071] (5)为填充细小空桐及平滑边界，利用闭运算对图像进行处理，如图8(d)所示；
[0072] (6)利用抽样扫描法进行车道线特征提取。由于算法原理相同，只叙述左侧车道线 检测过程。
[007；3] yi = NZmin+i · INT[(NZmax-NZMIN)/(SN-l)]
[0074] 丫 = I a 1:an ki-a tan k2
[0075] 丫 <Tang
[0076] 式中yi为抽样扫描纵坐标，（NZmin，NZmax)为左半图像非零像素行纵坐标范围，INT 表示取整，SN 为(NZmin，NZmax)抽样数，i = l，2. . .SN。
[0077] 对yi所在行从右到左进行扫描，如图8(e)所示。取白色线段中点pi(Xi，y〇 (如图8 (f)所示)为候选车道线特征点。找出所有候选特征点，取纵坐标临近Ξ个点如Pi-l，Pi，pw， 记Pi-i，Pi斜率为ki，pi，pi+i的斜率为k2,按式丫 = |a化η lu-a tan ksl求得两直线夹角丫。 当丫与阔值角度Tanc满足式丫 <Tanc则Ξ点为车道特征点。对车道特征点进行最小二乘拟合 建立车道线方程。
[0078] 8.前方车辆测距
[0079] 采用基于位置信息的前方车辆测距方法测量前车到当前车辆的距离。针孔几何成 像模型如图9所示，从图中几何关系可求得本车与前方车辆的距离D
[0080]
[0081 ]式中Heam为相机距离地面高度(单位米），Feam为相机的焦距(单位像素），目为相机与 水平方向的俯仰角，yb为轮胎与地面的交线纵坐标(单位像素），yh为车道消失线纵坐标(单 位像素）。
[0082] 当目较小时（如目取10°，出am取1.2m时，出am ·化η目取值为0.2m)，车距公式可简化为
[0083]
[0084] 因此在获得离线参数Hcam、Fcam的情况下，只需求得轮胎与地面的交线及车道消失 线即可求得车辆距离。
[0085]本发明提出一种基于单目视觉的前方车辆检测与测距方法，该方法提出将机器视 觉与先验知识相结合，准确有效的检测出不同天气情况下的车辆，同时还能准确测量车距， 解决了单一利用基于先验知识的方法对光照敏感的问题W及基于机器视觉的方法产生过 多误检的问题，满足智能车辆控制的实时性要求。
【主权项】
1. 一种基于单目视觉的前方车辆检测与测距方法，包括下列步骤： (1) 利用车载摄像机采集视频图像并进行灰度化； (2) 根据相机成像范围提取感兴趣区域并进行直方图均衡化； (3) 车辆分类器训练捕捉不同尺度的结构信息； (4) 用训练完的车辆分类器初检实验视频； (5) 基于水平边缘信息和灰度信息相结合的先验知识去除初检中的误检； (6) 利用车辆底部阴影定位轮胎与地面交线准确获得车辆位置； (7) 利用抽样扫描法进行车道线特征提取根据最小二乘拟合得到车道线方程获得车道 消失点； (8) 根据车辆位置与车道线消失点检测结果作为先验信息进行车辆测距。2. 根据权利要求1所述的前方车辆检测与测距方法，其特征在于，步骤(3)中使用LBP的 改进形式MB-LBP捕捉不同尺度的结构信息使测量稳定，中心子区域g c的MB-LBP特征为其中gl、g。为相应子区域的灰度均值，子区域大小为mXn(像素）； 利用Adaboost级联分类器算法对归一化的正样本和非尺度归一化的负样本的MB-LBP 特征向量进行分类学习，选择每阶段的最优弱分类器并级联成最终的强分类器。3. 根据权利要求1所述的前方车辆检测与测距方法，其特征在于，步骤(5)中对初检结 果进行Canny边缘检测统计矩形框内车辆水平边缘信息排除伪目标，矩形框内满足条件的 水平边缘数N其中L为水平边缘长度，Ki为比例系数，Wr为矩形框R的宽度；其中(Nmin，Nmax)为N的取值范围，Fo为是否误检的标志，当矩形框内水平边缘数满足域值 条件时，Fo = O保留矩形框。4. 根据权利要求1所述的前方车辆检测与测距方法，其特征在于，步骤(5)中利用车辆 轮胎与其邻域的灰度值关系进一步消除误检，对初检矩形框按比例1^(0<1^<1)截取一部 分得到轮胎所在区域，统计其灰度信息：Tl、T2分别表不左轮和右轮的区域，Ni、N2分别是截取的两轮胎外侧与Tl、T2同样大小的 矩形框，B为与胴宽、与高的矩形框，Gt为轮胎灰度均值，GNi、GN2、G Ti、Gl2、Gb为 相应矩形框灰度均值；F1S矩形框R是否误检的标志，·为Gt大于G*中任意两个元素，当F1 = I去除 矩形框。5. 根据权利要求1所述的前方车辆检测与测距方法，其特征在于，步骤(6)中在车辆初 检的基础上利用Sobel水平边缘检测获得灰度渐变区域，利用孔洞填充算子去除孤立噪声 点和细小片段并对孔洞进行填充，算子计算公式：mo~IM为孔洞填充算子中的值； 以矩形框底部1/4的下边线为基准从左到右进行长度滤波，当线段长度Lo满足LQ2 ks · Wr时线段有效标志Fs = I，保留此线段并以该线段最上层边缘作为轮胎与地面交线L·。6. 根据权利要求1所述的前方车辆检测与测距方法，其特征在于，步骤(7)中以图像底 部1/2作为车道线感兴趣区域，依据OTSU方法使用双阈值对图像二值化，再依据车道宽度滤 波二值化图像，利用抽样扫描法进行车道线特征提取， yi = NZmin+i · INT[(NZmax-NZmin)/(SN-I)] y - I ￡i t￡Uik2 γ <Tang yi为抽样扫描纵坐标，（NZmin，NZmax)为左半图像非零像素行纵坐标范围，INT表示取整， SN为(NZmin，NZmax)抽样数，1 = 1，2...31?心1#)为车道线段中点办-1、？1+1为?1邻近两点， 匕为口^^所在直线的斜率山为口^^所在直线的斜率^为两条直线的夹角^/^为阈值 角度;对满足γ <TANC的特征点用最小二乘拟合建立车道线方程，获得车道线位置确定车道 消失点。7. 根据权利要求1所述的前方车辆检测与测距方法，其特征在于，步骤(8)中采用基于 车辆位置与车道线检测结果的位置信息测量前车到当前车辆的距离，距离D:Hcam为相机距离地面高度(单位米），Fcam为相机的焦距(单位像素），θ为相机与水平方向 的俯仰角，yb为轮胎与地面的交线纵坐标(单位像素），yh为车道消失线纵坐标(单位像素）； 当Θ小于10°，Hcam取1.2m时，Hcam · tan9取值小于0.2m，距离D公式简化为：在获得离线参数情况下，依据轮胎与地面的交线及车道消失线即可得到车 辆距离。
【专利摘要】本发明属于智能交通技术领域，涉及一种基于单目视觉的前方车辆检测与测距方法，其实现过程是：(1)将车载摄像机采集的视频图像转换为灰度图像，(2)根据相机成像范围选择感兴趣区域进行直方图均衡化，(3)对均衡后的图像用分类器初检得到包含车辆信息的矩形区域，(4)利用先验知识对初检结果进行验证以去除误检，(5)利用车辆底部阴影计算轮胎与地面的交线获得车辆的准确位置，(6)将车辆位置与车道线检测结果作为先验信息进行车辆测距。本发明解决了单一利用基于先验知识的方法对光照敏感以及基于机器视觉的方法产生过多误检的问题，能够准确有效地检测出车辆且车距测量准确，可以满足智能车辆控制的实时性要求。
【IPC分类】G06K9/62, G06K9/00, G01C3/00
【公开号】CN105488454
【申请号】CN201510784048
【发明人】耿磊, 李文杰, 肖志涛, 吴骏, 张芳, 李月龙, 邱玲
【申请人】天津工业大学
【公开日】2016年4月13日
【申请日】2015年11月17日
【技术领域】
[0001] 本发明设及一种基于单目视觉的前方车辆检测与测距方法，该方法提出了机器视 觉与先验知识相结合的方法进行车辆检测，属于图像处理和机器视觉领域，可应用于准确 有效的检测出不同天气情况下的车辆并准确测量车距。
【背景技术】
[0002] 道路交通事故给人民生命财产和国民经济带来了巨大损失，及时检测当前车辆前 方的物体并做出预警具有非常重要的意义，而车辆检测是前方物体检测中至关重要的一部 分。此外，准确测量当前车辆和前车之间的距离对于行车安全意义重大。
[0003] 在视觉车辆检测方面，主要有四类方法:基于先验知识的方法;基于模板匹配的方 法;基于光流场的方法;基于机器学习的方法。运些方法的局限性主要表现为:对光照敏感， 光线的变化很有可能导致无法检测到车辆；当模板个数增加时实时性会受很大影响，并且 无法建立一个对所有车辆都适用的通用模板;实时性差；训练分类器时收集的样本对检测 效果影响较大。
[0004] 在单目视觉车辆测距方面，主要有Ξ类方法:基于成像模型的方法;基于几何关系 的推导方法;基于数学回归建模测距的方法。运些方法主要受车辆实际宽度、精确测量相机 视野角与俯仰角、前期数据采集分析并计算数学模型的影响。
[0005] 为了解决当前车辆检测和测距中存在的对光线敏感、需要精确测量相机俯仰角的 问题，本文提出一种基于单目视觉的前方车辆检测与测距方法，将机器视觉与先验知识相 结合进行车辆检测，在提出车辆底部阴影长度滤波方法对初检结果准确定位获得车辆准确 位置的基础上，利用位置信息的成像模型方法测量车距，试验表明本方法能准确有效的检 测出不同天气情况下的车辆并准确测量车距，满足实时性要求。
【发明内容】
[0006] 本发明的目的是克服现有技术的上述不足，提出了一种基于单目视觉的前方车辆 检测与测距方法，该方法能够准确有效地检测出不同天气情况下的车辆，同时还能准确测 量车距。为此，本发明采用如下的技术方案：
[0007] 1.获取视频图像并进行灰度化；
[0008] 2.提取感兴趣区域并进行直方图均衡化；
[0009] 3.车辆分类器训练，Adaboost级联分类器算法对样本的MB-LBP特征向量进行分类 学习，选择每阶段的最优弱分类器并级联成最终的强分类器；
[0010] 4.用训练完的车辆分类器初检实验视频；
[0011] 5.基于水平边缘与灰度信息结合去除初检中的误检；
[0012] 6.采用孔桐填充去除孤立噪声点和细小片段，利用长度滤波检测车辆底部阴影定 位轮胎与地面交线；
[0013] 7.采用双阔值法对图像进行二值化并依据车道线宽度滤波，采用抽样扫描法提取 车道线特征并用最小二乘拟合建立车道线方程获得车道线位置确定车道消失点；
[0014] 8.采用基于位置信息的前方车辆测距方法测量前车到当前车辆的距离。
[0015] 本发明具有如下的技术效果：
[0016] 1.方法简单，易于实施。本发明利用机器视觉与先验知识相结合的算法，采用 Adaboost级联分类器算法对样本的MB-LBP特征向量进行分类学习，计算速度提高，且不需 要高精度的仪器设备，方法简单实用。
[0017] 2.准确性高。本发明在检测过程中，采用水平边缘结合灰度信息验证初检结果去 除误检，提高了检测精度。
[0018] 3.对不同天气情况下能够满足视觉车辆检测、测距与实时性要求。
【附图说明】
[0019] 图1:本发明总体方案流程图。
[0020] 图2:MB-LBP算子图。利用MB-LBP算子可W捕捉不同尺度的结构信息，使测量更加 稳定，可通过积分图进行计算，提高计算速度。
[0021] 图3:正样本示例图。对正样本手动截取不同角度的后视车辆，尽量保持图像下边 缘为轮胎与地面的交点，归一化的正样本尺寸为24 X 24单位像素。
[0022] 图4:车辆初检结果图。
[0023] 图5:基于先验知识各阶段检测结果图。图（a)为水平边缘信息图，图（b)为灰度信 息图，图（c)-(e)为判别结果图。如图（a)所示，车辆具有丰富的水平边缘，而伪目标没有或 者具有很少的水平边缘，基于化nny边缘检测，统计水平边缘信息，排除为目标;如图（b)所 示，根据车辆轮胎与其邻近区域的灰度值关系进一步排除为目标。
[0024] 图6:孔桐填充算子图。
[0025] 图7:底部阴影各阶段检测结果图。图（a)为原始车辆图，图（b)为Sobel边缘图，图 (C)为孔桐填充图，图（d)为长度滤波图，图（e)为最终交线图。如图（b)所示利用3X3 Sobel 水平边缘检测获得灰度渐变区域;如图（C)依据孔桐填充去除孤立噪声点和细小片段并对 孔桐进行填充;如图（d)所示根据底部阴影在矩形框中的位置对矩形框底部1/4进行处理并 W矩形框下边线为基准进行长度滤波;如图（e)所示W长度滤波后线段的最上层边缘作为 轮胎与地面的交线。
[0026] 图8:车道线检测图。图（a)为高斯滤波图，图（b)为二次阔值分割图，图（C)为宽度 滤波图，图（d)为形态学滤波图，图（e)为左右车道线扫描示意图，图（f)为特征点坐标图。如 图（a)所示截取图像底部1/2进行3 X 3高斯滤波;如图（b)所示依据0TSU方法中求取阔值的 操作得到初步分割阔值Si，基于Si对图像进行第一次二值化，并对二值化后的白色区域利用 相同的操作得到二次阔值S2,利用S2对图像二值化;如图（C)所示依据车道线宽度对二值化 图像滤波进一步消除干扰;如图（d)所示利用闭运算对图像进行处理W填充细小孔桐及平 滑边界;如图（e)所示对车道线进行抽样扫描提取特征点便于建立车道线方程确定车道线 位置及车道线消失点。
[0027] 图9:车辆测距模型图。如图所示当相机与水平方向的俯仰角较小时，在获取离线 参数Fcam、出am的情况下，根据轮胎与地面的交线及车道消失线即可求得车辆距离。
[0028] 图10:车辆检测结果图。图（a)为晴天-早晨工业相机视频检测与测距图，图（b)为 晴天-中午工业相机视频检测与测距图，图（c)为晴天-上午工业相机视频检测与测距图，图 (d)为阴天-上午工业相机视频检测与测距图，图（e)为阴天-中午工业相机视频检测与测距 图，图（f)为阴天-傍晚工业相机视频检测与测距图，图（g)为阴天行车记录仪视频检测图， 图化)为轻度雾靈行车记录仪视频检测图，图（i)为小雨行车记录仪视频检测图。
【具体实施方式】
[0029] 本发明的流程图如图1所示，首先将车载摄像机采集的视频图像转换为灰度图像， 然后根据相机成像范围选择感兴趣区域进行直方图均衡化，再对均衡后的图像用分类器初 检得到包含车辆信息的矩形区域并利用先验知识对初检结果进行验证W去除误检，最后利 用车辆底部阴影计算轮胎与地面的交线获得车辆的准确位置同时将车辆位置与车道线检 测结果作为先验信息进行车辆测距。下面结合附图，对本发明技术方案的具体实施过程加 W说明。
[0030] 1.获取图像并进行灰度化
[0031] 成像系统为MVC1000MS型CMOS黑白工业相机和行车记录仪。其中相机的分辨率设 为640X480,帖率为25fps。相机标定结果为，相机水平和垂直方向等效焦距(单位像素）为 (1686，1690 )，主点坐标(单位像素)为(320，240)。相机安装在车辆内部前挡风玻璃后视镜 下方，距离地面高度为1.2m。视频采集于城郊快速路和高速公路。为进一步验证车辆检测算 法的准确性，对CMOS型普通彩色行车记录仪(分辨率为848X480)采集的城市道路视频进行 验证。系统检测结果如图10所示。
[0032] 2.提取感兴趣区域并对其进行直方图均衡
[0033] 截取感兴趣区域，W去除天空、远方道路、部分道路标识牌等干扰信息，对感兴趣 区域进行直方图均衡化提高图像对比度。
[0034] 3.车辆分类器训练
[0035] 利用Adaboost级联分类器算法对样本的MB-LBP特征向量进行分类学习，选择每阶 段的最优弱分类器并级联成最终的强分类器。MB-LBP算子中屯、子区域特征为
[0036]
[0037] 其中.
，gc为相应子区域的灰度均值，子区域大小为mXn(像素）。 MB-LBP算子如图2所示。
[0038] 在选取正样本时，手动截取不同角度的后视车辆。为了测距需要，正样本截取时尽 量保持图像下边缘为轮胎与地面的交点，如图3所示。负样本为不包含车辆但与车辆行驶环 境相关的场景，如道路、绿化带、行人、建筑物等。为了缩短分类器的训练时间，提高检测的 实时性与准确性，样本均为灰度图像，归一化的正样本尺寸为24 X 24单位像素，非尺度归 一化的负样本尺寸从100 X 100到752 X 480像素不等。
[0039] 4.训练后的分类器初检实验视频
[0040] 为提高检测速度，缩小原图像尺寸，缩放比例为1/2,同时截取图像底部2Λ的部分 W消除天空，远方道路，道路标识牌的干扰。初检结果如图4所示。
[0041 ] 5.水平边缘结合灰度信息验证初检结果
[0042] (1)水平边缘
[0043] 对初检中出现误检的情况，发现伪目标多集中在路面和绿化带区域。分析车辆和 伪目标的边缘图像可知，车辆具有丰富的水平边缘，而伪目标没有或者具有很少的水平边 缘。据此对初检结果进行化nny边缘检测，统计矩形框内的水平边缘信息，W排除伪目标。统 计初检结果矩形框R内满足条件的水平边缘数N
[0044]
[0045] 式中L为水平边缘长度，ki为比例系数，Wr为R的宽度。根据该式判断区域R是否为误 检目标。
[0046]
[0047] 式中(Νμιν,Νμαχ)为N的取值范围，Fo为是否误检的标志。
[004引当R内水平边缘数脚馬足域值条件时，Fo = 0保留此矩形框，否则为误检则去除。
[0049] (2)灰度信息
[0050] 为进一步消除误检，可利用车辆轮胎与其邻近区域的灰度值关系进行判别。对初 检矩形框R按比例kg(0<kg<l)截取其中的一部分即可得到轮胎所在的区域，WTi、T2 分别 表示左轮和右轮的区域;截取两轮胎外侧与Τι、Τ2同样大小的矩形框化、化；构建与区域R同 宽、与Τι、Τ2等高的矩形框Β，如图5(b)所示。统计下列区域灰度信息
[0化1 ]
[0052]式中Gt为轮胎灰度均值，Gni、Gn,、馬、Gt,、Gb、Gb为相应矩形框的灰度均值。根 据该式进一步排除伪目标。
[0化3]
[0054] Fi为R是否误检的标志，Gr > 为Gt大于G冲任意两个元素。
[0055] 当Fi = l去除此矩形框，否则保留。得益于正样本的选取规则，在Τι、Τ2内引入的非 轮胎区域的比例低于0.3，因此即使轮胎压在车道线上也能准确判别。
[0056] 结合水平边缘和灰度信息对初检结果进行验证，结果如图5(c)-(e)所示。从图可 知，上述先验知识相结合能够有效去除误检，提局检测精度。
[0057] 6.车辆底部阴影检测
[0058] 轮胎与地面的交线II是影响测距准确性的重要因素。对判别后的结果进行车辆底 部阴影检测来定位II。计算方法为：
[0059] (1)为了得到灰度渐变区域，对车辆（如图7(a)所示）进行3 X3Sobel水平边缘检 巧。，检测结果如图7(b)所示；
[0060] (2)利用孔桐填充算子(如图6所示)去除孤立噪声点和细小线段，并对孔桐进行填 充。算子计算公式：
[0061]
[0062] (3)根据底部阴影在矩形框中的位置，只对矩形框底部1/4进行处理，计算时W矩 形框下边线为基准从左到右扫描进行长度滤波。如式当线段长度Lo满足条件Lo含ks · Wr时 线段有效标志Fs=l，保留此线段，否则去除。滤波结果如图7(d)所示；
[0063]
[0064] (4)抽取上步中最上层边缘作为II，如图7(e)所示。
[00化]7.车道线检测
[0066] 车道线检测依据W下步骤完成：
[0067] (1)根据相机成像范围，取图像底部1/^2作为车道线感兴趣区域；
[0068] (2)利用3 X 3高斯滤波对截取后的图像去噪，如图8 (a)所示；
[0069] (3)利用双阔值法对图像二值化。依据0TSU方法中求取阔值的操作得到初步分割 阔值Si。基于Si对图像进行第一次二值化，并对二值化后的白色区域利用相同的操作得到二 次阔值S2，利用S2对图像二值化，如图8 (b)所示；
[0070] (4)为进一步消除干扰，利用车道线宽度对二值化图像滤波，如图8(c)所示；
[0071] (5)为填充细小空桐及平滑边界，利用闭运算对图像进行处理，如图8(d)所示；
[0072] (6)利用抽样扫描法进行车道线特征提取。由于算法原理相同，只叙述左侧车道线 检测过程。
[007；3] yi = NZmin+i · INT[(NZmax-NZMIN)/(SN-l)]
[0074] 丫 = I a 1:an ki-a tan k2
[0075] 丫 <Tang
[0076] 式中yi为抽样扫描纵坐标，（NZmin，NZmax)为左半图像非零像素行纵坐标范围，INT 表示取整，SN 为(NZmin，NZmax)抽样数，i = l，2. . .SN。
[0077] 对yi所在行从右到左进行扫描，如图8(e)所示。取白色线段中点pi(Xi，y〇 (如图8 (f)所示)为候选车道线特征点。找出所有候选特征点，取纵坐标临近Ξ个点如Pi-l，Pi，pw， 记Pi-i，Pi斜率为ki，pi，pi+i的斜率为k2,按式丫 = |a化η lu-a tan ksl求得两直线夹角丫。 当丫与阔值角度Tanc满足式丫 <Tanc则Ξ点为车道特征点。对车道特征点进行最小二乘拟合 建立车道线方程。
[0078] 8.前方车辆测距
[0079] 采用基于位置信息的前方车辆测距方法测量前车到当前车辆的距离。针孔几何成 像模型如图9所示，从图中几何关系可求得本车与前方车辆的距离D
[0080]
[0081 ]式中Heam为相机距离地面高度(单位米），Feam为相机的焦距(单位像素），目为相机与 水平方向的俯仰角，yb为轮胎与地面的交线纵坐标(单位像素），yh为车道消失线纵坐标(单 位像素）。
[0082] 当目较小时（如目取10°，出am取1.2m时，出am ·化η目取值为0.2m)，车距公式可简化为
[0083]
[0084] 因此在获得离线参数Hcam、Fcam的情况下，只需求得轮胎与地面的交线及车道消失 线即可求得车辆距离。
[0085]本发明提出一种基于单目视觉的前方车辆检测与测距方法，该方法提出将机器视 觉与先验知识相结合，准确有效的检测出不同天气情况下的车辆，同时还能准确测量车距， 解决了单一利用基于先验知识的方法对光照敏感的问题W及基于机器视觉的方法产生过 多误检的问题，满足智能车辆控制的实时性要求。
【主权项】
1. 一种基于单目视觉的前方车辆检测与测距方法，包括下列步骤： (1) 利用车载摄像机采集视频图像并进行灰度化； (2) 根据相机成像范围提取感兴趣区域并进行直方图均衡化； (3) 车辆分类器训练捕捉不同尺度的结构信息； (4) 用训练完的车辆分类器初检实验视频； (5) 基于水平边缘信息和灰度信息相结合的先验知识去除初检中的误检； (6) 利用车辆底部阴影定位轮胎与地面交线准确获得车辆位置； (7) 利用抽样扫描法进行车道线特征提取根据最小二乘拟合得到车道线方程获得车道 消失点； (8) 根据车辆位置与车道线消失点检测结果作为先验信息进行车辆测距。2. 根据权利要求1所述的前方车辆检测与测距方法，其特征在于，步骤(3)中使用LBP的 改进形式MB-LBP捕捉不同尺度的结构信息使测量稳定，中心子区域g c的MB-LBP特征为其中gl、g。为相应子区域的灰度均值，子区域大小为mXn(像素）； 利用Adaboost级联分类器算法对归一化的正样本和非尺度归一化的负样本的MB-LBP 特征向量进行分类学习，选择每阶段的最优弱分类器并级联成最终的强分类器。3. 根据权利要求1所述的前方车辆检测与测距方法，其特征在于，步骤(5)中对初检结 果进行Canny边缘检测统计矩形框内车辆水平边缘信息排除伪目标，矩形框内满足条件的 水平边缘数N其中L为水平边缘长度，Ki为比例系数，Wr为矩形框R的宽度；其中(Nmin，Nmax)为N的取值范围，Fo为是否误检的标志，当矩形框内水平边缘数满足域值 条件时，Fo = O保留矩形框。4. 根据权利要求1所述的前方车辆检测与测距方法，其特征在于，步骤(5)中利用车辆 轮胎与其邻域的灰度值关系进一步消除误检，对初检矩形框按比例1^(0<1^<1)截取一部 分得到轮胎所在区域，统计其灰度信息：Tl、T2分别表不左轮和右轮的区域，Ni、N2分别是截取的两轮胎外侧与Tl、T2同样大小的 矩形框，B为与胴宽、与高的矩形框，Gt为轮胎灰度均值，GNi、GN2、G Ti、Gl2、Gb为 相应矩形框灰度均值；F1S矩形框R是否误检的标志，·为Gt大于G*中任意两个元素，当F1 = I去除 矩形框。5. 根据权利要求1所述的前方车辆检测与测距方法，其特征在于，步骤(6)中在车辆初 检的基础上利用Sobel水平边缘检测获得灰度渐变区域，利用孔洞填充算子去除孤立噪声 点和细小片段并对孔洞进行填充，算子计算公式：mo~IM为孔洞填充算子中的值； 以矩形框底部1/4的下边线为基准从左到右进行长度滤波，当线段长度Lo满足LQ2 ks · Wr时线段有效标志Fs = I，保留此线段并以该线段最上层边缘作为轮胎与地面交线L·。6. 根据权利要求1所述的前方车辆检测与测距方法，其特征在于，步骤(7)中以图像底 部1/2作为车道线感兴趣区域，依据OTSU方法使用双阈值对图像二值化，再依据车道宽度滤 波二值化图像，利用抽样扫描法进行车道线特征提取， yi = NZmin+i · INT[(NZmax-NZmin)/(SN-I)] y - I ￡i t￡Uik2 γ <Tang yi为抽样扫描纵坐标，（NZmin，NZmax)为左半图像非零像素行纵坐标范围，INT表示取整， SN为(NZmin，NZmax)抽样数，1 = 1，2...31?心1#)为车道线段中点办-1、？1+1为?1邻近两点， 匕为口^^所在直线的斜率山为口^^所在直线的斜率^为两条直线的夹角^/^为阈值 角度;对满足γ <TANC的特征点用最小二乘拟合建立车道线方程，获得车道线位置确定车道 消失点。7. 根据权利要求1所述的前方车辆检测与测距方法，其特征在于，步骤(8)中采用基于 车辆位置与车道线检测结果的位置信息测量前车到当前车辆的距离，距离D:Hcam为相机距离地面高度(单位米），Fcam为相机的焦距(单位像素），θ为相机与水平方向 的俯仰角，yb为轮胎与地面的交线纵坐标(单位像素），yh为车道消失线纵坐标(单位像素）； 当Θ小于10°，Hcam取1.2m时，Hcam · tan9取值小于0.2m，距离D公式简化为：在获得离线参数情况下，依据轮胎与地面的交线及车道消失线即可得到车 辆距离。
【专利摘要】本发明属于智能交通技术领域，涉及一种基于单目视觉的前方车辆检测与测距方法，其实现过程是：(1)将车载摄像机采集的视频图像转换为灰度图像，(2)根据相机成像范围选择感兴趣区域进行直方图均衡化，(3)对均衡后的图像用分类器初检得到包含车辆信息的矩形区域，(4)利用先验知识对初检结果进行验证以去除误检，(5)利用车辆底部阴影计算轮胎与地面的交线获得车辆的准确位置，(6)将车辆位置与车道线检测结果作为先验信息进行车辆测距。本发明解决了单一利用基于先验知识的方法对光照敏感以及基于机器视觉的方法产生过多误检的问题，能够准确有效地检测出车辆且车距测量准确，可以满足智能车辆控制的实时性要求。
【IPC分类】G06K9/62, G06K9/00, G01C3/00
【公开号】CN105488454
【申请号】CN201510784048
【发明人】耿磊, 李文杰, 肖志涛, 吴骏, 张芳, 李月龙, 邱玲
【申请人】天津工业大学
【公开日】2016年4月13日
【申请日】2015年11月17日
最新回复(0)