车载3d道路实时重构方法及装置的制造方法
车载3d道路实时重构方法及装置的制造方法
【专利说明】车载3D道路实时重构方法及装置
[0001 ] 技术邻域
[0002] 本发明实施例设及图像处理技术领域，尤其设及一种车载3D道路实时重构方法及 装置。
【背景技术】
[0003] 随着汽车制造业的发展，汽车已经成为人们日常生活中不可或缺的交通工具。
[0004] 现有技术中，智能辅助驾驶系统及自动驾驶加速发展，通过机器视觉技术去获取 前方道路信息正变的越来越普遍，然而传统的基于二维图像的道路识别、车道检测等技术， W及传感器成像机理的原因，使道路信息很容易受到颜色、纹理、光照强度等因素的影响， 降低了道路信息的计算精度，不能为驾驶员提供精确、实时、可靠的前方路面信息。
【发明内容】
[0005] 本发明实施例提供一种车载3D道路实时重构方法及装置，W便为驾驶员提供精 确、实时、可靠的前方路面信息。
[0006] 本发明实施例的一个方面是提供一种车载3D道路实时重构方法，包括：
[0007] 在两个相邻采样时刻分别获取目标道路的第一深度图像Μκ-1和第二深度图像Μκ; [000引将所述第一深度图像Μκ-1和所述第二深度图像Μκ分别经过透视投影变换获得第一 点云数据集合Νκ-1和第二点云数据集合化；
[0009] 依据所述第一点云数据集合Νκ-1获得第一目标点云数据集合Ν'κ-1，并依据所述第 二点云数据集合化获得第二目标点云数据集合Ν ' Κ;
[0010] 计算所述第一目标点云数据集合Ν'κ-1中每个点对应的第一PFH特征直方图，W及 所述第二目标点云数据集合Ν'κ中每个点对应的第二PFH特征直方图；
[0011] 若所述第一 PFH特征直方图和所述第二PFH特征直方图匹配，则与所述第一 PFH特 征直方图对应的点为第一匹配特征点，与所述第二PFH特征直方图对应的点为第二匹配特 征点，将所有所述第一匹配特征点构成第一集合Q'K-l，将所有所述第二匹配特征点构成第 二集合Q'K;
[0012] 依据ICP算法处理所述第一集合Q'K-i和所述第二集合Q'K获得旋转矩阵R和平移矩 阵T，且Q'K=R*Q'K-i+T;
[0013] 依据所述旋转矩阵R和所述平移矩阵T将第一点云数据集合化-1和第二点云数据集 合化归一到同一个坐标系获得重构模型；
[0014] 将所述重构模型作为模式识别算法的输入数据，依据所述模式识别算法对所述重 构模型进行模式识别，W使所述模式识别算法输出所述目标道路对应的路面信息。
[0015] 本发明实施例的另一个方面是提供一种车载3D道路实时重构装置，包括：
[0016] 采样模块，用于在两个相邻采样时刻分别获取目标道路的第一深度图像Μκ-1和第 二深度图像Μκ;
[0017] 投影模块，用于将所述第一深度图像Μκ-1和所述第二深度图像Μκ分别经过透视投 影变换获得第一点云数据集合Νκ-1和第二点云数据集合Νκ;
[0018]去噪模块，用于依据所述第一点云数据集合Νκ-1获得第一目标点云数据集合Ν'κ-1， 并依据所述第二点云数据集合Νκ获得第二目标点云数据集合Ν'κ;
[0019]直方图计算模块，用于计算所述第一目标点云数据集合Ν'κ-冲每个点对应的第一 PFH特征直方图，W及所述第二目标点云数据集合Ν'κ中每个点对应的第二PFH特征直方图；
[0020] 匹配模块，用于若所述第一 PFH特征直方图和所述第二PFH特征直方图匹配，则与 所述第一PFH特征直方图对应的点为第一匹配特征点，与所述第二PFH特征直方图对应的点 为第二匹配特征点，将所有所述第一匹配特征点构成第一集合Q'K-l，将所有所述第二匹配 特征点构成第二集合Q'K;
[0021] ICP处理模块，用于依据ICP算法处理所述第一集合Q ' K-1和所述第二集合Q ' K获得 旋转矩阵R和平移矩阵T，且Q ' κ=R*Q ' K-1巧；
[0022] 归一模块，用于依据所述旋转矩阵R和所述平移矩阵T将第一点云数据集合Νκ-1和 第二点云数据集合Νκ归一到同一个坐标系获得重构模型;将所述重构模型作为模式识别算 法的输入数据，依据所述模式识别算法对所述重构模型进行模式识别，W使所述模式识别 算法输出所述目标道路对应的路面信息。
[0023] 本发明实施例提供的车载3D道路实时重构方法及装置，通过将二维深度图像转换 为Ξ维的点云数据集合，获取点云数据集合中每个点对应的PFH特征直方图，通过PFH特征 直方图匹配寻找相邻两个时刻点云数据集合的匹配特征点对，对匹配特征点对实施ICP算 法，求取相邻两个时刻点云数据集合的旋转平移矩阵，依据旋转平移矩阵将两个点云数据 集合归一到同一坐标系，实现了点云数据集合的融合，得到重构模型，避免路信息受到颜 色、纹理、光照强度等因素的影响，提高了道路信息的计算精度，为驾驶员提供精确、实时、 可靠的前方路面信息。
【附图说明】
[0024] 图1为本发明实施例提供的车载3D道路实时重构方法流程图；
[0025] 图2为本发明实施例提供的目标点云数据集合中任意一点的邻域点的示意图；
[0026] 图3为本发明实施例提供的目标点云数据集合中任意一点的坐标示意图；
[0027] 图4为本发明实施例提供的PFH特征直方图的示意图；
[0028] 图5为本发明实施例提供的主从计算方法适用的结构图；
[0029] 图6为本发明实施例提供的车载3D道路实时重构装置的结构图。
【具体实施方式】
[0030] 图1为本发明实施例提供的车载3D道路实时重构方法流程图；图2为本发明实施例 提供的目标点云数据集合中任意一点的邻域点的示意图。本发明实施例针对传统的基于二 维图像的道路识别、车道检测等技术，W及传感器成像机理的原因，使道路信息很容易受到 颜色、纹理、光照强度等因素的影响，降低了道路信息的计算精度，不能为驾驶员提供精确、 实时、可靠的前方路面信息，提供了车载3D道路实时重构方法，该方法的具体步骤如下：
[0031] 步骤S101、在两个相邻采样时刻分别获取目标道路的第一深度图像Μκ-1和第二深 度图像Μκ;
[0032] 本发明实施例通过安装在车辆前部的TOF成像设备获取前方道路场景的深度图 像，且T0F成像设备具体可W为3D成像传感器，3D成像传感器W较高的采用频率获取前方道 路场景的深度图像，例如，在K-1时刻，3D成像传感器对前方道路场景进行一次扫描获得第 一深度图像Μκ-1，在K时刻，3D成像传感器对前方道路场景进行一次扫描获得第二深度图像 Μκ。
[0033] 步骤S102、将所述第一深度图像Μκ-1和所述第二深度图像Μκ分别经过透视投影变 换获得第一点云数据集合Νκ-1和第二点云数据集合Νκ;
[0034] 所述将所述第一深度图像Μκ-1和所述第二深度图像Μκ分别经过透视投影变换获得 第一点云数据集合Νκ-1和第二点云数据集合Νκ，包括:获取深度图像到点云数据集合的变换 矩阵F;依据所述变换矩阵F和所述第一深度图像Μκ-1计算所述第一点云数据集合Nk-i = F* Μκ-1，依据所述变换矩阵F和所述第二深度图像Μκ计算所述第二点云数据集合Nk = F*Mk。
[0035] 依据3D成像传感器内部标定的参数和外部的位置参数得到深度图像到点云数据 集合的变换矩阵F，计算所述第一点云数据集合Nk-i = F*Mk-i和第二点云数据集合Nk=F*Mk。
[0036] 步骤S103、依据所述第一点云数据集合Νκ-1获 得第一目标点云数据集合Ν'κ-1，并依 据所述第二点云数据集合Νκ获得第二目标点云数据集合Ν ' Κ;
[0037] 对所述第一点云数据集合Νκ-1进行降噪或精简预处理获得所述第一目标点云数据 集合Ν'κ-1;对所述第二点云数据集合Νκ进行降噪或精简预处理获得所述第二目标点云数据 集合Ν'κ。
[0038] 步骤S104、计算所述第一目标点云数据集合Ν'κ-1中每个点对应的第一 PFH特征直 方图，W及所述第二目标点云数据集合Ν'κ中每个点对应的第二PFH特征直方图；
[0039] 如图2所示，点Ρ是第一目标点云数据集合Ν'κ-冲的任意一点，距离该点Ρ预设范围 内有Η个邻域点，Pt是与点Ρ相邻的Η个邻域点中的任意一个点，与点Ρ相连的是其他的邻域 点，依据点Ρ对应的法线ns分别与Η个邻域点中的每一个邻域点对应的法线之间的偏差获得 点Ρ对应的第一PFH特征直方图，同理，第一目标点云数据集合Ν'κ-1中的每一个点都对应一 个第一PFH特征直方图。依据同样的方法可W计算出所述第二目标点云数据集合Ν'κ中每个 点对应的第二PFH特征直方图。
[0040] 步骤S105、若所述第一 PFH特征直方图和所述第二PFH特征直方图匹配，则与所述 第一PFH特征直方图对应的点为第一匹配特征点，与所述第二PFH特征直方图对应的点为第 二匹配特征点，将所有所述第一匹配特征点构成第一集合Q'K-l，将所有所述第二匹配特征 点构成第二集合Q'K;
[0041] 由步骤S104可获得第一目标点云数据集合Ν'κ-1中的每一个点都对应的第一 PFH特 征直方图，W及第二目标点云数据集合Ν'κ中每个点对应的第二PFH特征直方图，若第一目 标点云数据集合Ν'κ-1中的一个点对应的第一 PFH特征直方图和第二目标点云数据集合Ν'κ 中的一个点对应的第二PFH特征直方图相同，则运两个点分别为匹配特征点，第一目标点云 数据集合Ν'κ-1中的匹配特征点构成第一集合Q'K-i，第二目标点云数据集合Ν'κ中的匹配特 征点构成第二集合Q'K。
[0042] 步骤S106、依据ICP算法处理所述第一集合Q'K-i和所述第二集合Q'K获得旋转矩阵 R和平移矩阵T，且Q ' κ=R*Q ' K-1巧；
[0043] 对所述第一集合Q'K-i和所述第二集合Q'K进行ICP算法处理，获得旋转矩阵R和平 移矩阵Τ，且Q'K=R*Q'K-1巧。
[0044] 步骤S107、依据所述旋转矩阵R和所述平移矩阵門尋第一点云数据集合Νκ-1和第二 点云数据集合Νκ归一到同一个坐标系获得重构模型。
[0045] 所述依据所述旋转矩阵R和所述平移矩阵Τ将第一点云数据集合Νκ-1和第二点云数 据集合Νκ归一到同一个坐标系获得重构模型，包括：
[0046] 依据所述旋转矩阵R、所述平移矩阵Τ和所述第一点云数据集合Νκ-1计算第Ξ点云 数据集合N"k=R*Nk-i巧；
[0047] 依据所述第Ξ点云数据集合Ν"κ和所述第二点云数据集合Νκ获得重构模型Ν"κ+Νκ。 [004引步骤S108、将所述重构模型作为模式识别算法的输入数据，依据所述模式识别算 法对所述重构模型进行模式识别，W使所述模式识别算法输出所述目标道路对应的路面信 息。
[0049] 本发明实施例通过将二维深度图像转换为Ξ维的点云数据集合，获取点云数据集 合中每个点对应的PFH特征直方图，通过PFH特征直方图匹配寻找相邻两个时刻点云数据集 合的匹配特征点对，对匹配特征点对实施ICP算法，求取相邻两个时刻点云数据集合的旋转 平移矩阵，依据旋转平移矩阵将两个点云数据集合归一到同一坐标系，实现了点云数据集 合的融合，得到重构模型，避免路信息受到颜色、纹理、光照强度等因素的影响，提高了道路 信息的计算精度，为驾驶员提供精确、实时、可靠的前方路面信息。
[0050] 图3为本发明实施例提供的目标点云数据集合中任意一点的坐标示意图。图4为本 发明实施例提供的PFH特征直方图的示意图。图5为本发明实施例提供的主从计算方法适用 的结构图。在上述实施例的基础上，所述计算所述第一目标点云数据集合Ν'κ-1中每个点对 应的第一PFH特征直方图，包括：
[0051 ]定义所述第一目标点云数据集合Ν'κ-1中任意一点Ρ的坐标系为(u，v，w)，其中，11 = (7)-/)) ns, v-iiX -~^，W = UX V，ns是点P对应的法线，Pt是与点P相邻的Η个邻域点中的任意一 尸一与 个点，且点Ρ对应的法线ns与点Pt对应的法线m之间的偏差表示为(保展巧，其中，a = v*nt， φ. = Β心--，目=arctan(w*nt，u*nt);等间隔划分二维坐标的横坐标获得多个刻度点， d 所述多个刻度点分别对应一组不同的批，口，0)取值;对于所述二维坐标中的每个刻度点统 计所述Η个邻域点中满足预设条件的目标点的个数获得所述第一PFH特征直方图，所述预设 条件为所述目标点对应的法线与点Ρ对应的法线之间的偏差等于所述刻度点对应的 (斯换巧取值。
[0052]对于第一目标点云数据集合Ν'κ-1中的点Ρ，定义其坐标为(u，v，w)，其中，u = ns， iP-P.) V二《x^^^3^，w = uXv，ns是点P对应的法线，Pt是与点P相邻的H个邻域点中的任意一个 点，且点P对应的法线ns与点Pt对应的法线nt之间的偏差表示为(α，與巧，其中，a = v*nt， Ψ二U*也一目=arCtan(w*nt，u*nt)。如此，P对应的法线ns与其相邻的Η个邻域点中的任 d 意一个点对应的法线之间都有一个偏差(化口，巧，同理，第一目标点云数据集合N'K-1中的任 意一个点对应的法线与其相邻的Η个邻域点中的任意一个点对应的法线之间都有一个偏差 (仿，巧(9)。
[0053] 如图4所示，等间隔划分二维坐标的横坐标获得多个刻度点，优选的，本发明实施 例划分为125个刻度点，具体为0-124，每个刻度点对应一组不同的(仿，巧巧取值;对于125个 刻度点的每一个刻度点，统计点Ρ的预设范围内Η个邻域点中满足预设条件的目标点的个 数，该个数作为该刻度点对应的纵坐标，具体的预设条件为目标点的法线与点Ρ对应的法线 之间的偏差等于所述刻度点对应的似，口，所取值，如此获得点Ρ对应的第一 PFH特征直方图， 即所述第一目标点云数据集合Ν'κ-冲每个点都可W用第一PFH特征直方图进行刻画，同理， 可获得所述第二目标点云数据集合Ν'κ中每个点对应的第二PFH特征直方图。
[0054] 在本发明实施例的基础上，为整个系统提供高速并行计算能力与应对复杂逻辑计 算的能力。由于需要处理的点云数据量巨大，如图5所示，本系统采用主从结合的计算方式 实施相关算法，主计算单元由通用CPU担当，用于实现复杂算法逻辑;从计算单元由GPU或者 专用并行计算单元担当，主要用于实现大量重复计算；主计算单元将需要处理的点云集合 划分成若干子集，分发给各个并行的子计算单元，处理完毕后，由主计算单元汇总处理结 果。
[0055] 本发明实施例具体提供了如何计算目标点云数据集合中每个点对应的PFH特征直 方图的方法，另外，通过主从计算方法提高了数据处理的速度。
[0056] 图6为本发明实施例提供的车载3D道路实时重构装置的结构图。本发明实施例提 供的车载3D道路实时重构装置可W执行车载3D道路实时重构方法实施例提供的处理流程， 如图6所示，车载3D道路实时重构装置50包括采样模块51、投影模块52、去噪模块53、直方图 计算模块54、匹配模块55、ICP处理模块56和归一模块57,其中，采样模块51用于在两个相邻 采样时刻分别获取目标道路的第一深度图像Μκ-1和第二深度图像Μκ;投 影模块52用于将所 述第一深度图像Μκ-1和所述第二深度图像Μκ分别经过透视投影变换获得第一点云数据集合 Νκ-1和第二点云数据集合Νκ;去噪模块53用于依据所述第一点云数据集合Νκ-1获得第一目标 点云数据集合Ν'κ-1，并依据所述第二点云数据集合Νκ获得第二目标点云数据集合Ν'κ;直方 图计算模块54用于计算所述第一目标点云数据集合Ν'κ-1中每个点对应的第一 PFH特征直方 图，W及所述第二目标点云数据集合Ν'κ中每个点对应的第二PFH特征直方图；匹配模块55 用于若所述第一 PFH特征直方图和所述第二PFH特征直方图匹配，则与所述第一 PFH特征直 方图对应的点为第一匹配特征点，与所述第二PFH特征直方图对应的点为第二匹配特征点， 将所有所述第一匹配特征点构成第一集合Q'K-l，将所有所述第二匹配特征点构成第二集合 Q 'K; ICP处理模块56用于依据ICP算法处理所述第一集合Q 'K-1和所述第二集合Q 'K获得旋转 矩阵R和平移矩阵T，且Q 'K = R*Q ' K-1+T;归一模块57用于依据所述旋转矩阵R和所述平移矩 阵T将第一点云数据集合Νκ-1和第二点云数据集合Νκ归一到同一个坐标系获得重构模型;将 所述重构模型作为模式识别算法的输入数据，依据所述模式识别算法对所述重构模型进行 模式识别，W使所述模式识别算法输出所述目标道路对应的路面信息。
[0057] 本发明实施例通过将二维深度图像转换为Ξ维的点云数据集合，获取点云数据集 合中每个点对应的PFH特征直方图，通过PFH特征直方图匹配寻找相邻两个时刻点云数据集 合的匹配特征点对，对匹配特征点对实施ICP算法，求取相邻两个时刻点云数据集合的旋转 平移矩阵，依据旋转平移矩阵将两个点云数据集合归一到同一坐标系，实现了点云数据集 合的融合，得到重构模型，避免路信息受到颜色、纹理、光照强度等因素的影响，提高了道路 信息的计算精度，为驾驶员提供精确、实时、可靠的前方路面信息。
[0058] 在上述实施例的基础上，投影模块52具体用于获取深度图像到点云数据集合的变 换矩阵F;依据所述变换矩阵F和所述第一深度图像Μκ-1计算所述第一点云数据集合Nk-i = F* Μκ-1，依据所述变换矩阵F和所述第二深度图像Μκ计算所述第二点云数据集合Nk = F*Mk。
[0059] 去噪模块53具体用于对所述第一点云数据集合Νκ-1进行降噪或精简预处理获得所 述第一目标点云数据集合Ν'κ-1;对所述第二点云数据集合Νκ进行降噪或精简预处理获得所 述第二目标点云数据集合Ν'κ。
[0060] 直方图计算模块54具体用于定义所述第一目标点云数据集合Ν'κ-1中任意一点Ρ的 坐标系为(U，v，w)，其中，u = ns，
'w = uXv，ns是点P对应的法线，Pt是与点P相 邻的Η个邻域点中的任意一个点，且点P对应的法线ns与点Pt对应的法线m之间的偏差表示 为(化巧60，其中，a = v*nt，
：,目=日1^1日]1(>*]11；,11*]11；);等间隔划分二维坐标 的横坐标获得多个刻度点，所述多个刻度点分别对应一组不同的(抹，俱巧取值;对于所述二 维坐标中的每个刻度点统计所述Η个邻域点中满足预设条件的目标点的个数获得所述第一 PFH特征直方图，所述预设条件为所述目标点对应的法线与点Ρ对应的法线之间的偏差等于 所述刻度点对应的似，口，巧取值。
[0061] 归一模块57具体用于依据所述旋转矩阵R、所述平移矩阵Τ和所述第一点云数据集 合Νκ-1计算第Ξ点云数据集合N"k = R*Nk-i+T;依据所述第Ξ点云数据集合Ν"κ和所述第二点 云数据集合Νκ获得重构模型Ν" κ+Γ^。
[0062] 本发明实施例提供的车载3D道路实时重构装置可W具体用于执行上述图1所提供 的方法实施例，具体功能此处不再寶述。
[0063] 本发明实施例具体提供了如何计算目标点云数据集合中每个点对应的PFH特征直 方图的方法，另外，通过主从计算方法提高了数据处理的速度。
[0064] 综上所述，本发明实施例通过将二维深度图像转换为Ξ维的点云数据集合，获取 点云数据集合中每个点对应的PFH特征直方图，通过PFH特征直方图匹配寻找相邻两个时刻 点云数据集合的匹配特征点对，对匹配特征点对实施ICP算法，求取相邻两个时刻点云数据 集合的旋转平移矩阵，依据旋转平移矩阵将两个点云数据集合归一到同一坐标系，实现了 点云数据集合的融合，得到重构模型，避免路信息受到颜色、纹理、光照强度等因素的影响， 提高了道路信息的计算精度，为驾驶员提供精确、实时、可靠的前方路面信息；具体提供了 如何计算目标点云数据集合中每个点对应的PFH特征直方图的方法，另外，通过主从计算方 法提高了数据处理的速度。
[0065] 在本发明所提供的几个实施例中，应该理解到，所掲露的装置和方法，可W通过其 它的方式实现。例如，W上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅 仅为一种逻辑功能划分，实际实现时可W有另外的划分方式，例如多个单元或组件可W结 合或者可w集成到另一个系统，或一些特征可w忽略，或不执行。另一点，所显示或讨论的 相互之间的禪合或直接禪合或通信连接可W是通过一些接口，装置或单元的间接禪合或通 信连接，可W是电性，机械或其它的形式。
[0066] 所述作为分离部件说明的单元可W是或者也可W不是物理上分开的，作为单元显 示的部件可W是或者也可W不是物理单元，即可W位于一个地方，或者也可W分布到多个 网络单元上。可W根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目 的。
[0067] 另外，在本发明各个实施例中的各功能单元可W集成在一个处理单元中，也可W 是各个单元单独物理存在，也可W两个或两个W上单元集成在一个单元中。上述集成的单 元既可W采用硬件的形式实现，也可W采用硬件加软件功能单元的形式实现。
[0068] 上述W软件功能单元的形式实现的集成的单元，可W存储在一个计算机可读取存 储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用W使得一台计算机 设备(可W是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个 实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Readonly Memoir, ROM)、随机存取存储器 （Random Access Memory, RAM)、磁碟或者光盘等各种 可W存储程序代码的介质。
[0069] 本邻域技术人员可W清楚地了解到，为描述的方便和简洁，仅W上述各功能模块 的划分进行举例说明，实际应用中，可W根据需要而将上述功能分配由不同的功能模块完 成，即将装置的内部结构划分成不同的功能模块，W完成W上描述的全部或者部分功能。上 述描述的装置的具体工作过程，可W参考前述方法实施例中的对应过程，在此不再寶述。
[0070] 最后应说明的是：W上各实施例仅用W说明本发明的技术方案，而非对其限制;尽 管参照前述各实施例对本发明进行了详细的说明，本邻域的普通技术人员应当理解:其依 然可W对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进 行等同替换；而运些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术 方案的范围。
【主权项】
1. 一种车载3D道路实时重构方法，其特征在于，包括： 在两个相邻采样时刻分别获取目标道路的第一深度图像Mih和第二深度图像Mk; 将所述第一深度图像Μκ-i和所述第二深度图像Mk分别经过透视投影变换获得第一点云 数据集合Νκ-i和第二点云数据集合Nk; 依据所述第一点云数据集合Νκ-i获得第一目标点 云数据集合N'K-i，并依据所述第二点 云数据集合Nk获得第二目标点云数据集合N ' κ; 计算所述第一目标点云数据集合N V1中每个点对应的第一PFH特征直方图，以及所述 第二目标点云数据集合Ν'κ中每个点对应的第二PFH特征直方图； 若所述第一 PFH特征直方图和所述第二PFH特征直方图匹配，则与所述第一 PFH特征直 方图对应的点为第一匹配特征点，与所述第二PFH特征直方图对应的点为第二匹配特征点， 将所有所述第一匹配特征点构成第一集合Q'h，将所有所述第二匹配特征点构成第二集合 Q，k; 依据ICP算法处理所述第一集合Q ' !《和所述第二集合Q ' κ获得旋转矩阵R和平移矩阵T， 且Q'k=R*Q'k-i+T; 依据所述旋转矩阵R和所述平移矩阵T将第一点云数据集合N1W和第二点云数据集合Nk 归一到同一个坐标系获得重构模型； 将所述重构模型作为模式识别算法的输入数据，依据所述模式识别算法对所述重构模 型进行模式识别，以使所述模式识别算法输出所述目标道路对应的路面信息。2. 根据权利要求1所述的方法，其特征在于，所述将所述第一深度图像Mi1和所述第二 深度图像Mk分别经过透视投影变换获得第一点云数据集合N 1W和第二点云数据集合Νκ，包 括： 获取深度图像到点云数据集合的变换矩阵F; 依据所述变换矩阵F和所述第一深度图像Μκ-ι计算所述第一点云数据集合Νκ-ι = F*Mk-i， 依据所述变换矩阵F和所述第二深度图像Mk计算所述第二点云数据集合Nk = F*Mk。3. 根据权利要求2所述的方法，其特征在于，所述依据所述第一点云数据集合Nh获得 第一目标点云数据集合N ' κ-I，包括： 对所述第一点云数据集合Νκ-i进行降噪或精简预处理获得所述第一目标点云数据集合 Ν'κ-1; 所述依据所述第二点云数据集合Nk获得第二目标点云数据集合N ' κ，包括： 对所述第二点云数据集合Nk进行降噪或精简预处理获得所述第二目标点云数据集合 Ν'κ〇4. 根据权利要求1-3任一项所述的方法，其特征在于，所述计算所述第一目标点云数据 集合N V1中每个点对应的第一PFH特征直方图，包括： 定义所述第一目标点云数据集合Ν'κ-I中任意一点P的坐标系为(u，v，w)，其中，u = ns，iW = UXv^s是点P对应的法线，Pt是与点P相邻的H个邻域点中的任意一个 点，且点P对应的法线ns与点Pt对应的法线nt之间的偏差表示为(％务的，其中，a = v*nt，等间隔划分二维坐标的横坐标获得多个刻度点，所述多个刻度点分别对应一组不同的 取值； 对于所述二维坐标中的每个刻度点统计所述H个邻域点中满足预设条件的目标点的个 数获得所述第一PFH特征直方图，所述预设条件为所述目标点对应的法线与点P对应的法线 之间的偏差等于所述刻度点对应的(《，外60取值。5. 根据权利要求4所述的方法，其特征在于，所述依据所述旋转矩阵R和所述平移矩阵T 将第一点云数据集合Νκ-i和第二点云数据集合Nk归一到同一个坐标系获得重构模型，包括： 依据所述旋转矩阵R、所述平移矩阵T和所述第一点云数据集合N1W计算第三点云数据 集合 N"K=R*NK-i+T; 依据所述第三点云数据集合Ν" κ和所述第二点云数据集合Nk获得重构模型Ν"κ+Νκ。6. -种车载3D道路实时重构装置，其特征在于，包括： 采样模块，用于在两个相邻采样时刻分别获取目标道路的第一深度图像Miw和第二深 度图像Mk; 投影模块，用于将所述第一深度图像和所述第二深度图像Mk分别经过透视投影变换 获得第一点云数据集合Νκ-ι和第二点云数据集合Nk; 去噪模块，用于依据所述第一点云数据集合Νκ-i获得第一目标点云数据集合N'n，并依 据所述第二点云数据集合Nk获得第二目标点云数据集合N ' κ; 直方图计算模块，用于计算所述第一目标点云数据集合N V1中每个点对应的第一 PFH 特征直方图，以及所述第二目标点云数据集合Ν'κ中每个点对应的第二PFH特征直方图； 匹配模块，用于若所述第一 PFH特征直方图和所述第二PFH特征直方图匹配，则与所述 第一PFH特征直方图对应的点为第一匹配特征点，与所述第二PFH特征直方图对应的点为第 二匹配特征点，将所有所述第一匹配特征点构成第一集合Q'K-i，将所有所述第二匹配特征 点构成第二集合Q'k; ICP处理模块，用于依据ICP算法处理所述第一集合Q ' !《和所述第二集合Q ' κ获得旋转矩 阵R和平移矩阵T，且Q ' κ=R*Q ' κ-i+T; 归一模块，用于依据所述旋转矩阵R和所述平移矩阵T将第一点云数据集合N1W和第二 点云数据集合Nk归一到同一个坐标系获得重构模型;将所述重构模型作为模式识别算法的 输入数据，依据所述模式识别算法对所述重构模型进行模式识别，以使所述模式识别算法 输出所述目标道路对应的路面信息。7. 根据权利要求6所述的车载3D道路实时重构装置，其特征在于，所述投影模块具体用 于获取深度图像到点云数据集合的变换矩阵F;依据所述变换矩阵F和所述第一深度图像 Μκ-ι计算所述第一点云数据集合Νκ-ι = F*Mk-i，依据所述变换矩阵F和所述第二深度图像Mk计 算所述第二点云数据集合Nk=F*Mk。8. 根据权利要求7所述的车载3D道路实时重构装置，其特征在于，所述去噪模块具体用 于对所述第一点云数据集合Νκ-i进行降噪或精简预处理获得所述第一目标点云数据集合 N V1;对所述第二点云数据集合Nk进行降噪或精简预处理获得所述第二目标点云数据集合 Ν'κ〇9. 根据权利要求6-8任一项所述的车载3D道路实时重构装置，其特征在于，所述直方图 计算模块具体用于定义所述第一目标点云数据集合Ν'κ-i中任意一点P的坐标系为(u，v，w)， 其中，u = ns:ns是点P对应的法线，Pt是与点P相邻的H个邻域点中 的任意一个点，且点P对应的法线ns与点Pt对应的法线nt之间的偏差表示为(i/系巧，其中，α等间隔划分二维坐标的横坐标获得多个刻度点，所述多个刻度点分别对应一组不同的 (α,炉6>)取值； 对于所述二维坐标中的每个刻度点统计所述H个邻域点中满足预设条件的目标点的个 数获得所述第一PFH特征直方图，所述预设条件为所述目标点对应的法线与点P对应的法线 之间的偏差等于所述刻度点对应的(α,科灼取值。10. 根据权利要求9所述的车载3D道路实时重构装置，其特征在于，所述归一模块具体 用于依据所述旋转矩阵R、所述平移矩阵T和所述第一点云数据集合N 1W计算第三点云数据 集合N"k = r*Nk-1+Τ;依据所述第三点云数据集合Ν"κ和所述第二点云数据集合 Νκ获得重构模 型 Ν，，κ+Νκ〇
【专利摘要】本发明实施例提供一种车载3D道路实时重构方法及装置。该方法包括：在两个相邻采样时刻分别获取目标道路的第一深度图像和第二深度图像；将第一深度图像和第二深度图像分别经过透视投影变换获得第一点云数据集合和第二点云数据集合；依据ICP算法处理第一集合和第二集合获得旋转矩阵R和平移矩阵T；依据旋转矩阵R和平移矩阵T将第一点云数据集合和第二点云数据集合归一到同一个坐标系获得重构模型。本发明实施例实现了点云数据集合的融合，得到重构模型，避免路信息受到颜色、纹理、光照强度等因素的影响，提高了道路信息的计算精度，为驾驶员提供精确、实时、可靠的前方路面信息。
【IPC分类】G06T17/05, G06K9/00
【公开号】CN105488459
【申请号】CN201510819904
【发明人】黄军君, 李武辉, 周前, 李现飞, 马亚歌, 袁良信, 王学莹, 刘月
【申请人】上海汽车集团股份有限公司
【公开日】2016年4月13日
【申请日】2015年11月23日
【专利说明】车载3D道路实时重构方法及装置
[0001 ] 技术邻域
[0002] 本发明实施例设及图像处理技术领域，尤其设及一种车载3D道路实时重构方法及 装置。
【背景技术】
[0003] 随着汽车制造业的发展，汽车已经成为人们日常生活中不可或缺的交通工具。
[0004] 现有技术中，智能辅助驾驶系统及自动驾驶加速发展，通过机器视觉技术去获取 前方道路信息正变的越来越普遍，然而传统的基于二维图像的道路识别、车道检测等技术， W及传感器成像机理的原因，使道路信息很容易受到颜色、纹理、光照强度等因素的影响， 降低了道路信息的计算精度，不能为驾驶员提供精确、实时、可靠的前方路面信息。
【发明内容】
[0005] 本发明实施例提供一种车载3D道路实时重构方法及装置，W便为驾驶员提供精 确、实时、可靠的前方路面信息。
[0006] 本发明实施例的一个方面是提供一种车载3D道路实时重构方法，包括：
[0007] 在两个相邻采样时刻分别获取目标道路的第一深度图像Μκ-1和第二深度图像Μκ; [000引将所述第一深度图像Μκ-1和所述第二深度图像Μκ分别经过透视投影变换获得第一 点云数据集合Νκ-1和第二点云数据集合化；
[0009] 依据所述第一点云数据集合Νκ-1获得第一目标点云数据集合Ν'κ-1，并依据所述第 二点云数据集合化获得第二目标点云数据集合Ν ' Κ;
[0010] 计算所述第一目标点云数据集合Ν'κ-1中每个点对应的第一PFH特征直方图，W及 所述第二目标点云数据集合Ν'κ中每个点对应的第二PFH特征直方图；
[0011] 若所述第一 PFH特征直方图和所述第二PFH特征直方图匹配，则与所述第一 PFH特 征直方图对应的点为第一匹配特征点，与所述第二PFH特征直方图对应的点为第二匹配特 征点，将所有所述第一匹配特征点构成第一集合Q'K-l，将所有所述第二匹配特征点构成第 二集合Q'K;
[0012] 依据ICP算法处理所述第一集合Q'K-i和所述第二集合Q'K获得旋转矩阵R和平移矩 阵T，且Q'K=R*Q'K-i+T;
[0013] 依据所述旋转矩阵R和所述平移矩阵T将第一点云数据集合化-1和第二点云数据集 合化归一到同一个坐标系获得重构模型；
[0014] 将所述重构模型作为模式识别算法的输入数据，依据所述模式识别算法对所述重 构模型进行模式识别，W使所述模式识别算法输出所述目标道路对应的路面信息。
[0015] 本发明实施例的另一个方面是提供一种车载3D道路实时重构装置，包括：
[0016] 采样模块，用于在两个相邻采样时刻分别获取目标道路的第一深度图像Μκ-1和第 二深度图像Μκ;
[0017] 投影模块，用于将所述第一深度图像Μκ-1和所述第二深度图像Μκ分别经过透视投 影变换获得第一点云数据集合Νκ-1和第二点云数据集合Νκ;
[0018]去噪模块，用于依据所述第一点云数据集合Νκ-1获得第一目标点云数据集合Ν'κ-1， 并依据所述第二点云数据集合Νκ获得第二目标点云数据集合Ν'κ;
[0019]直方图计算模块，用于计算所述第一目标点云数据集合Ν'κ-冲每个点对应的第一 PFH特征直方图，W及所述第二目标点云数据集合Ν'κ中每个点对应的第二PFH特征直方图；
[0020] 匹配模块，用于若所述第一 PFH特征直方图和所述第二PFH特征直方图匹配，则与 所述第一PFH特征直方图对应的点为第一匹配特征点，与所述第二PFH特征直方图对应的点 为第二匹配特征点，将所有所述第一匹配特征点构成第一集合Q'K-l，将所有所述第二匹配 特征点构成第二集合Q'K;
[0021] ICP处理模块，用于依据ICP算法处理所述第一集合Q ' K-1和所述第二集合Q ' K获得 旋转矩阵R和平移矩阵T，且Q ' κ=R*Q ' K-1巧；
[0022] 归一模块，用于依据所述旋转矩阵R和所述平移矩阵T将第一点云数据集合Νκ-1和 第二点云数据集合Νκ归一到同一个坐标系获得重构模型;将所述重构模型作为模式识别算 法的输入数据，依据所述模式识别算法对所述重构模型进行模式识别，W使所述模式识别 算法输出所述目标道路对应的路面信息。
[0023] 本发明实施例提供的车载3D道路实时重构方法及装置，通过将二维深度图像转换 为Ξ维的点云数据集合，获取点云数据集合中每个点对应的PFH特征直方图，通过PFH特征 直方图匹配寻找相邻两个时刻点云数据集合的匹配特征点对，对匹配特征点对实施ICP算 法，求取相邻两个时刻点云数据集合的旋转平移矩阵，依据旋转平移矩阵将两个点云数据 集合归一到同一坐标系，实现了点云数据集合的融合，得到重构模型，避免路信息受到颜 色、纹理、光照强度等因素的影响，提高了道路信息的计算精度，为驾驶员提供精确、实时、 可靠的前方路面信息。
【附图说明】
[0024] 图1为本发明实施例提供的车载3D道路实时重构方法流程图；
[0025] 图2为本发明实施例提供的目标点云数据集合中任意一点的邻域点的示意图；
[0026] 图3为本发明实施例提供的目标点云数据集合中任意一点的坐标示意图；
[0027] 图4为本发明实施例提供的PFH特征直方图的示意图；
[0028] 图5为本发明实施例提供的主从计算方法适用的结构图；
[0029] 图6为本发明实施例提供的车载3D道路实时重构装置的结构图。
【具体实施方式】
[0030] 图1为本发明实施例提供的车载3D道路实时重构方法流程图；图2为本发明实施例 提供的目标点云数据集合中任意一点的邻域点的示意图。本发明实施例针对传统的基于二 维图像的道路识别、车道检测等技术，W及传感器成像机理的原因，使道路信息很容易受到 颜色、纹理、光照强度等因素的影响，降低了道路信息的计算精度，不能为驾驶员提供精确、 实时、可靠的前方路面信息，提供了车载3D道路实时重构方法，该方法的具体步骤如下：
[0031] 步骤S101、在两个相邻采样时刻分别获取目标道路的第一深度图像Μκ-1和第二深 度图像Μκ;
[0032] 本发明实施例通过安装在车辆前部的TOF成像设备获取前方道路场景的深度图 像，且T0F成像设备具体可W为3D成像传感器，3D成像传感器W较高的采用频率获取前方道 路场景的深度图像，例如，在K-1时刻，3D成像传感器对前方道路场景进行一次扫描获得第 一深度图像Μκ-1，在K时刻，3D成像传感器对前方道路场景进行一次扫描获得第二深度图像 Μκ。
[0033] 步骤S102、将所述第一深度图像Μκ-1和所述第二深度图像Μκ分别经过透视投影变 换获得第一点云数据集合Νκ-1和第二点云数据集合Νκ;
[0034] 所述将所述第一深度图像Μκ-1和所述第二深度图像Μκ分别经过透视投影变换获得 第一点云数据集合Νκ-1和第二点云数据集合Νκ，包括:获取深度图像到点云数据集合的变换 矩阵F;依据所述变换矩阵F和所述第一深度图像Μκ-1计算所述第一点云数据集合Nk-i = F* Μκ-1，依据所述变换矩阵F和所述第二深度图像Μκ计算所述第二点云数据集合Nk = F*Mk。
[0035] 依据3D成像传感器内部标定的参数和外部的位置参数得到深度图像到点云数据 集合的变换矩阵F，计算所述第一点云数据集合Nk-i = F*Mk-i和第二点云数据集合Nk=F*Mk。
[0036] 步骤S103、依据所述第一点云数据集合Νκ-1获 得第一目标点云数据集合Ν'κ-1，并依 据所述第二点云数据集合Νκ获得第二目标点云数据集合Ν ' Κ;
[0037] 对所述第一点云数据集合Νκ-1进行降噪或精简预处理获得所述第一目标点云数据 集合Ν'κ-1;对所述第二点云数据集合Νκ进行降噪或精简预处理获得所述第二目标点云数据 集合Ν'κ。
[0038] 步骤S104、计算所述第一目标点云数据集合Ν'κ-1中每个点对应的第一 PFH特征直 方图，W及所述第二目标点云数据集合Ν'κ中每个点对应的第二PFH特征直方图；
[0039] 如图2所示，点Ρ是第一目标点云数据集合Ν'κ-冲的任意一点，距离该点Ρ预设范围 内有Η个邻域点，Pt是与点Ρ相邻的Η个邻域点中的任意一个点，与点Ρ相连的是其他的邻域 点，依据点Ρ对应的法线ns分别与Η个邻域点中的每一个邻域点对应的法线之间的偏差获得 点Ρ对应的第一PFH特征直方图，同理，第一目标点云数据集合Ν'κ-1中的每一个点都对应一 个第一PFH特征直方图。依据同样的方法可W计算出所述第二目标点云数据集合Ν'κ中每个 点对应的第二PFH特征直方图。
[0040] 步骤S105、若所述第一 PFH特征直方图和所述第二PFH特征直方图匹配，则与所述 第一PFH特征直方图对应的点为第一匹配特征点，与所述第二PFH特征直方图对应的点为第 二匹配特征点，将所有所述第一匹配特征点构成第一集合Q'K-l，将所有所述第二匹配特征 点构成第二集合Q'K;
[0041] 由步骤S104可获得第一目标点云数据集合Ν'κ-1中的每一个点都对应的第一 PFH特 征直方图，W及第二目标点云数据集合Ν'κ中每个点对应的第二PFH特征直方图，若第一目 标点云数据集合Ν'κ-1中的一个点对应的第一 PFH特征直方图和第二目标点云数据集合Ν'κ 中的一个点对应的第二PFH特征直方图相同，则运两个点分别为匹配特征点，第一目标点云 数据集合Ν'κ-1中的匹配特征点构成第一集合Q'K-i，第二目标点云数据集合Ν'κ中的匹配特 征点构成第二集合Q'K。
[0042] 步骤S106、依据ICP算法处理所述第一集合Q'K-i和所述第二集合Q'K获得旋转矩阵 R和平移矩阵T，且Q ' κ=R*Q ' K-1巧；
[0043] 对所述第一集合Q'K-i和所述第二集合Q'K进行ICP算法处理，获得旋转矩阵R和平 移矩阵Τ，且Q'K=R*Q'K-1巧。
[0044] 步骤S107、依据所述旋转矩阵R和所述平移矩阵門尋第一点云数据集合Νκ-1和第二 点云数据集合Νκ归一到同一个坐标系获得重构模型。
[0045] 所述依据所述旋转矩阵R和所述平移矩阵Τ将第一点云数据集合Νκ-1和第二点云数 据集合Νκ归一到同一个坐标系获得重构模型，包括：
[0046] 依据所述旋转矩阵R、所述平移矩阵Τ和所述第一点云数据集合Νκ-1计算第Ξ点云 数据集合N"k=R*Nk-i巧；
[0047] 依据所述第Ξ点云数据集合Ν"κ和所述第二点云数据集合Νκ获得重构模型Ν"κ+Νκ。 [004引步骤S108、将所述重构模型作为模式识别算法的输入数据，依据所述模式识别算 法对所述重构模型进行模式识别，W使所述模式识别算法输出所述目标道路对应的路面信 息。
[0049] 本发明实施例通过将二维深度图像转换为Ξ维的点云数据集合，获取点云数据集 合中每个点对应的PFH特征直方图，通过PFH特征直方图匹配寻找相邻两个时刻点云数据集 合的匹配特征点对，对匹配特征点对实施ICP算法，求取相邻两个时刻点云数据集合的旋转 平移矩阵，依据旋转平移矩阵将两个点云数据集合归一到同一坐标系，实现了点云数据集 合的融合，得到重构模型，避免路信息受到颜色、纹理、光照强度等因素的影响，提高了道路 信息的计算精度，为驾驶员提供精确、实时、可靠的前方路面信息。
[0050] 图3为本发明实施例提供的目标点云数据集合中任意一点的坐标示意图。图4为本 发明实施例提供的PFH特征直方图的示意图。图5为本发明实施例提供的主从计算方法适用 的结构图。在上述实施例的基础上，所述计算所述第一目标点云数据集合Ν'κ-1中每个点对 应的第一PFH特征直方图，包括：
[0051 ]定义所述第一目标点云数据集合Ν'κ-1中任意一点Ρ的坐标系为(u，v，w)，其中，11 = (7)-/)) ns, v-iiX -~^，W = UX V，ns是点P对应的法线，Pt是与点P相邻的Η个邻域点中的任意一 尸一与 个点，且点Ρ对应的法线ns与点Pt对应的法线m之间的偏差表示为(保展巧，其中，a = v*nt， φ. = Β心--，目=arctan(w*nt，u*nt);等间隔划分二维坐标的横坐标获得多个刻度点， d 所述多个刻度点分别对应一组不同的批，口，0)取值;对于所述二维坐标中的每个刻度点统 计所述Η个邻域点中满足预设条件的目标点的个数获得所述第一PFH特征直方图，所述预设 条件为所述目标点对应的法线与点Ρ对应的法线之间的偏差等于所述刻度点对应的 (斯换巧取值。
[0052]对于第一目标点云数据集合Ν'κ-1中的点Ρ，定义其坐标为(u，v，w)，其中，u = ns， iP-P.) V二《x^^^3^，w = uXv，ns是点P对应的法线，Pt是与点P相邻的H个邻域点中的任意一个 点，且点P对应的法线ns与点Pt对应的法线nt之间的偏差表示为(α，與巧，其中，a = v*nt， Ψ二U*也一目=arCtan(w*nt，u*nt)。如此，P对应的法线ns与其相邻的Η个邻域点中的任 d 意一个点对应的法线之间都有一个偏差(化口，巧，同理，第一目标点云数据集合N'K-1中的任 意一个点对应的法线与其相邻的Η个邻域点中的任意一个点对应的法线之间都有一个偏差 (仿，巧(9)。
[0053] 如图4所示，等间隔划分二维坐标的横坐标获得多个刻度点，优选的，本发明实施 例划分为125个刻度点，具体为0-124，每个刻度点对应一组不同的(仿，巧巧取值;对于125个 刻度点的每一个刻度点，统计点Ρ的预设范围内Η个邻域点中满足预设条件的目标点的个 数，该个数作为该刻度点对应的纵坐标，具体的预设条件为目标点的法线与点Ρ对应的法线 之间的偏差等于所述刻度点对应的似，口，所取值，如此获得点Ρ对应的第一 PFH特征直方图， 即所述第一目标点云数据集合Ν'κ-冲每个点都可W用第一PFH特征直方图进行刻画，同理， 可获得所述第二目标点云数据集合Ν'κ中每个点对应的第二PFH特征直方图。
[0054] 在本发明实施例的基础上，为整个系统提供高速并行计算能力与应对复杂逻辑计 算的能力。由于需要处理的点云数据量巨大，如图5所示，本系统采用主从结合的计算方式 实施相关算法，主计算单元由通用CPU担当，用于实现复杂算法逻辑;从计算单元由GPU或者 专用并行计算单元担当，主要用于实现大量重复计算；主计算单元将需要处理的点云集合 划分成若干子集，分发给各个并行的子计算单元，处理完毕后，由主计算单元汇总处理结 果。
[0055] 本发明实施例具体提供了如何计算目标点云数据集合中每个点对应的PFH特征直 方图的方法，另外，通过主从计算方法提高了数据处理的速度。
[0056] 图6为本发明实施例提供的车载3D道路实时重构装置的结构图。本发明实施例提 供的车载3D道路实时重构装置可W执行车载3D道路实时重构方法实施例提供的处理流程， 如图6所示，车载3D道路实时重构装置50包括采样模块51、投影模块52、去噪模块53、直方图 计算模块54、匹配模块55、ICP处理模块56和归一模块57,其中，采样模块51用于在两个相邻 采样时刻分别获取目标道路的第一深度图像Μκ-1和第二深度图像Μκ;投 影模块52用于将所 述第一深度图像Μκ-1和所述第二深度图像Μκ分别经过透视投影变换获得第一点云数据集合 Νκ-1和第二点云数据集合Νκ;去噪模块53用于依据所述第一点云数据集合Νκ-1获得第一目标 点云数据集合Ν'κ-1，并依据所述第二点云数据集合Νκ获得第二目标点云数据集合Ν'κ;直方 图计算模块54用于计算所述第一目标点云数据集合Ν'κ-1中每个点对应的第一 PFH特征直方 图，W及所述第二目标点云数据集合Ν'κ中每个点对应的第二PFH特征直方图；匹配模块55 用于若所述第一 PFH特征直方图和所述第二PFH特征直方图匹配，则与所述第一 PFH特征直 方图对应的点为第一匹配特征点，与所述第二PFH特征直方图对应的点为第二匹配特征点， 将所有所述第一匹配特征点构成第一集合Q'K-l，将所有所述第二匹配特征点构成第二集合 Q 'K; ICP处理模块56用于依据ICP算法处理所述第一集合Q 'K-1和所述第二集合Q 'K获得旋转 矩阵R和平移矩阵T，且Q 'K = R*Q ' K-1+T;归一模块57用于依据所述旋转矩阵R和所述平移矩 阵T将第一点云数据集合Νκ-1和第二点云数据集合Νκ归一到同一个坐标系获得重构模型;将 所述重构模型作为模式识别算法的输入数据，依据所述模式识别算法对所述重构模型进行 模式识别，W使所述模式识别算法输出所述目标道路对应的路面信息。
[0057] 本发明实施例通过将二维深度图像转换为Ξ维的点云数据集合，获取点云数据集 合中每个点对应的PFH特征直方图，通过PFH特征直方图匹配寻找相邻两个时刻点云数据集 合的匹配特征点对，对匹配特征点对实施ICP算法，求取相邻两个时刻点云数据集合的旋转 平移矩阵，依据旋转平移矩阵将两个点云数据集合归一到同一坐标系，实现了点云数据集 合的融合，得到重构模型，避免路信息受到颜色、纹理、光照强度等因素的影响，提高了道路 信息的计算精度，为驾驶员提供精确、实时、可靠的前方路面信息。
[0058] 在上述实施例的基础上，投影模块52具体用于获取深度图像到点云数据集合的变 换矩阵F;依据所述变换矩阵F和所述第一深度图像Μκ-1计算所述第一点云数据集合Nk-i = F* Μκ-1，依据所述变换矩阵F和所述第二深度图像Μκ计算所述第二点云数据集合Nk = F*Mk。
[0059] 去噪模块53具体用于对所述第一点云数据集合Νκ-1进行降噪或精简预处理获得所 述第一目标点云数据集合Ν'κ-1;对所述第二点云数据集合Νκ进行降噪或精简预处理获得所 述第二目标点云数据集合Ν'κ。
[0060] 直方图计算模块54具体用于定义所述第一目标点云数据集合Ν'κ-1中任意一点Ρ的 坐标系为(U，v，w)，其中，u = ns，
'w = uXv，ns是点P对应的法线，Pt是与点P相 邻的Η个邻域点中的任意一个点，且点P对应的法线ns与点Pt对应的法线m之间的偏差表示 为(化巧60，其中，a = v*nt，
：,目=日1^1日]1(>*]11；,11*]11；);等间隔划分二维坐标 的横坐标获得多个刻度点，所述多个刻度点分别对应一组不同的(抹，俱巧取值;对于所述二 维坐标中的每个刻度点统计所述Η个邻域点中满足预设条件的目标点的个数获得所述第一 PFH特征直方图，所述预设条件为所述目标点对应的法线与点Ρ对应的法线之间的偏差等于 所述刻度点对应的似，口，巧取值。
[0061] 归一模块57具体用于依据所述旋转矩阵R、所述平移矩阵Τ和所述第一点云数据集 合Νκ-1计算第Ξ点云数据集合N"k = R*Nk-i+T;依据所述第Ξ点云数据集合Ν"κ和所述第二点 云数据集合Νκ获得重构模型Ν" κ+Γ^。
[0062] 本发明实施例提供的车载3D道路实时重构装置可W具体用于执行上述图1所提供 的方法实施例，具体功能此处不再寶述。
[0063] 本发明实施例具体提供了如何计算目标点云数据集合中每个点对应的PFH特征直 方图的方法，另外，通过主从计算方法提高了数据处理的速度。
[0064] 综上所述，本发明实施例通过将二维深度图像转换为Ξ维的点云数据集合，获取 点云数据集合中每个点对应的PFH特征直方图，通过PFH特征直方图匹配寻找相邻两个时刻 点云数据集合的匹配特征点对，对匹配特征点对实施ICP算法，求取相邻两个时刻点云数据 集合的旋转平移矩阵，依据旋转平移矩阵将两个点云数据集合归一到同一坐标系，实现了 点云数据集合的融合，得到重构模型，避免路信息受到颜色、纹理、光照强度等因素的影响， 提高了道路信息的计算精度，为驾驶员提供精确、实时、可靠的前方路面信息；具体提供了 如何计算目标点云数据集合中每个点对应的PFH特征直方图的方法，另外，通过主从计算方 法提高了数据处理的速度。
[0065] 在本发明所提供的几个实施例中，应该理解到，所掲露的装置和方法，可W通过其 它的方式实现。例如，W上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅 仅为一种逻辑功能划分，实际实现时可W有另外的划分方式，例如多个单元或组件可W结 合或者可w集成到另一个系统，或一些特征可w忽略，或不执行。另一点，所显示或讨论的 相互之间的禪合或直接禪合或通信连接可W是通过一些接口，装置或单元的间接禪合或通 信连接，可W是电性，机械或其它的形式。
[0066] 所述作为分离部件说明的单元可W是或者也可W不是物理上分开的，作为单元显 示的部件可W是或者也可W不是物理单元，即可W位于一个地方，或者也可W分布到多个 网络单元上。可W根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目 的。
[0067] 另外，在本发明各个实施例中的各功能单元可W集成在一个处理单元中，也可W 是各个单元单独物理存在，也可W两个或两个W上单元集成在一个单元中。上述集成的单 元既可W采用硬件的形式实现，也可W采用硬件加软件功能单元的形式实现。
[0068] 上述W软件功能单元的形式实现的集成的单元，可W存储在一个计算机可读取存 储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用W使得一台计算机 设备(可W是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个 实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Readonly Memoir, ROM)、随机存取存储器 （Random Access Memory, RAM)、磁碟或者光盘等各种 可W存储程序代码的介质。
[0069] 本邻域技术人员可W清楚地了解到，为描述的方便和简洁，仅W上述各功能模块 的划分进行举例说明，实际应用中，可W根据需要而将上述功能分配由不同的功能模块完 成，即将装置的内部结构划分成不同的功能模块，W完成W上描述的全部或者部分功能。上 述描述的装置的具体工作过程，可W参考前述方法实施例中的对应过程，在此不再寶述。
[0070] 最后应说明的是：W上各实施例仅用W说明本发明的技术方案，而非对其限制;尽 管参照前述各实施例对本发明进行了详细的说明，本邻域的普通技术人员应当理解:其依 然可W对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进 行等同替换；而运些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术 方案的范围。
【主权项】
1. 一种车载3D道路实时重构方法，其特征在于，包括： 在两个相邻采样时刻分别获取目标道路的第一深度图像Mih和第二深度图像Mk; 将所述第一深度图像Μκ-i和所述第二深度图像Mk分别经过透视投影变换获得第一点云 数据集合Νκ-i和第二点云数据集合Nk; 依据所述第一点云数据集合Νκ-i获得第一目标点 云数据集合N'K-i，并依据所述第二点 云数据集合Nk获得第二目标点云数据集合N ' κ; 计算所述第一目标点云数据集合N V1中每个点对应的第一PFH特征直方图，以及所述 第二目标点云数据集合Ν'κ中每个点对应的第二PFH特征直方图； 若所述第一 PFH特征直方图和所述第二PFH特征直方图匹配，则与所述第一 PFH特征直 方图对应的点为第一匹配特征点，与所述第二PFH特征直方图对应的点为第二匹配特征点， 将所有所述第一匹配特征点构成第一集合Q'h，将所有所述第二匹配特征点构成第二集合 Q，k; 依据ICP算法处理所述第一集合Q ' !《和所述第二集合Q ' κ获得旋转矩阵R和平移矩阵T， 且Q'k=R*Q'k-i+T; 依据所述旋转矩阵R和所述平移矩阵T将第一点云数据集合N1W和第二点云数据集合Nk 归一到同一个坐标系获得重构模型； 将所述重构模型作为模式识别算法的输入数据，依据所述模式识别算法对所述重构模 型进行模式识别，以使所述模式识别算法输出所述目标道路对应的路面信息。2. 根据权利要求1所述的方法，其特征在于，所述将所述第一深度图像Mi1和所述第二 深度图像Mk分别经过透视投影变换获得第一点云数据集合N 1W和第二点云数据集合Νκ，包 括： 获取深度图像到点云数据集合的变换矩阵F; 依据所述变换矩阵F和所述第一深度图像Μκ-ι计算所述第一点云数据集合Νκ-ι = F*Mk-i， 依据所述变换矩阵F和所述第二深度图像Mk计算所述第二点云数据集合Nk = F*Mk。3. 根据权利要求2所述的方法，其特征在于，所述依据所述第一点云数据集合Nh获得 第一目标点云数据集合N ' κ-I，包括： 对所述第一点云数据集合Νκ-i进行降噪或精简预处理获得所述第一目标点云数据集合 Ν'κ-1; 所述依据所述第二点云数据集合Nk获得第二目标点云数据集合N ' κ，包括： 对所述第二点云数据集合Nk进行降噪或精简预处理获得所述第二目标点云数据集合 Ν'κ〇4. 根据权利要求1-3任一项所述的方法，其特征在于，所述计算所述第一目标点云数据 集合N V1中每个点对应的第一PFH特征直方图，包括： 定义所述第一目标点云数据集合Ν'κ-I中任意一点P的坐标系为(u，v，w)，其中，u = ns，iW = UXv^s是点P对应的法线，Pt是与点P相邻的H个邻域点中的任意一个 点，且点P对应的法线ns与点Pt对应的法线nt之间的偏差表示为(％务的，其中，a = v*nt，等间隔划分二维坐标的横坐标获得多个刻度点，所述多个刻度点分别对应一组不同的 取值； 对于所述二维坐标中的每个刻度点统计所述H个邻域点中满足预设条件的目标点的个 数获得所述第一PFH特征直方图，所述预设条件为所述目标点对应的法线与点P对应的法线 之间的偏差等于所述刻度点对应的(《，外60取值。5. 根据权利要求4所述的方法，其特征在于，所述依据所述旋转矩阵R和所述平移矩阵T 将第一点云数据集合Νκ-i和第二点云数据集合Nk归一到同一个坐标系获得重构模型，包括： 依据所述旋转矩阵R、所述平移矩阵T和所述第一点云数据集合N1W计算第三点云数据 集合 N"K=R*NK-i+T; 依据所述第三点云数据集合Ν" κ和所述第二点云数据集合Nk获得重构模型Ν"κ+Νκ。6. -种车载3D道路实时重构装置，其特征在于，包括： 采样模块，用于在两个相邻采样时刻分别获取目标道路的第一深度图像Miw和第二深 度图像Mk; 投影模块，用于将所述第一深度图像和所述第二深度图像Mk分别经过透视投影变换 获得第一点云数据集合Νκ-ι和第二点云数据集合Nk; 去噪模块，用于依据所述第一点云数据集合Νκ-i获得第一目标点云数据集合N'n，并依 据所述第二点云数据集合Nk获得第二目标点云数据集合N ' κ; 直方图计算模块，用于计算所述第一目标点云数据集合N V1中每个点对应的第一 PFH 特征直方图，以及所述第二目标点云数据集合Ν'κ中每个点对应的第二PFH特征直方图； 匹配模块，用于若所述第一 PFH特征直方图和所述第二PFH特征直方图匹配，则与所述 第一PFH特征直方图对应的点为第一匹配特征点，与所述第二PFH特征直方图对应的点为第 二匹配特征点，将所有所述第一匹配特征点构成第一集合Q'K-i，将所有所述第二匹配特征 点构成第二集合Q'k; ICP处理模块，用于依据ICP算法处理所述第一集合Q ' !《和所述第二集合Q ' κ获得旋转矩 阵R和平移矩阵T，且Q ' κ=R*Q ' κ-i+T; 归一模块，用于依据所述旋转矩阵R和所述平移矩阵T将第一点云数据集合N1W和第二 点云数据集合Nk归一到同一个坐标系获得重构模型;将所述重构模型作为模式识别算法的 输入数据，依据所述模式识别算法对所述重构模型进行模式识别，以使所述模式识别算法 输出所述目标道路对应的路面信息。7. 根据权利要求6所述的车载3D道路实时重构装置，其特征在于，所述投影模块具体用 于获取深度图像到点云数据集合的变换矩阵F;依据所述变换矩阵F和所述第一深度图像 Μκ-ι计算所述第一点云数据集合Νκ-ι = F*Mk-i，依据所述变换矩阵F和所述第二深度图像Mk计 算所述第二点云数据集合Nk=F*Mk。8. 根据权利要求7所述的车载3D道路实时重构装置，其特征在于，所述去噪模块具体用 于对所述第一点云数据集合Νκ-i进行降噪或精简预处理获得所述第一目标点云数据集合 N V1;对所述第二点云数据集合Nk进行降噪或精简预处理获得所述第二目标点云数据集合 Ν'κ〇9. 根据权利要求6-8任一项所述的车载3D道路实时重构装置，其特征在于，所述直方图 计算模块具体用于定义所述第一目标点云数据集合Ν'κ-i中任意一点P的坐标系为(u，v，w)， 其中，u = ns:ns是点P对应的法线，Pt是与点P相邻的H个邻域点中 的任意一个点，且点P对应的法线ns与点Pt对应的法线nt之间的偏差表示为(i/系巧，其中，α等间隔划分二维坐标的横坐标获得多个刻度点，所述多个刻度点分别对应一组不同的 (α,炉6>)取值； 对于所述二维坐标中的每个刻度点统计所述H个邻域点中满足预设条件的目标点的个 数获得所述第一PFH特征直方图，所述预设条件为所述目标点对应的法线与点P对应的法线 之间的偏差等于所述刻度点对应的(α,科灼取值。10. 根据权利要求9所述的车载3D道路实时重构装置，其特征在于，所述归一模块具体 用于依据所述旋转矩阵R、所述平移矩阵T和所述第一点云数据集合N 1W计算第三点云数据 集合N"k = r*Nk-1+Τ;依据所述第三点云数据集合Ν"κ和所述第二点云数据集合 Νκ获得重构模 型 Ν，，κ+Νκ〇
【专利摘要】本发明实施例提供一种车载3D道路实时重构方法及装置。该方法包括：在两个相邻采样时刻分别获取目标道路的第一深度图像和第二深度图像；将第一深度图像和第二深度图像分别经过透视投影变换获得第一点云数据集合和第二点云数据集合；依据ICP算法处理第一集合和第二集合获得旋转矩阵R和平移矩阵T；依据旋转矩阵R和平移矩阵T将第一点云数据集合和第二点云数据集合归一到同一个坐标系获得重构模型。本发明实施例实现了点云数据集合的融合，得到重构模型，避免路信息受到颜色、纹理、光照强度等因素的影响，提高了道路信息的计算精度，为驾驶员提供精确、实时、可靠的前方路面信息。
【IPC分类】G06T17/05, G06K9/00
【公开号】CN105488459
【申请号】CN201510819904
【发明人】黄军君, 李武辉, 周前, 李现飞, 马亚歌, 袁良信, 王学莹, 刘月
【申请人】上海汽车集团股份有限公司
【公开日】2016年4月13日
【申请日】2015年11月23日
最新回复(0)