交通场景深度解析方法、装置及系统的制作方法
交通场景深度解析方法、装置及系统的制作方法
【技术领域】
[0001] 本发明属于数据分析技术领域，尤其设及一种交通场景深度解析方法、装置及系 统。
【背景技术】
[0002] 交通场景对汽车驾驶来说极其复杂，采用摄像头采样进行分析的方法能高效快速 地评估当前场景，应用到自动驾驶系统和辅助驾驶系统中，最重要的功能之一就是要准确 地分析该场景图像中道路区域信息。
[0003] 现有技术中，有的是使用四线激光雷达探测道路，但运种探测方法对道路边缘要 求极高，在无明显边界的道路中，道路探测效果不好并且在变化万千的交通场景中道路数 据的采样性不具有通用型。有的采用了统计学习方法来拟合相邻像素的特征，只要增加不 同类型道路的训练样本，也可W解决道路多样性问题，但是使用最大流/最小割算法获得道 路区域，由于权值估计会因为实际道路样本的扭曲和不清晰等原因，无法很好地通过权值 估计器获得正确的参数，在一些光照等原因导致特别敏感的场景，该方法也失去了去识别 道路的能力。在W上现有技术中，由于实际上交通场景非常多样化，它们针对不同的路况不 具有自适应的能力，对交通场景道路情况的识别精确性不高。
【发明内容】
[0004] 本发明提供交通场景深度解析方法及装置，可通过将多尺度的图像输入卷积神经 网络与反卷神经网络构成的神经网络，可有效地学习目标道路特征，并且通过回归拟合来 提高深度神经网络学习的特征的准确性，提高交通场景解析的准确度。
[0005] 本发明提供的交通场景深度解析方法，包括：
[0006] 使用多个交通场景数据库中的原始图像数据集和原始图像对应的道路区域标定 作为训练样本;通过拉普拉斯金字塔变换方式，将所述训练样本中的各原始图像缩放为多 个不同尺度;将缩放后的图像输入与不同尺度分别对应的神经网络，W通过所述神经网络 提取道路特征，所述神经网络由卷积神经网络部分与反卷积神经网络部分联合组成;利用 训练缩放后的图像和所述缩放后的图像对应的道路区域标定，对卷积神经网络与反卷积神 经网络的参数进行训练;通过与所述神经网络链接的全链接层输出与原始图像像素相同的 一维数组，并将所述一维数组还原为与所述原始图像相同大小的结果图像，所述结果图像 中标出不同类型的道路;使用预置标准对所述结果图像进行处理，W还原出道路的分割结 果;将待检测图像输入训练成功的所述神经网络中，得到完成道路分割与该待检测图像对 应的结果图像。
[0007] 本发明提供的交通场景深度解析装置，包括：
[000引样本确定模块，用于使用多个交通场景数据库中的原始图像数据集和原始图像对 应的道路区域标定作为训练样本;变换模块，用于通过拉普拉斯金字塔变换方式，将所述训 练样本中的各原始图像缩放为多个不同尺度;提取模块，用于将缩放后的图像输入与不同 尺度分别对应的神经网络，w通过所述神经网络提取道路特征，所述神经网络由卷积神经 网络部分与反卷积神经网络部分联合组成；训练模块，用于利用训练缩放后的图像和所述 缩放后的图像对应的道路区域标定，对卷积神经网络与反卷积神经网络的参数进行训练； 输出模块，用于通过与所述神经网络链接的全链接层输出与原始图像像素相同的一维数 组;还原模块，用于将所述一维数组还原为与所述原始图像相同大小的结果图像，所述结果 图像中标出不同类型的道路;所述还原模块，还用于使用预置标准对所述结果图像进行处 理，W还原出道路的分割结果;检测模块，用于将待检测图像输入训练成功的所述神经网络 中，得到完成道路分割与该待检测图像对应的结果图像。
[0009] 从上述本发明实施例可知，本发明通过将多尺度的图像输入神经网络，能有效地 提取局部道路特征，且卷积神经网络与反卷神经网络构成的神经网络能有效地学习目标道 路特征，并且通过回归拟合来提高深度神经网络学习的特征的准确性，不仅在道路识别精 度上有非常高的性能，而且非常有效地提高了在不同交通场景下的适应能力，通过pixel-wise 方法针对图像每一个像素进行预测 ，极大地提高 了区域 内分割 的进度 ，另外 ，为无人驾 驶和辅助驾驶使用了摄像头相关的传感器也极大地降低了成本。
【附图说明】
[0010] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可 W根据运些附图获得其他的附图。
[0011] 图1是本发明第一实施例提供的交通场景深度解析方法的实现流程示意图；
[0012] 图2是本发明第一实施例中交通场景深度解析方法的数据处理流程示意图；
[0013] 图3是本发明第二实施例提供的交通场景深度解析装置的结构示意图；
[0014] 图4是本发明第Ξ实施例提供的交通场景深度解析装置的结构示意图。
【具体实施方式】
[001引为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明 实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实 施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域普通技 术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范 围。
[0016] 本发明各实施例的方案主要针对交通场景中的道路与道路线进行分割。通过训练 样本训练出一个像素级的分类器，可对采集到的交通图像中每一个像素进行分类，来判断 交通图像中不同区域所属类别，W还原交通图像对应的实际交通场景的道路状况。
[0017] 请参阅图1，图1为本发明第一实施例提供的交通场景深度解析方法的实现流程示 意图，主要包括W下步骤S101至步骤S107:
[0018] S101、使用多个交通场景数据库中的原始图像数据集和原始图像对应的道路区域 标定作为训练样本。
[0019] 例如使用KITTI-R0AD与LabelMe的图像数据集和运些图像对应的道路区域标定作 为训练样本，中间加入少量扭曲与旋转的图像，增加训练出的分类器的准确度。
[0020] 为便于后续图像的处理，可将多个交通场景数据库中的原始图像数据集中的各原 始图像进行归一化处理后，和归一化处理后的图像对应的道路区域标定作为训练样本。具 体地，对原始图像数据集中的各个图像进行标注和归一化处理，标注的方法与KITTI-R0AD 的标注方法相同，将所有已标注的图像归一到同一尺度，例如图像大小为375*375。
[0021] S102、通过拉普拉斯金字塔变换方式，将该训练样本中的各原始图像缩放为多个 不同尺度。
[0022] 将训练样本中的各图像进行拉普拉斯金字塔变换进行尺度缩放，若进行了归一化 处理，则是归一化处理后的各原始图像按照拉普拉斯金字塔变换方式进行尺度的缩放，即 按照设置的比例缩放到多个不同的尺度。数量默认为4个尺度，可根据道路的复杂情况进行 不同尺度数量的增加，例如存在多条不相连的道路时，认为是复杂情况，可适量增加不同尺 度的数量。
[0023] S103、将缩放后的图像输入与不同尺度分别对应的神经网络，W通过该神经网络 提取道路特征，该神经网络由卷积神经网络部分与反卷积神经网络部分联合组成；
[0024] 其中卷积神经网络部分使用的是VGG16层的卷积网络结构，而反卷积神经网络则 像卷积网络的倒 影般相反，对应于卷积部分的卷积层，反卷积部分为反卷积层，而池化层则 为反池化层，运样的网络部署可提升图像的分辨率。
[0025] 将不同尺度大小的图像，对应输入不同的神经网络，由该神经网络提取图像中的 道路特征。运些神经网络的结构相同，为卷积神经网络与反卷积神经网络组成。
[0026] 卷积神经网络(C順，Convolutional化ural化twork)由一个或多个卷积层和顶 端的全链接层（对应经典的神经网络）组成，同时也包括关联权重和池化层（pooling layer)。运一结构使得卷积神经网络能够利用输入数据的二维结构。与其他深度学习结构 相比，卷积神经网络在图像识别方面能够给出更优的结果。运一模型也可W使用反向传播 算法进行训练。相比较其他深度、前馈神经网络，卷积神经网络需要估计的参数更少。一般 地，α^Ν的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受 域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随 之确定下来;其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是 一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数 作为卷积网络的激活函数，使得特征映射具有位移不变性。此外，由于一个映射面上的神经 元共享权值，因而减少了网络自由参数的个数。卷积神经网络中的每一个卷积层都紧跟着 一个用来求局部平均与二次提取的计算层，运种特有的两次特征提取结构减小了特征分辨 率。深度学习的本质类似于统计学习方法，构建具有多隐层的机器学习模型后，通过海量的 训练数据来学习特征，从而提高分类和预测的准确率。深度学习对比与浅层学习来说，强调 了模型结构的深度(层数），同时明确提出特征学习的重要性。
[0027] 具体地，给定输入图像I，其中待划分多尺度的图像为Xn，n为正整数，可得： Vne {!，...，4，X1与巧着相同的分辨率。为了保证图像局部邻域具有零均值和单位标准偏 差，使用拉普拉斯金字塔作为多尺度预处理。对多尺度中的特征图maps,通过scaling/ normalizing函数gn来计算，可得:Xn = gn(I)，ne {1, ,S}。然后给定一个卷积神经网络 与反卷积神经网络串联fn和其参数θη，则多尺度神经网络会通过实例化单个神经网络的尺 度n，并共享所有的参数：
[002引 θ = θ0，ν? 色{),...,5}
[0029] S104、利用训练缩放后的图像和缩放后的图像对应的道路区域标定，对卷积神经 网络与反卷积神经网络的参数进行训练；
[0030] 缩放后的图像对应的道路区域标定是指缩放后的图像上，根据预置的标定方法对 缩放后的图像中的道路区域进行的标定。
[0031] S105、通过与该神经网络链接的全链接层输出与原始图像像素相同的一维数组， 并将该一维数组还原为与该原始图像相同大小的结果图像，该结果图像中标出不同类型的 道路。
[0032] 神经网络与全链接层相链接，神经网络将提取的道路特征相关数据通过全链接层 输出，通过pixel-wise的方法对图像中每一个像素点进行预测，在该全链接层输出与训练 样本中的原始图像像素相同的一维数组。将该一维数组还原转换为与该原始图像相同大小 的结果图像。该图像为原始图像提取出来的mask,该结果图像中标出不同类型的道路，例 如，标注时，通过不同颜色代表国道、省道、县道等不同类型的道路。
[0033] 在输出该一位数组之前，为了更好的区分道路区域和边缘，通过欧氏距离对提出 的道路特征的像素进行回归拟合，之后再输出该一维数组。
[0034] 此时，可对该结果图像进行纠错，当验证出该训练样本训练失败时，使用Ground Truth进行fine-tuning并拟合Ground Truth纠正发生错误的训练样本的训练结果。可W 是，1)通过拟合Ground Truth来纠正分类错误的样本;2)根据特定测试图像的错误增加正 负样本的修正;3)实际上，训练的样本数量级还是偏少，为了避免过拟合，使用化opout的办 法作为tricks。
[0035] 至此，神经网络完成对图像的学习和训练。
[0036] S106、使用预置标准对该结果图像进行处理，W还原出道路的分割结果。
[0037] 使用KITTI-R0AD提供的标准进行图像处理，还原出道路分割的结果，生成对原始 图像的交通道路情况深度分析后的最终图像，该最终图像可W反映交通道路各区域。
[0038] S107、将待检测图像输入训练成功的该神经网络中，得到完成道路分割与该待检 测图像对应的结果图像。
[0039] 该待检测图像来自不同的交通场景图片或者数据集中的测试图片。
[0040] 将待检测图像输入训练成功的该神经网络中，结果会输出一幅与原待检测图像尺 度相同但类别不同的mask图像，即结果图像，该结果图像中标出了不同道路类型。通过 KITTI-R0AD提供的工具对该结果图像进行精度评估和结果美化。
[0041] 本发明实施例中，通过将多尺度的图像输入神经网络，能有效地提取局部道路特 征，且卷积神经网络与反卷神经网络构成的神经网络能有效地学习目标道路特征，并且通 过回归拟合来提高深度神经网络学习的特征的准确性，不仅在道路识别精度上有非常高的 性能，而且非常有效地提高了在不同交通场景下的适应能力，通过pixel-wise方法针对图 像每一个像素进行预测，极大地提高了区域内分割的进度，另外，为无人驾驶和辅助驾驶使 用了摄像头相关的传感器也极大地降低了成本。
[0042] 请参阅图2,图2是本发明第一实施例中交通场景深度解析方法的数据处理流程示 意图。
[0043] 该方法的处理流程可分为训练与测试两个部分。
[0044] 其中，训练部分由W下步骤完成：
[0045] 1)将原始图像归一化；
[0046] 使用多个户外交通场景的原始图像集合作为训练样本，用KITTI-R0AD的方法标注 各个原始图像。对于所有已标注的原始图像，归一到同一尺度；
[0047] 2)对归一化后的原始图像进行多尺度处理；
[0048] 归一化之后，通过拉普拉斯金字塔按照一定的比例将各原始图像分别缩放到多个 不同的尺度；
[0049] 3)对应不同大小尺度的图片，提取道路特征对应使用不同的网络；
[0050] 网络结构相同，均为卷积神经网络和反卷积神经网络构成。
[0051] 4)在全链接层通过欧氏距离进行回归拟合；
[0052] 5)输出结果图像；
[0053] 具体通过pixel-wise的方法从全链接层输出与原始图像素数量一样的一维数组， 并转换为与原始图像大小相同的结果图像，该结果图像中道路分类是通过不同的颜色表示 的。
[0054] 在验证结果后，比较当前网络输出的道路预测与Ground化uth(标准）中实际道路 的误差，并根据误差调整神经网络的参数。然后W，调整参数后的神经网络重新预测道路区 域。重复上述过程，直至网络参数收敛或误差小于期望。
[0055] 6)通过KITTI-R0AD方法将输出结果图像转化为道路已分割完毕的最终图像；
[0056] 测试部分由W下步骤完成：
[0057] 1)确定待测试图像；
[0058] 选择不同的交通场景图片或者数据集中的图 像作为待测试图像；
[0059] 2)输入训练好的模型中；
[0060] 在上述训练阶段训练好的神经网络框架中测试。
[0061] 3)输出对应的最终图像。
[0062] 结果会从训练好的模型中输出与待测试图像大小相同类别不同的mask,通过 KITTI-R0AD提供的工具对该mask进行评估精度和美化结果。该结果图像中道路已经分好 类。
[0063] 请参阅图3,图3是本发明第二实施例提供的交通场景深度解析装置的结构示意 图，为了便于说明，仅示出了与本发明实施例相关的部分。图3示例的解析装置可W是前述 图1所示实施例提供的交通场景深度解析方法的执行主体。图3示例的交通场景深度解析装 置，主要包括：
[0064] 样本确定模块301、变换模块302、提取模块303、训练模块304、输出模块305、还原 模块306 W及检测模块307。
[0065] W上各功能模块详细说明如下：
[0066] 其中，样本确定模块301，用于使用多个交通场景数据库中的原始图像数据集和原 始图像对应的道路区域标定作为训练样本；
[0067] 变换模块302,用于通过拉普拉斯金字塔变换方式，将该训练样本中的各原始图像 缩放为多个不同尺度；
[0068] 提取模块303,用于将缩放后的图像输入与不同尺度分别对应的神经网络，W通过 该神经网络提取道路特征，该神经网络由卷积部分与反卷积部分联合组成；
[0069] 训练模块304,用于利用训练缩放后的图像和该缩放后的图像对应的道路区域标 定，对卷积神经网络与反卷积神经网络的参数进行训练；
[0070] 输出模块305,用于通过与该神经网络链接的全链接层输出与原始图像像素相同 的一维数组；
[0071] 还原模块306,用于将该一维数组还原为与该原始图像相同大小的结果图像，该结 果图像中标出不同类型的道路；
[0072] 还原模块306,还用于使用预置标准对该结果图像进行处理，W还原出道路的分割 结果；
[0073] 检测模块307,用于将待检测图像输入训练成功的该神经网络中，得到完成道路分 割与该待检测图像对应的结果图像。
[0074] 本实施例未尽之细节，请参阅前述图1和图2所示实施例的描述，此处不再寶述。
[0075] 需要说明的是，W上图3示例的交通场景深度解析装置的实施方式中，各功能模块 的划分仅是举例说明，实际应用中可W根据需要，例如相应硬件的配置要求或者软件的实 现的便利考虑，而将上述功能分配由不同的功能模块完成，即将交通场景深度解析装置的 内部结构划分成不同的功能模块，W完成W上描述的全部或者部分功能。而且，实际应用 中，本实施例中的相应的功能模块可W是由相应的硬件实现，也可W由相应的硬件执行相 应的软件完成;本说明书提供的各个实施例都可应用上述描述原则。
[0076] 本发明实施例，通过将多尺度的图像输入神经网络，能有效地提取局部道路特征， 且卷积神经网络与反卷神经网络构成的神经网络能有效地学习目标道路特征，并且通过回 归拟合来提高深度神经网络学习的特征的准确性，不仅在道路识别精度上有非常高的性 能，而且非常有效地提高了在不同交通场景下的适应能力，通过pixel-wise方法针对图像 每一个像素进行预测，极大地提高了区域内分割的进度，另外，为无人驾驶和辅助驾驶使用 了摄像头相关的传感器也极大地降低了成本。
[0077] 请参阅图4,本发明第Ξ实施例提供的交通场景深度解析装置，主要包括：
[0078] 样本确定模块401、变换模块402、提取模块403、训练模块404、输出模块405、还原 模块406、预测模块4061、归一模块4062、检测模块407、拟合模块408 W及纠正模块409。
[0079] W上各功能模块详细说明如下：
[0080] 其中，样本确定模块401，用于使用多个交通场景数据库中的原始图像数据集和原 始图像对应的道路区域标定作为训练样本。
[0081] 样本确定模块401，还用于将多个交通场景数据库中的原始图像数据集中的各原 始图像进行归一化处理后，作为训练样本。
[0082] 变换模块402,用于通过拉普拉斯金字塔变换方式，将该训练样本中的各原始图像 缩放为多个不同尺度。
[0083] 提取模块403,用于将缩放后的图像输入与不同尺度分别对应的神经网络，W通过 该神经网络提取道路特征，该神经网络由卷积部分与反卷积部分联合组成。
[0084] 训练模块404,用于利用训练缩放后的图像和该缩放后的图像对应的道路区域标 定，对卷积神经网络与反卷积神经网络的参数进行训练；
[0085] 输出模块405,用于通过与该神经网络链接的全链接层输出与原始图像像素相同 的一维数组。
[0086] 还原模块406,用于将该一维数组还原为与该原始图像相同大小的结果图像，该结 果图像中标出不同类型的道路。
[0087] 还原模块406,还用于使用预置标准对该结果图像进行处理，W还原出道路的分割 结果。
[0088] 检测模块407,用于将待检测图像输入训练成功的该神经网络中，得到完成道路分 割与该待检测图像对应的结果图像。
[0089] 进一步地，该装置还包括：
[0090] 拟合模块408,用于在该全链接层中对提取的道路特征对应的像素进行回归拟合。 [0091 ] 进一步地，还原模块406还包括:预测模块4061和归一模块4062。
[0092] 预测模块4061，用于按照pixel-wise方法根据所述一维数组，对该结果图像的每 一个像素点进行预测。
[0093] 归一模块4062,用于通过插值将不同尺度的结果图像归一到原始图像大小的结果 图像。
[0094] 进一步地，该装置还包括：
[00M] 纠正模块409，用于当验证出所述训练样本训练失败时，使用Ground Truth进行 fine-化ning并拟合Ground Truth纠正发生错误的训练样本的训练结果。纠正模块409执行 过程具体请参考前述其他模块，此处不再寶述。
[0096] 进一步地，样本确定模块401，还用于将多个交通场景数据库中的原始图像数据集 中的各原始图像进行归一化处理后，和归一化处理后的图像对应的道路区域标定作为训练 样本。
[0097] 本实施例未尽之细节，请参阅前述图1和图2所示实施例的描述，此处不再寶述。
[0098] 本发明实施例，通过将多尺度的图像输入神经网络，能有效地提取局部道路特征， 且卷积神经网络与反卷神经网络构成的神经网络能有效地学习目标道路特征，并且通过回 归拟合来提高深度神经网络学习的特征的准确性，不仅在道路识别精度上有非常高的性 能，而且非常有效地提高了在不同交通场景下的适应能力，通过pixel-wise方法针对图像 每一个像素进行预测，极大地提高了区域内分割的进度，另外，为无人驾驶和辅助驾驶使用 了摄像头相关的传感器也极大地降低了成本。
[0099] 在本申请所提供的多个实施例中，应该理解到，所掲露的装置和方法，可W通过其 它的方式实现。例如，W上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅 仅为一种逻辑功能划分，实际实现时可W有另外的划分方式，例如多个模块或组件可W结 合或者可W集成到另一个系统，或一些特征可W忽略，或不执行。另 一点，所显示或讨论的 相互之间的禪合或直接禪合或通信链接可W是通过一些接口，装置或模块的间接禪合或通 信链接，可W是电性，机械或其它的形式。
[0100] 所述作为分离部件说明的模块可W是或者也可W不是物理上分开的，作为模块显 示的部件可W是或者也可W不是物理模块，即可W位于一个地方，或者也可W分布到多个 网络模块上。可W根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目 的。
[0101] 另外，在本发明各个实施例中的各功能模块可W集成在一个处理模块中，也可W 是各个模块单独物理存在，也可W两个或两个W上模块集成在一个模块中。上述集成的模 块既可W采用硬件的形式实现，也可W采用软件功能模块的形式实现。
[0102] 所述集成的模块如果W软件功能模块的形式实现并作为独立的产品销售或使用 时，可W存储在一个计算机可读取存储介质中。基于运样的理解，本发明的技术方案本质上 或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可软件产品的形式 体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用W使得一台计算机 设备(可W是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全 部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM,Read-Only Memo巧）、随机存取存储器(RAM,Random Access Memcxry)、磁碟或者光盘等各种可W存储程 序代码的介质。
[0103] 需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列 的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为 依据本发明，某些步骤可W采用其它顺序或者同时进行。其次，本领域技术人员也应该知 悉，说明书中所描述的实施例均属于优选实施例，所设及的动作和模块并不一定都是本发 明所必须的。
[0104] 在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部 分，可W参见其它实施例的相关描述。
[0105] W上为对本发明所提供的交通场景深度解析方法及装置的描述，对于本领域的一 般技术人员，依据本发明实施例的思想，在【具体实施方式】及应用范围上均会有改变之处，综 上，本说明书内容不应理解为对本发明的限制。
【主权项】
1. 一种交通场景深度解析方法，其特征在于，所述方法包括： 使用多个交通场景数据库中的原始图像数据集和原始图像对应的道路区域标定作为 训练样本； 通过拉普拉斯金字塔变换方式，将所述训练样本中的各原始图像缩放为多个不同尺 度； 将缩放后的图像输入与不同尺度分别对应的神经网络，以通过所述神经网络提取道路 特征，所述神经网络由卷积神经网络部分与反卷积神经网络部分联合组成； 利用训练缩放后的图像和所述缩放后的图像对应的道路区域标定，对卷积神经网络与 反卷积神经网络的参数进行训练； 通过与所述神经网络链接的全链接层输出与原始图像像素相同的一维数组，并将所述 一维数组还原为与所述原始图像相同大小的结果图像，所述结果图像中标出不同类型的道 路； 使用预置标准对所述结果图像进行处理，以还原出道路的分割结果； 将待检测图像输入训练成功的所述神经网络中，得到完成道路分割与该待检测图像对 应的结果图像。2. 根据权利要求1所述的方法，其特征在于，所述通过与所述神经网络链接的全链接层 输出与原始图像像素相同的一维数组之前包括： 在所述全链接层中对提取的道路特征对应的像素进行回归拟合。3. 根据权利要求1或2所述的方法，其特征在于，所述将所述一维数组还原为与所述原 始图像相同大小的结果图像包括： 按照pixel-wise方法根据所述一维数组，对所述结果图像的每一个像素点进行预测， 并通过插值将不同尺度的结果图像归一到原始图像大小的结果图像。4. 根据权利要求3所述的方法，其特征在于，所述方法还包括： 比较当前网络输出的道路区域预测结果与预置标准中实际道路区域的误差，并根据误 差调整神经网络的参数； 按照调整参数后的神经网络重新预测道路区域，直至网络参数达到预置期望值。5. 根据权利要求4所述的方法，其特征在于，所述使用多个交通场景数据库中的原始图 像数据集和原始图像对应的道路区域标定作为训练样本包括： 将多个交通场景数据库中的原始图像数据集中的各原始图像进行归一化处理后，和归 一化处理后的图像对应的道路区域标定作为训练样本。6. -种交通场景深度解析装置，其特征在于，所述装置包括： 样本确定模块，用于使用多个交通场景数据库中的原始图像数据集和原始图像对应的 道路区域标定作为训练样本； 变换模块，用于通过拉普拉斯金字塔变换方式，将所述训练样本中的各原始图像缩放 为多个不同尺度； 提取模块，用于将缩放后的图像输入与不同尺度分别对应的神经网络，以通过所述神 经网络提取道路特征，所述神经网络由卷积神经网络部分与反卷积神经网络部分联合组 成； 训练模块，用于利用训练缩放后的图像和所述缩放后的图像对应的道路区域标定，对 卷积神经网络与反卷积神经网络的参数进行训练； 输出模块，用于通过与所述神经网络链接的全链接层输出与原始图像像素相同的一维 数组； 还原模块，用于将所述一维数组还原为与所述原始图像相同大小的结果图像，所述结 果图像中标出不同类型的道路； 所述还原模块，还用于使用预置标准对所述结果图像进行处理，以还原出道路的分割 结果； 检测模块，用于将待检测图像输入训练成功的所述神经网络中，得到完成道路分割与 该待检测图像对应的结果图像。7. 根据权利要求6所述的装置，其特征在于，所述装置还包括： 拟合模块，用于在所述全链接层中对提取的道路特征对应的像素进行回归拟合。8. 根据权利要求6或7所述的装置，其特征在于，所述还原模块包括： 预测模块，用于按照pixel-wise方法根据所述一维数组，对所述结果图像的每一个像 素点进行预测； 归一模块，用于通过插值将不同尺度的结果图像归一到原始图像大小的结果图像。9. 根据权利要求8所述的装置，其特征在于，所述装置还包括： 纠正模块，用于比较当前网络输出的道路区域预测结果与预置标准中实际道路区域的 误差，并根据误差调整神经网络的参数。10. 根据权利要求9所述的装置，其特征在于，所述样本确定模块，还用于将多个交通场 景数据库中的原始图像数据集中的各原始图像进行归一化处理后，和归一化处理后的图像 对应的道路区域标定作为训练样本。
【专利摘要】本发明公开了交通场景深度解析方法及装置，包括：使用多个交通场景数据库中的原始图像数据集和原始图像对应的道路区域标定作为训练样本，通过拉普拉斯金字塔变换方式，将其中各原始图像缩放为多个不同尺度，并输入与不同尺度分别对应的神经网络，神经网络由卷积神经网络部分与反卷积神经网络部分联合组成，通过与神经网络链接的全链接层输出与原始图像像素相同的一维数组，并还原为与原始图像相同大小的结果图像，其中标出不同类型的道路，使用预置标准对结果图像进行处理，以还原出道路的分割结果，将待检测图像输入训练成功的神经网络中，得到完成道路分割与待检测图像对应的结果图像。本发明可提高交通场景解析的准确度。
【IPC分类】G06K9/62, G06K9/00
【公开号】CN105488534
【申请号】CN201510887525
【发明人】乔宇, 陈翔
【申请人】中国科学院深圳先进技术研究院
【公开日】2016年4月13日
【申请日】2015年12月4日
【技术领域】
[0001] 本发明属于数据分析技术领域，尤其设及一种交通场景深度解析方法、装置及系 统。
【背景技术】
[0002] 交通场景对汽车驾驶来说极其复杂，采用摄像头采样进行分析的方法能高效快速 地评估当前场景，应用到自动驾驶系统和辅助驾驶系统中，最重要的功能之一就是要准确 地分析该场景图像中道路区域信息。
[0003] 现有技术中，有的是使用四线激光雷达探测道路，但运种探测方法对道路边缘要 求极高，在无明显边界的道路中，道路探测效果不好并且在变化万千的交通场景中道路数 据的采样性不具有通用型。有的采用了统计学习方法来拟合相邻像素的特征，只要增加不 同类型道路的训练样本，也可W解决道路多样性问题，但是使用最大流/最小割算法获得道 路区域，由于权值估计会因为实际道路样本的扭曲和不清晰等原因，无法很好地通过权值 估计器获得正确的参数，在一些光照等原因导致特别敏感的场景，该方法也失去了去识别 道路的能力。在W上现有技术中，由于实际上交通场景非常多样化，它们针对不同的路况不 具有自适应的能力，对交通场景道路情况的识别精确性不高。
【发明内容】
[0004] 本发明提供交通场景深度解析方法及装置，可通过将多尺度的图像输入卷积神经 网络与反卷神经网络构成的神经网络，可有效地学习目标道路特征，并且通过回归拟合来 提高深度神经网络学习的特征的准确性，提高交通场景解析的准确度。
[0005] 本发明提供的交通场景深度解析方法，包括：
[0006] 使用多个交通场景数据库中的原始图像数据集和原始图像对应的道路区域标定 作为训练样本;通过拉普拉斯金字塔变换方式，将所述训练样本中的各原始图像缩放为多 个不同尺度;将缩放后的图像输入与不同尺度分别对应的神经网络，W通过所述神经网络 提取道路特征，所述神经网络由卷积神经网络部分与反卷积神经网络部分联合组成;利用 训练缩放后的图像和所述缩放后的图像对应的道路区域标定，对卷积神经网络与反卷积神 经网络的参数进行训练;通过与所述神经网络链接的全链接层输出与原始图像像素相同的 一维数组，并将所述一维数组还原为与所述原始图像相同大小的结果图像，所述结果图像 中标出不同类型的道路;使用预置标准对所述结果图像进行处理，W还原出道路的分割结 果;将待检测图像输入训练成功的所述神经网络中，得到完成道路分割与该待检测图像对 应的结果图像。
[0007] 本发明提供的交通场景深度解析装置，包括：
[000引样本确定模块，用于使用多个交通场景数据库中的原始图像数据集和原始图像对 应的道路区域标定作为训练样本;变换模块，用于通过拉普拉斯金字塔变换方式，将所述训 练样本中的各原始图像缩放为多个不同尺度;提取模块，用于将缩放后的图像输入与不同 尺度分别对应的神经网络，w通过所述神经网络提取道路特征，所述神经网络由卷积神经 网络部分与反卷积神经网络部分联合组成；训练模块，用于利用训练缩放后的图像和所述 缩放后的图像对应的道路区域标定，对卷积神经网络与反卷积神经网络的参数进行训练； 输出模块，用于通过与所述神经网络链接的全链接层输出与原始图像像素相同的一维数 组;还原模块，用于将所述一维数组还原为与所述原始图像相同大小的结果图像，所述结果 图像中标出不同类型的道路;所述还原模块，还用于使用预置标准对所述结果图像进行处 理，W还原出道路的分割结果;检测模块，用于将待检测图像输入训练成功的所述神经网络 中，得到完成道路分割与该待检测图像对应的结果图像。
[0009] 从上述本发明实施例可知，本发明通过将多尺度的图像输入神经网络，能有效地 提取局部道路特征，且卷积神经网络与反卷神经网络构成的神经网络能有效地学习目标道 路特征，并且通过回归拟合来提高深度神经网络学习的特征的准确性，不仅在道路识别精 度上有非常高的性能，而且非常有效地提高了在不同交通场景下的适应能力，通过pixel-wise 方法针对图像每一个像素进行预测 ，极大地提高 了区域 内分割 的进度 ，另外 ，为无人驾 驶和辅助驾驶使用了摄像头相关的传感器也极大地降低了成本。
【附图说明】
[0010] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可 W根据运些附图获得其他的附图。
[0011] 图1是本发明第一实施例提供的交通场景深度解析方法的实现流程示意图；
[0012] 图2是本发明第一实施例中交通场景深度解析方法的数据处理流程示意图；
[0013] 图3是本发明第二实施例提供的交通场景深度解析装置的结构示意图；
[0014] 图4是本发明第Ξ实施例提供的交通场景深度解析装置的结构示意图。
【具体实施方式】
[001引为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明 实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实 施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域普通技 术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范 围。
[0016] 本发明各实施例的方案主要针对交通场景中的道路与道路线进行分割。通过训练 样本训练出一个像素级的分类器，可对采集到的交通图像中每一个像素进行分类，来判断 交通图像中不同区域所属类别，W还原交通图像对应的实际交通场景的道路状况。
[0017] 请参阅图1，图1为本发明第一实施例提供的交通场景深度解析方法的实现流程示 意图，主要包括W下步骤S101至步骤S107:
[0018] S101、使用多个交通场景数据库中的原始图像数据集和原始图像对应的道路区域 标定作为训练样本。
[0019] 例如使用KITTI-R0AD与LabelMe的图像数据集和运些图像对应的道路区域标定作 为训练样本，中间加入少量扭曲与旋转的图像，增加训练出的分类器的准确度。
[0020] 为便于后续图像的处理，可将多个交通场景数据库中的原始图像数据集中的各原 始图像进行归一化处理后，和归一化处理后的图像对应的道路区域标定作为训练样本。具 体地，对原始图像数据集中的各个图像进行标注和归一化处理，标注的方法与KITTI-R0AD 的标注方法相同，将所有已标注的图像归一到同一尺度，例如图像大小为375*375。
[0021] S102、通过拉普拉斯金字塔变换方式，将该训练样本中的各原始图像缩放为多个 不同尺度。
[0022] 将训练样本中的各图像进行拉普拉斯金字塔变换进行尺度缩放，若进行了归一化 处理，则是归一化处理后的各原始图像按照拉普拉斯金字塔变换方式进行尺度的缩放，即 按照设置的比例缩放到多个不同的尺度。数量默认为4个尺度，可根据道路的复杂情况进行 不同尺度数量的增加，例如存在多条不相连的道路时，认为是复杂情况，可适量增加不同尺 度的数量。
[0023] S103、将缩放后的图像输入与不同尺度分别对应的神经网络，W通过该神经网络 提取道路特征，该神经网络由卷积神经网络部分与反卷积神经网络部分联合组成；
[0024] 其中卷积神经网络部分使用的是VGG16层的卷积网络结构，而反卷积神经网络则 像卷积网络的倒 影般相反，对应于卷积部分的卷积层，反卷积部分为反卷积层，而池化层则 为反池化层，运样的网络部署可提升图像的分辨率。
[0025] 将不同尺度大小的图像，对应输入不同的神经网络，由该神经网络提取图像中的 道路特征。运些神经网络的结构相同，为卷积神经网络与反卷积神经网络组成。
[0026] 卷积神经网络(C順，Convolutional化ural化twork)由一个或多个卷积层和顶 端的全链接层（对应经典的神经网络）组成，同时也包括关联权重和池化层（pooling layer)。运一结构使得卷积神经网络能够利用输入数据的二维结构。与其他深度学习结构 相比，卷积神经网络在图像识别方面能够给出更优的结果。运一模型也可W使用反向传播 算法进行训练。相比较其他深度、前馈神经网络，卷积神经网络需要估计的参数更少。一般 地，α^Ν的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受 域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随 之确定下来;其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是 一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数 作为卷积网络的激活函数，使得特征映射具有位移不变性。此外，由于一个映射面上的神经 元共享权值，因而减少了网络自由参数的个数。卷积神经网络中的每一个卷积层都紧跟着 一个用来求局部平均与二次提取的计算层，运种特有的两次特征提取结构减小了特征分辨 率。深度学习的本质类似于统计学习方法，构建具有多隐层的机器学习模型后，通过海量的 训练数据来学习特征，从而提高分类和预测的准确率。深度学习对比与浅层学习来说，强调 了模型结构的深度(层数），同时明确提出特征学习的重要性。
[0027] 具体地，给定输入图像I，其中待划分多尺度的图像为Xn，n为正整数，可得： Vne {!，...，4，X1与巧着相同的分辨率。为了保证图像局部邻域具有零均值和单位标准偏 差，使用拉普拉斯金字塔作为多尺度预处理。对多尺度中的特征图maps,通过scaling/ normalizing函数gn来计算，可得:Xn = gn(I)，ne {1, ,S}。然后给定一个卷积神经网络 与反卷积神经网络串联fn和其参数θη，则多尺度神经网络会通过实例化单个神经网络的尺 度n，并共享所有的参数：
[002引 θ = θ0，ν? 色{),...,5}
[0029] S104、利用训练缩放后的图像和缩放后的图像对应的道路区域标定，对卷积神经 网络与反卷积神经网络的参数进行训练；
[0030] 缩放后的图像对应的道路区域标定是指缩放后的图像上，根据预置的标定方法对 缩放后的图像中的道路区域进行的标定。
[0031] S105、通过与该神经网络链接的全链接层输出与原始图像像素相同的一维数组， 并将该一维数组还原为与该原始图像相同大小的结果图像，该结果图像中标出不同类型的 道路。
[0032] 神经网络与全链接层相链接，神经网络将提取的道路特征相关数据通过全链接层 输出，通过pixel-wise的方法对图像中每一个像素点进行预测，在该全链接层输出与训练 样本中的原始图像像素相同的一维数组。将该一维数组还原转换为与该原始图像相同大小 的结果图像。该图像为原始图像提取出来的mask,该结果图像中标出不同类型的道路，例 如，标注时，通过不同颜色代表国道、省道、县道等不同类型的道路。
[0033] 在输出该一位数组之前，为了更好的区分道路区域和边缘，通过欧氏距离对提出 的道路特征的像素进行回归拟合，之后再输出该一维数组。
[0034] 此时，可对该结果图像进行纠错，当验证出该训练样本训练失败时，使用Ground Truth进行fine-tuning并拟合Ground Truth纠正发生错误的训练样本的训练结果。可W 是，1)通过拟合Ground Truth来纠正分类错误的样本;2)根据特定测试图像的错误增加正 负样本的修正;3)实际上，训练的样本数量级还是偏少，为了避免过拟合，使用化opout的办 法作为tricks。
[0035] 至此，神经网络完成对图像的学习和训练。
[0036] S106、使用预置标准对该结果图像进行处理，W还原出道路的分割结果。
[0037] 使用KITTI-R0AD提供的标准进行图像处理，还原出道路分割的结果，生成对原始 图像的交通道路情况深度分析后的最终图像，该最终图像可W反映交通道路各区域。
[0038] S107、将待检测图像输入训练成功的该神经网络中，得到完成道路分割与该待检 测图像对应的结果图像。
[0039] 该待检测图像来自不同的交通场景图片或者数据集中的测试图片。
[0040] 将待检测图像输入训练成功的该神经网络中，结果会输出一幅与原待检测图像尺 度相同但类别不同的mask图像，即结果图像，该结果图像中标出了不同道路类型。通过 KITTI-R0AD提供的工具对该结果图像进行精度评估和结果美化。
[0041] 本发明实施例中，通过将多尺度的图像输入神经网络，能有效地提取局部道路特 征，且卷积神经网络与反卷神经网络构成的神经网络能有效地学习目标道路特征，并且通 过回归拟合来提高深度神经网络学习的特征的准确性，不仅在道路识别精度上有非常高的 性能，而且非常有效地提高了在不同交通场景下的适应能力，通过pixel-wise方法针对图 像每一个像素进行预测，极大地提高了区域内分割的进度，另外，为无人驾驶和辅助驾驶使 用了摄像头相关的传感器也极大地降低了成本。
[0042] 请参阅图2,图2是本发明第一实施例中交通场景深度解析方法的数据处理流程示 意图。
[0043] 该方法的处理流程可分为训练与测试两个部分。
[0044] 其中，训练部分由W下步骤完成：
[0045] 1)将原始图像归一化；
[0046] 使用多个户外交通场景的原始图像集合作为训练样本，用KITTI-R0AD的方法标注 各个原始图像。对于所有已标注的原始图像，归一到同一尺度；
[0047] 2)对归一化后的原始图像进行多尺度处理；
[0048] 归一化之后，通过拉普拉斯金字塔按照一定的比例将各原始图像分别缩放到多个 不同的尺度；
[0049] 3)对应不同大小尺度的图片，提取道路特征对应使用不同的网络；
[0050] 网络结构相同，均为卷积神经网络和反卷积神经网络构成。
[0051] 4)在全链接层通过欧氏距离进行回归拟合；
[0052] 5)输出结果图像；
[0053] 具体通过pixel-wise的方法从全链接层输出与原始图像素数量一样的一维数组， 并转换为与原始图像大小相同的结果图像，该结果图像中道路分类是通过不同的颜色表示 的。
[0054] 在验证结果后，比较当前网络输出的道路预测与Ground化uth(标准）中实际道路 的误差，并根据误差调整神经网络的参数。然后W，调整参数后的神经网络重新预测道路区 域。重复上述过程，直至网络参数收敛或误差小于期望。
[0055] 6)通过KITTI-R0AD方法将输出结果图像转化为道路已分割完毕的最终图像；
[0056] 测试部分由W下步骤完成：
[0057] 1)确定待测试图像；
[0058] 选择不同的交通场景图片或者数据集中的图 像作为待测试图像；
[0059] 2)输入训练好的模型中；
[0060] 在上述训练阶段训练好的神经网络框架中测试。
[0061] 3)输出对应的最终图像。
[0062] 结果会从训练好的模型中输出与待测试图像大小相同类别不同的mask,通过 KITTI-R0AD提供的工具对该mask进行评估精度和美化结果。该结果图像中道路已经分好 类。
[0063] 请参阅图3,图3是本发明第二实施例提供的交通场景深度解析装置的结构示意 图，为了便于说明，仅示出了与本发明实施例相关的部分。图3示例的解析装置可W是前述 图1所示实施例提供的交通场景深度解析方法的执行主体。图3示例的交通场景深度解析装 置，主要包括：
[0064] 样本确定模块301、变换模块302、提取模块303、训练模块304、输出模块305、还原 模块306 W及检测模块307。
[0065] W上各功能模块详细说明如下：
[0066] 其中，样本确定模块301，用于使用多个交通场景数据库中的原始图像数据集和原 始图像对应的道路区域标定作为训练样本；
[0067] 变换模块302,用于通过拉普拉斯金字塔变换方式，将该训练样本中的各原始图像 缩放为多个不同尺度；
[0068] 提取模块303,用于将缩放后的图像输入与不同尺度分别对应的神经网络，W通过 该神经网络提取道路特征，该神经网络由卷积部分与反卷积部分联合组成；
[0069] 训练模块304,用于利用训练缩放后的图像和该缩放后的图像对应的道路区域标 定，对卷积神经网络与反卷积神经网络的参数进行训练；
[0070] 输出模块305,用于通过与该神经网络链接的全链接层输出与原始图像像素相同 的一维数组；
[0071] 还原模块306,用于将该一维数组还原为与该原始图像相同大小的结果图像，该结 果图像中标出不同类型的道路；
[0072] 还原模块306,还用于使用预置标准对该结果图像进行处理，W还原出道路的分割 结果；
[0073] 检测模块307,用于将待检测图像输入训练成功的该神经网络中，得到完成道路分 割与该待检测图像对应的结果图像。
[0074] 本实施例未尽之细节，请参阅前述图1和图2所示实施例的描述，此处不再寶述。
[0075] 需要说明的是，W上图3示例的交通场景深度解析装置的实施方式中，各功能模块 的划分仅是举例说明，实际应用中可W根据需要，例如相应硬件的配置要求或者软件的实 现的便利考虑，而将上述功能分配由不同的功能模块完成，即将交通场景深度解析装置的 内部结构划分成不同的功能模块，W完成W上描述的全部或者部分功能。而且，实际应用 中，本实施例中的相应的功能模块可W是由相应的硬件实现，也可W由相应的硬件执行相 应的软件完成;本说明书提供的各个实施例都可应用上述描述原则。
[0076] 本发明实施例，通过将多尺度的图像输入神经网络，能有效地提取局部道路特征， 且卷积神经网络与反卷神经网络构成的神经网络能有效地学习目标道路特征，并且通过回 归拟合来提高深度神经网络学习的特征的准确性，不仅在道路识别精度上有非常高的性 能，而且非常有效地提高了在不同交通场景下的适应能力，通过pixel-wise方法针对图像 每一个像素进行预测，极大地提高了区域内分割的进度，另外，为无人驾驶和辅助驾驶使用 了摄像头相关的传感器也极大地降低了成本。
[0077] 请参阅图4,本发明第Ξ实施例提供的交通场景深度解析装置，主要包括：
[0078] 样本确定模块401、变换模块402、提取模块403、训练模块404、输出模块405、还原 模块406、预测模块4061、归一模块4062、检测模块407、拟合模块408 W及纠正模块409。
[0079] W上各功能模块详细说明如下：
[0080] 其中，样本确定模块401，用于使用多个交通场景数据库中的原始图像数据集和原 始图像对应的道路区域标定作为训练样本。
[0081] 样本确定模块401，还用于将多个交通场景数据库中的原始图像数据集中的各原 始图像进行归一化处理后，作为训练样本。
[0082] 变换模块402,用于通过拉普拉斯金字塔变换方式，将该训练样本中的各原始图像 缩放为多个不同尺度。
[0083] 提取模块403,用于将缩放后的图像输入与不同尺度分别对应的神经网络，W通过 该神经网络提取道路特征，该神经网络由卷积部分与反卷积部分联合组成。
[0084] 训练模块404,用于利用训练缩放后的图像和该缩放后的图像对应的道路区域标 定，对卷积神经网络与反卷积神经网络的参数进行训练；
[0085] 输出模块405,用于通过与该神经网络链接的全链接层输出与原始图像像素相同 的一维数组。
[0086] 还原模块406,用于将该一维数组还原为与该原始图像相同大小的结果图像，该结 果图像中标出不同类型的道路。
[0087] 还原模块406,还用于使用预置标准对该结果图像进行处理，W还原出道路的分割 结果。
[0088] 检测模块407,用于将待检测图像输入训练成功的该神经网络中，得到完成道路分 割与该待检测图像对应的结果图像。
[0089] 进一步地，该装置还包括：
[0090] 拟合模块408,用于在该全链接层中对提取的道路特征对应的像素进行回归拟合。 [0091 ] 进一步地，还原模块406还包括:预测模块4061和归一模块4062。
[0092] 预测模块4061，用于按照pixel-wise方法根据所述一维数组，对该结果图像的每 一个像素点进行预测。
[0093] 归一模块4062,用于通过插值将不同尺度的结果图像归一到原始图像大小的结果 图像。
[0094] 进一步地，该装置还包括：
[00M] 纠正模块409，用于当验证出所述训练样本训练失败时，使用Ground Truth进行 fine-化ning并拟合Ground Truth纠正发生错误的训练样本的训练结果。纠正模块409执行 过程具体请参考前述其他模块，此处不再寶述。
[0096] 进一步地，样本确定模块401，还用于将多个交通场景数据库中的原始图像数据集 中的各原始图像进行归一化处理后，和归一化处理后的图像对应的道路区域标定作为训练 样本。
[0097] 本实施例未尽之细节，请参阅前述图1和图2所示实施例的描述，此处不再寶述。
[0098] 本发明实施例，通过将多尺度的图像输入神经网络，能有效地提取局部道路特征， 且卷积神经网络与反卷神经网络构成的神经网络能有效地学习目标道路特征，并且通过回 归拟合来提高深度神经网络学习的特征的准确性，不仅在道路识别精度上有非常高的性 能，而且非常有效地提高了在不同交通场景下的适应能力，通过pixel-wise方法针对图像 每一个像素进行预测，极大地提高了区域内分割的进度，另外，为无人驾驶和辅助驾驶使用 了摄像头相关的传感器也极大地降低了成本。
[0099] 在本申请所提供的多个实施例中，应该理解到，所掲露的装置和方法，可W通过其 它的方式实现。例如，W上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅 仅为一种逻辑功能划分，实际实现时可W有另外的划分方式，例如多个模块或组件可W结 合或者可W集成到另一个系统，或一些特征可W忽略，或不执行。另 一点，所显示或讨论的 相互之间的禪合或直接禪合或通信链接可W是通过一些接口，装置或模块的间接禪合或通 信链接，可W是电性，机械或其它的形式。
[0100] 所述作为分离部件说明的模块可W是或者也可W不是物理上分开的，作为模块显 示的部件可W是或者也可W不是物理模块，即可W位于一个地方，或者也可W分布到多个 网络模块上。可W根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目 的。
[0101] 另外，在本发明各个实施例中的各功能模块可W集成在一个处理模块中，也可W 是各个模块单独物理存在，也可W两个或两个W上模块集成在一个模块中。上述集成的模 块既可W采用硬件的形式实现，也可W采用软件功能模块的形式实现。
[0102] 所述集成的模块如果W软件功能模块的形式实现并作为独立的产品销售或使用 时，可W存储在一个计算机可读取存储介质中。基于运样的理解，本发明的技术方案本质上 或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可软件产品的形式 体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用W使得一台计算机 设备(可W是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全 部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM,Read-Only Memo巧）、随机存取存储器(RAM,Random Access Memcxry)、磁碟或者光盘等各种可W存储程 序代码的介质。
[0103] 需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列 的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为 依据本发明，某些步骤可W采用其它顺序或者同时进行。其次，本领域技术人员也应该知 悉，说明书中所描述的实施例均属于优选实施例，所设及的动作和模块并不一定都是本发 明所必须的。
[0104] 在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部 分，可W参见其它实施例的相关描述。
[0105] W上为对本发明所提供的交通场景深度解析方法及装置的描述，对于本领域的一 般技术人员，依据本发明实施例的思想，在【具体实施方式】及应用范围上均会有改变之处，综 上，本说明书内容不应理解为对本发明的限制。
【主权项】
1. 一种交通场景深度解析方法，其特征在于，所述方法包括： 使用多个交通场景数据库中的原始图像数据集和原始图像对应的道路区域标定作为 训练样本； 通过拉普拉斯金字塔变换方式，将所述训练样本中的各原始图像缩放为多个不同尺 度； 将缩放后的图像输入与不同尺度分别对应的神经网络，以通过所述神经网络提取道路 特征，所述神经网络由卷积神经网络部分与反卷积神经网络部分联合组成； 利用训练缩放后的图像和所述缩放后的图像对应的道路区域标定，对卷积神经网络与 反卷积神经网络的参数进行训练； 通过与所述神经网络链接的全链接层输出与原始图像像素相同的一维数组，并将所述 一维数组还原为与所述原始图像相同大小的结果图像，所述结果图像中标出不同类型的道 路； 使用预置标准对所述结果图像进行处理，以还原出道路的分割结果； 将待检测图像输入训练成功的所述神经网络中，得到完成道路分割与该待检测图像对 应的结果图像。2. 根据权利要求1所述的方法，其特征在于，所述通过与所述神经网络链接的全链接层 输出与原始图像像素相同的一维数组之前包括： 在所述全链接层中对提取的道路特征对应的像素进行回归拟合。3. 根据权利要求1或2所述的方法，其特征在于，所述将所述一维数组还原为与所述原 始图像相同大小的结果图像包括： 按照pixel-wise方法根据所述一维数组，对所述结果图像的每一个像素点进行预测， 并通过插值将不同尺度的结果图像归一到原始图像大小的结果图像。4. 根据权利要求3所述的方法，其特征在于，所述方法还包括： 比较当前网络输出的道路区域预测结果与预置标准中实际道路区域的误差，并根据误 差调整神经网络的参数； 按照调整参数后的神经网络重新预测道路区域，直至网络参数达到预置期望值。5. 根据权利要求4所述的方法，其特征在于，所述使用多个交通场景数据库中的原始图 像数据集和原始图像对应的道路区域标定作为训练样本包括： 将多个交通场景数据库中的原始图像数据集中的各原始图像进行归一化处理后，和归 一化处理后的图像对应的道路区域标定作为训练样本。6. -种交通场景深度解析装置，其特征在于，所述装置包括： 样本确定模块，用于使用多个交通场景数据库中的原始图像数据集和原始图像对应的 道路区域标定作为训练样本； 变换模块，用于通过拉普拉斯金字塔变换方式，将所述训练样本中的各原始图像缩放 为多个不同尺度； 提取模块，用于将缩放后的图像输入与不同尺度分别对应的神经网络，以通过所述神 经网络提取道路特征，所述神经网络由卷积神经网络部分与反卷积神经网络部分联合组 成； 训练模块，用于利用训练缩放后的图像和所述缩放后的图像对应的道路区域标定，对 卷积神经网络与反卷积神经网络的参数进行训练； 输出模块，用于通过与所述神经网络链接的全链接层输出与原始图像像素相同的一维 数组； 还原模块，用于将所述一维数组还原为与所述原始图像相同大小的结果图像，所述结 果图像中标出不同类型的道路； 所述还原模块，还用于使用预置标准对所述结果图像进行处理，以还原出道路的分割 结果； 检测模块，用于将待检测图像输入训练成功的所述神经网络中，得到完成道路分割与 该待检测图像对应的结果图像。7. 根据权利要求6所述的装置，其特征在于，所述装置还包括： 拟合模块，用于在所述全链接层中对提取的道路特征对应的像素进行回归拟合。8. 根据权利要求6或7所述的装置，其特征在于，所述还原模块包括： 预测模块，用于按照pixel-wise方法根据所述一维数组，对所述结果图像的每一个像 素点进行预测； 归一模块，用于通过插值将不同尺度的结果图像归一到原始图像大小的结果图像。9. 根据权利要求8所述的装置，其特征在于，所述装置还包括： 纠正模块，用于比较当前网络输出的道路区域预测结果与预置标准中实际道路区域的 误差，并根据误差调整神经网络的参数。10. 根据权利要求9所述的装置，其特征在于，所述样本确定模块，还用于将多个交通场 景数据库中的原始图像数据集中的各原始图像进行归一化处理后，和归一化处理后的图像 对应的道路区域标定作为训练样本。
【专利摘要】本发明公开了交通场景深度解析方法及装置，包括：使用多个交通场景数据库中的原始图像数据集和原始图像对应的道路区域标定作为训练样本，通过拉普拉斯金字塔变换方式，将其中各原始图像缩放为多个不同尺度，并输入与不同尺度分别对应的神经网络，神经网络由卷积神经网络部分与反卷积神经网络部分联合组成，通过与神经网络链接的全链接层输出与原始图像像素相同的一维数组，并还原为与原始图像相同大小的结果图像，其中标出不同类型的道路，使用预置标准对结果图像进行处理，以还原出道路的分割结果，将待检测图像输入训练成功的神经网络中，得到完成道路分割与待检测图像对应的结果图像。本发明可提高交通场景解析的准确度。
【IPC分类】G06K9/62, G06K9/00
【公开号】CN105488534
【申请号】CN201510887525
【发明人】乔宇, 陈翔
【申请人】中国科学院深圳先进技术研究院
【公开日】2016年4月13日
【申请日】2015年12月4日
最新回复(0)