基于红外-可见光图像的双光谱森林火情监测方法及装置的制造方法
基于红外-可见光图像的双光谱森林火情监测方法及装置的制造方法
【技术领域】
[0001] 本发明实施例涉及移动设备技术领域，尤其涉及一种基于红外-可见光图像的双 光谱森林火情监测方法及装置。
【背景技术】
[0002] 森林火灾是一种突发性强、破坏性大、处置救助较为困难的自然灾害。因此，在林 火险情监测环节中，发现险情的及时性和准确性尤为重要，能够使相关工作人员尽快采取 抢救措施，最大限度的降低森林火灾的损失。
[0003] 目前，云台定点观测是我国采用的主要林火检测手段，为了节省人力，通常采用视 频图像自动检测技术来监测森林火情。常见的视频图像自动检测技术包括基于可见光图像 的火点检测技术和基于遥感图像的火点检测技术。其中，基于可见光图像的火点检测算法 中，利用了火焰的可见光光谱特征(如颜色特征、纹理特征和运动特征等），难以滤除外观与 火焰相似度高的物体(如飘扬的红旗及灯光等），报警准确率低，且算法中火点与背景进行 同样处理，需要计算较大的数据量，效率较低，尤其不适用于在远距离以及低照度环境下的 检测。基于遥感图像的火点检测算法中，主要是利用特定卫星的某些波段经过不同方式的 伪彩色合成、波段代数运算后阈值化得到火点位置，通常需要人工交互处理;此外，遥感数 据为地面站接收、解析、处理并分发出来的，并且遥感图像分辨率低，发现火点时地面可能 已经成灾，因此实时性方面较为逊色。
【发明内容】
[0004] 本发明实施例的目的是提供一种基于红外-可见光图像的双光谱森林火情监测方 法及装置，以解决现有的森林火情监测方案准确度低且实时性差的问题。
[0005] -方面，本发明实施例提供了一种基于红外-可见光图像的双光谱森林火情监测 方法，包括：
[0006] 获取当前场景的红外图像和可见光图像；
[0007] 确定所述红外图像中的疑似火点标记区域；
[0008] 将所述疑似火点标记区域映射到所述可见光图像中的相应位置，得到所述可见光 图像中的感兴趣区域；
[0009] 对所述感兴趣区域内的图像进行验证，根据验证结果确定所述当前场景中是否存 在真实火点。
[0010] 另一方面，本发明实施例提供了一种基于红外-可见光图像的双光谱森林火情监 测装置，包括：
[0011] 图像获取模块，用于获取当前场景的红外图像和可见光图像；
[0012] 疑似火点标记区域确定模块，用于确定所述红外图像中的疑似火点标记区域；
[0013] 映射模块，用于将所述疑似火点标记区域映射到所述可见光图像中的相应位置， 得到所述可见光图像中的感兴趣区域；
[0014] 真实火点确定模块，用于对所述感兴趣区域内的图像进行验证，根据验证结果确 定所述当前场景中是否存在真实火点。
[0015] 本发明实施例中提供的一种基于红外-可见光图像的双光谱森林火情监测方案， 获取当前场景的红外图像和可见光图像后，先确定红外图像中的疑似火点标记区域，再将 疑似火点标记区域映射到所述可见光图像中的相应位置，得到可见光图像中的感兴趣区 域，并对感兴趣区域内的图像进行验证，最后根据验证结果确定当前场景中是否存在真实 火点。通过采用上述技术方案，将红外图像检测识别优势与可见光图像检测识别优势进行 结合，先根据红外图像的成像特征确定疑似火点标记区域，再将疑似火点标记区域映射到 可见光图像中，可消除外观与火焰相似度高但辐射能量与火焰不同的物体对判断结果的干 扰，提升准确度。并且，在可见光图像中仅对感兴趣区域中的图像进行验证，避免了在夜间 场景下的林区图像中亮度低的背景占了绝大部分、所有像素参与计算浪费大量资源的缺 陷，可减少计算量，提升效率，保证火情监测的实时性。此外，上述技术方案既能够克服单可 见光火点识别算法在远距离、低照度环境下的不足，也适用于大范围搜索火点及近距离监 测火情，同遥感图像与可见光图像相结合的方式比，该方案的简便性和实时性同样也十分 突出。
【附图说明】
[0016] 图1为本发明实施例一提供的一种基于红外-可见光图像的双光谱森林火情监测 方法的流程示意图；
[0017] 图2为本发明实施例二提供的一种基于红外-可见光图像的双光谱森林火情监测 方法的流程示意图；
[0018] 图3为本发明实施例三提供的一种优选的基于红外-可见光图像的双光谱森林火 情监测方法的流程示意图；
[0019] 图4为本发明实施例三提供的一种红外热点检测算法流程示意图；
[0020] 图5为本发明实施例三提供的一种可见光疑似火点验证算法流程示意图；
[0021] 图6为本发明实施例四提供的一种基于红外-可见光图像的双光谱森林火情监测 装置的结构框图。
【具体实施方式】
[0022] 下面结合附图并通过【具体实施方式】来进一步说明本发明的技术方案。可以理解的 是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明 的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
[0023] 在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成 作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多 步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作 完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以 对应于方法、函数、规程、子例程、子程序等等。
[0024] 实施例一
[0025]图1为本发明实施例一提供的一种基于红外-可见光图像的双光谱森林火情监测 方法的流程示意图，该方法可以由基于红外-可见光图像的双光谱森林火情监测装置执行， 其中该装置可由软件和/或硬件实现，一般可集成在森林火情监测系统中。如图1所示，该方 法包括：
[0026] 步骤110、获取当前场景的红外图像和可见光图像。
[0027] 示例性的，所述森林火情监测系统可包括球台（又称云台）、红外相机和可见光相 机，还可包括球机控制设备。在开始监测前，需要合理设置球台的巡航方式及预置位，以覆 盖所有待监测区域，在球台上安装红外相机和可见光相机，并对红外相机和可见光相机的 位置以及各项参数等进行调整。上述准备工作完毕后，可由球机控制设备控制球台转动到 预置位位置，实时获取红外相机和可见光相机的数据，即本步骤中的获取当前场景的红外 图像和可见光图像。
[0028] 需要说明的是，红外相机的取景范围大小与可见光相机的取景范围大小可相同也 可不同。如果不同，优选的，可见光相机的取景范围大于红外相机的取景范围。也就是说，可 见光图像中包含红外图像中的所有景象，还可包含红外图像中不存在的其他景象。
[0029]步骤120、确定红外图像中的疑似火点标记区域。
[0030] 红外图像的成像特点是可反映不同物体向外辐射能量的差异，也即可反映物体的 热量特征。示例性的，因为物体的热量特征能够以红外图像中的亮度值进行衡量，热量较高 的物体在红外图像中的亮度值较高，而热量较低的物体在红外图像中的亮度值较低，所以 可根据红外图像中的亮度值分布特点来初步挑选出符合火焰的热量特征的区域，从而确定 红外图像中的疑似火点标记区域。疑似火点标记区域中包含了疑似火点的景物。
[0031] 示例性的，所述疑似火点标记区域的形状和大小不作具体限定，可预先进行设置， 也可根据实际的亮度值分布特点进行自动调整。优选的，为了分析方便，所述疑似火点标记 区域具体可为疑似火点矩形标记区域。
[0032] 进一步的，本步骤可优选为:根据红外图像中的亮度值分布特点将红外图像分割 成多个区域，采用矩形标记将亮度值高于预设亮度阈值的区域圈定为疑似火点矩形标记区 域。示例性的，进行区域分割时，可将亮度值较为接近的像素分割到同一个区域中，详尽的 分割方式此处不作限定。在采用矩形标记圈定疑似火点矩形标记区域时，可计算当前区域 中亮度值的平均值是否高于预设亮度阈值，若是，则将当前区域圈定为疑似火点矩形标记 区域。
[0033] 步骤130、将疑似火点标记区域映射到可见光图像中的相应位置，得到可见光图像 中的感兴趣区域。
[0034] 示例性的，红外图像和可见光图像同时包含了当前场景，所以从红外图像中确定 的疑似火点标记区域中包含的景物也同样存在于可见光图像中。需要说明的是，本实施例 中将疑似火点标记区域映射到可见光图像中的相应位置是指，将疑似火点标记区域的边界 映射到可见光图像的相应位置，而非将疑似火点标记区域中包含的图像内容复制到可见光 图像的相应位置。根据预设算法将红外图像中的疑似火点标记区域映射到可见光图像中的 相应位置，得到可见光图像中的感兴趣区域(region of interest，R0I)，所以感兴趣区域 中同样包含疑似火点的景物，该疑似火点的景物在可见光图像中的分辨率更高，更有利于 做进一步的是否为真实火点的验证。需要说明的是，所述预设算法不是唯一的，例如，可参 照红外-可见光相机联合标定技术，得到红外图像与可见光图像之间像素级对应 的映射矩 阵，利用该映射矩阵可以将红外图像中的疑似火点标记区域集合映射到可见光图像上。本 领域技术人员可根据实际应用情况以及森林火情监测系统的配置情况选取合适的预设算 法，本实施例不作具体限定。
[0035]需要说明的是，红外图像中的疑似火点标记区域可以为多个，所以对应的可见光 图像中的感兴趣区域也可以为多个。
[0036]步骤140、对感兴趣区域内的图像进行验证，根据验证结果确定当前场景中是否存 在真实火点。
[0037] 示例性的，对可见光图像中的感兴趣区域内的图像进行验证的方式可参照现有的 验证方式。例如，可对颜色特征、亮度分布特征以及运动特征等方面进行验证。与现有的验 证方式的主要区别在于，现有的验证方式中，需要对整个可见光图像进行验证，对火点以及 背景都进行同样的处理，需要计算较大的数据量，效率较低;而本实施例中，仅对包含疑似 火点的感兴趣区域内的图像进行验证，大大减少了需要计算的数据量，提升效率，保证实时 性。
[0038] 本发明实施例一提供的基于红外-可见光图像的双光谱森林火情监测方法，获取 当前场景的红外图像和可见光图像后，先确定红外图像中的疑似火点标记区域，再将疑似 火点标记区域映射到所述可见光图像中的相应位置，得到可见光图像中的感兴趣区域，并 对感兴趣区域内的图像进行验证，最后根据验证结果确定当前场景中是否存在真实火点。 通过采用上述技术方案，将红外图像检测识别优势与可见光图像检测识别优势进行结合， 先根据红外图像的成像特征确定疑似火点标记区域，再将疑似火点标记区域映射到可见光 图像中，可消除外观与火焰相似度高但辐射能量与火焰不同的物体对判断结果的干扰，提 升准确度。并且，在可见光图像中仅对感兴趣区域中的图像进行验证，避免了在夜间场景下 的林区图像中亮度低的背景占了绝大部分、所有像素参与计算浪费大量资源的缺陷，可减 少计算量，提升效率，保证火情监测的实时性。此外，上述技术方案既能够克服单可见光火 点识别算法在远距离、低照度环境下的不足，也适用于大范围搜索火点及近距离监测火情， 同遥感图像与可见光图像相结合的方式比，该方案的简便性和实时性同样也十分突出。 [0039] 实施例二
[0040]图2为本发明实施例二提供的一种基于红外-可见光图像的双光谱森林火情监测 方法的流程示意图，本实施例以上述实施例为基础进行优化，尤其是采用矩形标记圈定疑 似火点区域，并利用投票机制对多帧红外图像进行处理，提高确定疑似火点矩形标记区域 的准确度，在兼顾到火点可能存在的小幅度摇曳运动的前提下，消除运动车灯等物体造成 的干扰。
[0041 ]具体的，本实施例的方法包括如下步骤：
[0042] 步骤210、获取当前场景的红外图像集合和可见光图像，红外图像集合中包含η帧 对应η个不同时刻的红外图像。
[0043] 步骤220、对于红外图像集合中的每一帧红外图像，根据亮度值分布特点将当前红 外图像分割成多个区域，采用矩形标记将亮度值高于预设亮度阈值的区域圈定为矩形标记 区域;将当前红外图像中的矩形标记区域内的像素标记为1，矩形标记区域外的像素标记为 0〇
[0044] 具体的，红外图像集合可记为{A1，Α2，Α3......An | η>0}，对于每帧红外图像Ai (0〈i〈 η)进行标记，将矩形标记区域内的像素标记为I，矩形标记区域外的像素标记为0。
[0045]步骤230、统计在红外图像集合中的不同红外图像中的相同位置处的像素被标记 为1的次数，采用投票机制将被标记为1的次数不小于预设次数的像素记为1，其他像素记为 0,形成目标二值图像。
[0046]优选的，所述预设次数为0.8η。
[0047]步骤240、对目标二值图像进行轮廓提取，并采用矩形标记圈定疑似火点矩形标记 区域。
[0048]示例性的，执行步骤210-步骤240的好处在于，对η帧红外图像得到的疑似火点矩 形标记区域，采用像素级的投票机制作为最终的判别结果，可消除运动车灯等物体造成的 干扰，同时兼顾到火点可能存在的小幅度摇曳运动，最终得到准确度更高的疑似火点矩形 标记区域。
[0049] 步骤250、采用图像变换模型将疑似火点矩形标记区域映射到可见光图像中的相 应位置，得到可见光图像中的感兴趣区域。
[0050] 具体的，所述图像变换模型具体为：
[0052] 其中，C1表示红外相机，C2表示可见光相机;1?为(：2相对于C 1的旋转矩阵，t*C2相对 于心的位移向量；（m，V1)为空间点在红外图像中的坐标，（U 2，V2)为所述空间点在可见光图 像中的坐标;心为^的内参数矩阵，1(2为(： 2的内参数矩阵;Zcl为所述空间点到(^像平面的距 离，Zc2为所述空间点到&像平面的距离。
[0053] 示例性的，该模型给出了从不同视角获取包含同一场景的两幅图像之间的几何变 换关系，可称之为基于摄像机运动参数的图像变换模型。根据相机厂商提供的设备说明，获 取可见光相机和红外相机的内参数信息，包括焦距、图像中心坐标、像元尺寸等，并将其作 为内参数初始值，即矩阵Ki为和K 2。
[0054]上述模型公式中的旋转矩阵R可以用3个欧拉角来表示，即绕X轴旋转的角度α，绕Y 轴旋转的角度β，绕Z轴旋转的角度γ，R的表达式为
[0056] 上述模型公式中的平移向量t的表达式为t = [ti t2 t3]T。
[0057] 优选的，在将疑似火点矩形标记区域映射到可见光图像中的相应位置之前，可将 疑似火点矩形标记区域的轮廓向外延拓预设数量的像素，形成最终疑似火点标记区域。随 后，将最终疑似火点标记区域映射到可见光图像中的相应位置，得到可见光图像中的感兴 趣区域。这样做的好处在于，可以消除映射过程产生误差而带来的影响。需要说明的是，也 可在将疑似火点矩形标记区域映射到可见光图像中的相应位置之后，得到初始感兴趣区 域，再将初始感兴趣区域轮廓向外延拓预设数量的像素，形成最终的感兴趣区域，同样可到 达消除误差影响的效果。
[0058] 步骤260、对感兴趣区域内的图像进行验证，根据验证结果确定当前场景中是否存 在真实火点。
[0059] 具体的，本步骤可包括:将当前感兴趣区域与预设真火情颜色空间模型进行匹配， 得到第一匹配度;将所述当前感兴趣区域与预设伪火情颜色空间模型进行匹配，得到第二 匹配度;若第一匹配度高于第二匹配度，则确定当前感兴趣区域为疑似火点区域;对可见光 图像中的所有疑似火点区域进行验证，根据验证结果确定当前场景中是否存在真实火点。
[0060] 示例性的，所述预设真火情颜色空间模型和预设伪火情颜色空间模型具体可为利 用混合高斯模型技术分别对真实着火点（如树木、草原等)和干扰热源(如车辆、灯光等)分 别进行颜色空间建模而得到的。匹配度具体可用于衡量感兴趣区域与预设真火情颜色空间 模型或预设伪火情颜色空间模型的接近程度，匹配度越高，则说明与相应的模型越接近。当 对应于预设真火情颜色空间模型的第一匹配度高于对应于预设伪火情颜色空间模型的第 二匹配度时，说明当前感兴趣区域更接近预设真火情颜色空间模型，则可确定当前感兴趣 区域为疑似火点区域。
[0061] 随后，对可见光图像中的所有疑似火点区域进行验证，根据验证结果确定当前场 景中是否存在真实火点。例如，可进行亮度分布检测和运动特征检测等。在进行亮度分布检 测时，可分析火焰像素亮度的分布规律，由内焰的燃烧中心点到外焰边缘，由于燃烧温度的 差异，颜色亮度会逐层递减，利用亮度直方图统计灰度变化规律，并对疑似火点进行筛选； 在进行运动特征检测时，可利用高斯混合模型(Gaussian Mixture Model，GMM;又称混合高 斯模型)背景建模技术进行疑似火点筛选，以进一步消除运动车灯等物体造成的干扰，同时 兼顾到火点可能存在的小幅度摇曳运动，运动特征检测时同样需要多帧可见光图像，优选 的，在获取当前场景的红外图像集合时，同样获取可见光图像集合。
[0062] 本发明实施例二在实施例一的基础上，采用矩形标记圈定疑似火点区域，并利用 投票机制对多帧红外图像进行处理，提高确定疑似火点矩形标记区域的准确度，在兼顾到 火点可能存在的小幅度摇曳运动的前提下，消除运动车灯等物体造成的干扰，可进一步提 高火情监测的准确度。并且，消除运动车灯等物体干扰后，疑似火点矩形标记区域的总面积 也会相应减少，从而使感兴趣区域的总面积减少，可进一步减少计算量，提升效率，保证火 情监测的实时性。
[0063] 实施例三
[0064]图3为本发明实施例三提供的一种优选的基于红外-可见光图像的双光谱森林火 情监测方法的流程示意图，如图3所示，该方法具体包括如下步骤：
[0065] 步骤310、球台转动到当前预置位。
[0066]步骤320、获取当前预置位对应的当前场景的红外图像和可见光图像。
[0067]步骤330、运行红外热点检测算法，判断是否能够得出疑似火点矩形标记区域，若 是，则执行步骤350;否则，执行步骤340。
[0068]进一步的，图4为本发明实施例三提供的一种红外热点检测算法流程示意图，如图 4所示，该算法包括如下步骤：
[0069] 步骤331、对红外图像进行预处理。
[0070] 具体的，可对红外图像进行滤波增强等操作，削弱或消除光线较弱产生的一些干 扰。
[0071] 步骤332、对预处理之后的红外图像进行阈值分割。
[0072] 利用红外图像的成像特点，即热量高的物体在红外图像中亮度值高、反之则低，对 每帧红外图像进行阈值分割，可将热点目标从背景中分离出来。
[0073]步骤333、对经过阈值分割后的红外图像进行形态学操作。
[0074]示例性的，步骤332中对红外图像进行阈值分割后，可形成二值图，通过对二值图 进行膨胀等形态学操作，以达到填补空洞、将热点目标的整体而不是部分提取出来的目的。 [0075] 步骤334、采用矩形标记圈定矩形标记区域。
[0076]示例性的，寻找热点目标轮廓，并用矩形标记最外面的边界，得到疑似火点的矩形 标记区域。
[0077]步骤335、判断当前矩形标记区域是否满足滤除条件，若是，则执行步骤336，否则 执行步骤337。
[0078]示例性的，所述滤除条件可包括森林火点的先验知识。
[0079] 步骤336、滤除当前矩形标记区域，执行步骤338。
[0080] 步骤337、保留当前矩形标记区域，执行步骤338。
[0081]步骤338、判断当前矩形标记区域是否为最后一个，如果是，结束流程；否则，执行 步骤339。
[0082]步骤339、将下一个矩形标记区域设置为新的当前矩形标记区域，返回执行步骤 335〇
[0083]经过滤除保留下来的矩形标记区域即为疑似火点矩形标记区域。
[0084] 优选的，还可进行如实施例二中的利用投票机制对多帧红外图像进行处理，得到 最终的疑似火点矩形标记区域，以进一步提高确定疑似火点矩形标记区域的准确度。具体 细节可参照本发明实施例二中的相关描述。
[0085] 红外热点检测算法流程结束后，可执行步骤350。若按照红外热点检测算法无法得 出疑似火点矩形标记区域，说明当前场景中不存在疑似火点，可执行步骤340。
[0086]步骤340、将下一个预置位设定为当前预置位，并返回执行步骤310。
[0087] 步骤350、将疑似火点标记区域映射到可见光图像中的相应位置，得到可见光图像 中的感兴趣区域。
[0088] 具体的，可采用图像变换模型将疑似火点矩形标记区域映射到可见光图像中的相 应位置，得到可见光图像中的感兴趣区域。
[0089]所述图像变换模型具体为：
[0091]其中，C1表示红外相机，C2表示可见光相机;1?为(：2相对于C 1的旋转矩阵，tSc2相对 于心的位移向量；（m，V1)为空间点在红外图像中的坐标，（U2，V2)为所述空间点在可见光图 像中的坐标;心为^的内参数矩阵，1( 2为(：2的内参数矩阵;Zcl为所述空间点到(^像平面的距 离，Z c2为所述空间点到&像平面的距离。
[0092]步骤360、根据可见光疑似火点验证算法对感兴趣区域内的图像进行验证，根据验 证结果确定当前场景中是否存在真实火点，若是，则执行步骤370;否则，执行步骤340。 [0093]进一步的，图5为本发明实施例三提供的一种可见光疑似火点验证算法流程示意 图，如图5所示，该算法具体可包括如下步骤：
[0094] 步骤361、对当前感兴趣区域进行预处理。
[0095] 具体的，所述预处理可包括将感兴趣区域轮廓向外延拓预设数量的像素，形成最 终的感兴趣区域，可以消除后续映射过程中所产生误差带来的影响。
[0096] 步骤362、对当前感兴趣区域内的图像进行颜色空间模型检测，判断检测结果是否 通过，若是，则执行步骤365;否则，执行步骤363。
[0097] 具体的，可将当前感兴趣区域分别与预设真火情颜色空间模型和预设伪火情颜色 空间模型进行匹配，得到第一匹配度和第二匹配度;若第一匹配度高于第二匹配度，则确定 当前感兴趣区域的检测结果为通过。具体检测方式可参照本发明实施例二步骤260中的相 关描述。
[0098] 步骤363、判断当前感兴趣区域是否为最后一个感兴趣区域，若是，则结束流程;否 贝IJ，执行步骤364。
[0099] 步骤364、将下一个感兴趣区域设置为新的当前感兴趣区域，返回执行步骤361。 [0100]步骤365、对当前感兴趣区域内的图像进行亮度分布检测，判断检测结果是否通 过，若是，则执行步骤366;否则，执行步骤363。
[0101 ]示例性的，可分析火焰像素亮度的分布规律，由内焰的燃烧中心点到外焰边缘，由 于燃烧温度的差异，颜色亮度会逐层递减，利用亮度直方图统计灰度变化规律，若当前感兴 趣区域符合该灰度变化规律，则可认为检测通过。
[0102] 步骤366、对当前感兴趣区域内的图像进行运动特征检测，判断检测结果是否通 过，若是，则执行步骤367;否则，执行步骤363。
[0103] 示例性的，可利用高斯混合模型(Gaussian Mixture Model，GMM;又称混合高斯模 型)背景建模技术进行疑似火点筛选，以进一步消除运动车灯等物体造成的干扰，同时兼顾 到火点可能存在的小幅度摇曳运动。例如，当前感兴趣区域与利用高斯混合模型背景建模 技术建立的标准模型匹配时，可认为检测通过。
[0104]步骤367、确定当前感兴趣区域内存在真实火点，并执行步骤363。
[0105] 需要说明的是，本步骤中确定当前区域内存在真实火点时，可先执行步骤370进行 火点报警，警示相关工作人员采取灭火相关措施或控制相关设备进入灭火流程，同时继续 执行步骤363,验证下一个感兴趣区域内是否也存在真实火点。
[0106] 步骤370、进行火点报警。
[0107] 本发明实施例三提供的一种优选的基于红外-可见光图像的双光谱森林火情监测 方法，利用红外热点检测算法筛选出热量特征满足检测条件的疑似火点，然后将疑似火点 映射到可见光图像中，再进行若干像素的延拓后作为可见光图像的ROI区域，最后利用可见 光疑似火点验证算法对ROI区域进行验证，从而筛选出真实的火点并进行火点报警。该方法 的准确度高，且计算量小，可提高效率，保证火情监测的实时性。
[0108] 实施例四
[0109] 图6为本发明实施例四提供的一种基于红外-可见光图像的双光谱森林火情监测 装置的结构框图，该装置可由软件和/或硬件实现，一般可集成在森林火情监测系统中，可 通过执行基于红外-可见光图像的双光谱森林火情监测方法来监测森林火情。如图6所示， 该装置包括图像获取模块601、疑似火点标记区域确定模块602、映射模块603和真实火点确 定模块604。
[0110] 其中，图像获取模块601，用于获取当前场景的红外图像和可见光图像;疑似火点 标记区域确定模块602，用于确定所述红外图像中的疑似火点标记区域;映射模块603，用于 将所述疑似火点标记区域映射到所述可见光图像中的相应位置，得到所述可见光图像中的 感兴趣区域;真实火点确定模块604,用于对所述感兴趣区域内的图像进行验证，根据验证 结果确定所述当前场景中是否存在真实火点。
[0111] 本发明实施例四提供的基于红外-可见光图像的双光谱森林火情监测装置，将红 外图像检测识别优势与可见光图像检测识别优势进行结合，先根据红外图像的成像特征确 定疑似火点标记区域，再将疑似火点标记区域映射到可见光图像中，可消除外观与火焰相 似度高但辐射能量与火焰不同的物体对判断结果的干扰，提升准确度。并且，在可见光图像 中仅对感兴趣区域中的图像进行验证，可减少计算量，提升效率，保证火情监测的实时性。
[0112] 在上述实施例的基础上，所述疑似火点标记区域具体可为疑似火点矩形标记区 域;所述疑似火点标记区域确定模块具体可用于:根据所述红外图像中的亮度值分布特点 将所述红外图像分割成多个区域，采用矩形标记将亮度值高于预设亮度阈值的区域圈定为 疑似火点矩形标记区域。
[0113] 在上述实施例的基础上，所述图像获取模块具体可用于：获取当前场景的红外图 像集合和可见光图像，所述红外图像集合中包含η帧对应η个不同时刻的红外图像。所述疑 似火点标记区域确定模块可包括标记单元、目标二值图像形成单元和疑似火点矩形标记区 域确定单元。其中，标记单元，用于对于所述红外图像集合中的每一帧红外图像，根据亮度 值分布特点将当前红外图像分割成多个区域，采用矩形标记将亮度值高于预设亮度阈值的 区域圈定为矩形标记区域;将所述当前红外图像中的所述矩形标记区域内的像素标记为1， 矩形标记区域外的像素标记为0。目标二值图像形成单元，用于统计在所述红外图像集合中 的不同红外图像中的相同位置处的像素被标记为1的次数，采用投票机制将被标记为1的次 数不小于预设次数的像素记为1，其他像素记为〇,形成目标二值图像。疑似火点矩形标记区 域确定单元，用于对所述目标二值图像进行轮廓提取，并采用矩形标记圈定疑似火点矩形 标记区域。
[0114] 在上述实施 例的基础上，所述映射模块具体可用于:采用图像变换模型将所述疑 似火点标记区域映射到所述可见光图像中的相应位置，得到所述可见光图像中的感兴趣区 域；
[0115]所述图像变换模型具体为：
[0117]其中，C1表示红外相机，C2表示可见光相机;1?为(：2相对于C 1的旋转矩阵，t*C2相对 于心的位移向量；（m，V1)为空间点在红外图像中的坐标，（U2，V2)为所述空间点在可见光图 像中的坐标;心为^的内参数矩阵，1( 2为(：2的内参数矩阵;Zcl为所述空间点到(^像平面的距 离，Zc2为所述空间点到&像平面的距离。
[0118] 在上述实施例的基础上，所述映射模块具体可用于:将所述疑似火点标记区域的 轮廓向外延拓预设个像素，形成最终疑似火点标记区域;将所述最终疑似火点标记区域映 射到所述可见光图像中的相应位置，得到所述可见光图像中的感兴趣区域。
[0119] 在上述实施例的基础上，所述真实火点确定模块具体可用于:将当前感兴趣区域 与预设真火情颜色空间模型进行匹配，得到第一匹配度;将所述当前感兴趣区域与预设伪 火情颜色空间模型进行匹配，得到第二匹配度;若所述第一匹配度高于所述第二匹配度，则 确定当前感兴趣区域为疑似火点区域;对所述可见光图像中的所有疑似火点区域进行验 证，根据验证结果确定所述当前场景中是否存在真实火点。
[0120] 上述实施例中提供的基于红外-可见光图像的双光谱森林火情监测装置可执行本 发明任意实施例所提供的基于红外-可见光图像的双光谱森林火情监测方法，具备执行该 方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明 任意实施例所提供的基于红外-可见光图像的双光谱森林火情监测方法。
[0121]注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解， 本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、 重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行 了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还 可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
【主权项】
1. 一种基于红外-可见光图像的双光谱森林火情监测方法，其特征在于，包括： 获取当前场景的红外图像和可见光图像； 确定所述红外图像中的疑似火点标记区域； 将所述疑似火点标记区域映射到所述可见光图像中的相应位置，得到所述可见光图像 中的感兴趣区域； 对所述感兴趣区域内的图像进行验证，根据验证结果确定所述当前场景中是否存在真 实火点。2. 根据权利要求1所述的方法，其特征在于，所述疑似火点标记区域具体为疑似火点矩 形标记区域； 确定所述红外图像中的疑似火点矩形标记区域，包括： 根据所述红外图像中的亮度值分布特点将所述红外图像分割成多个区域，采用矩形标 记将亮度值高于预设亮度阈值的区域圈定为疑似火点矩形标记区域。3. 根据权利要求2所述的方法，其特征在于，所述获取当前场景的红外图像和可见光图 像，包括： 获取当前场景的红外图像集合和可见光图像，所述红外图像集合中包含η帧对应η个不 同时刻的红外图像； 根据所述红外图像中的亮度值分布特点将所述红外图像分割成多个区域，采用矩形标 记将亮度值高于预设亮度阈值的区域圈定为疑似火点矩形标记区域，包括： 对于所述红外图像集合中的每一帧红外图像，根据亮度值分布特点将当前红外图像分 割成多个区域，采用矩形标记将亮度值高于预设亮度阈值的区域圈定为矩形标记区域;将 所述当前红外图像中的所述矩形标记区域内的像素标记为1，矩形标记区域外的像素标记 为〇; 统计在所述红外图像集合中的不同红外图像中的相同位置处的像素被标记为1的次 数，采用投票机制将被标记为1的次数不小于预设次数的像素记为1，其他像素记为0,形成 目标二值图像； 对所述目标二值图像进行轮廓提取，并采用矩形标记圈定疑似火点矩形标记区域。4. 根据权利要求1所述的方法，其特征在于，将所述疑似火点标记区域映射到所述可见 光图像中的相应位置，得到所述可见光图像中的感兴趣区域，包括： 采用图像变换模型将所述疑似火点标记区域映射到所述可见光图像中的相应位置，得 到所述可见光图像中的感兴趣区域； 所述图像变换模型具体为：其中，C1表示红外相机，C2表示可见光相机;RSC2相对于C 1的旋转矩阵，tSC2相对于C1 的位移向量；（m，V1)为空间点在红外图像中的坐标，（U2，V2)为所述空间点在可见光图像中 的坐标;心为^的内参数矩阵，1( 2为(：2的内参数矩阵;"为所述空间点到&像平面的距离，Zc2 为所述空间点到&像平面的距离。5. 根据权利要求1所述的方法，其特征在于，将所述疑似火点标记区域映射到所述可见 光图像中的相应位置，得到所述可见光图像中的感兴趣区域，包括： 将所述疑似火点标记区域的轮廓向外延拓预设数量的像素，形成最终疑似火点标记区 域； 将所述最终疑似火点标记区域映射到所述可见光图像中的相应位置，得到所述可见光 图像中的感兴趣区域。6. 根据权利要求1所述的方法，其特征在于，对所述感兴趣区域内的图像进行验证，根 据验证结果确定所述当前场景中是否存在真实火点，包括： 将当前感兴趣区域与预设真火情颜色空间模型进行匹配，得到第一匹配度;将所述当 前感兴趣区域与预设伪火情颜色空间模型进行匹配，得到第二匹配度； 若所述第一匹配度高于所述第二匹配度，则确定当前感兴趣区域为疑似火点区域； 对所述可见光图像中的所有疑似火点区域进行验证，根据验证结果确定所述当前场景 中是否存在真实火点。7. -种基于红外-可见光图像的双光谱森林火情监测装置，其特征在于，包括： 图像获取模块，用于获取当前场景的红外图像和可见光图像； 疑似火点标记区域确定模块，用于确定所述红外图像中的疑似火点标记区域； 映射模块，用于将所述疑似火点标记区域映射到所述可见光图像中的相应位置，得到 所述可见光图像中的感兴趣区域； 真实火点确定模块，用于对所述感兴趣区域内的图像进行验证，根据验证结果确定所 述当前场景中是否存在真实火点。8. 根据权利要求7所述的装置，其特征在于，所述疑似火点标记区域具体为疑似火点矩 形标记区域； 所述疑似火点标记区域确定模块具体用于： 根据所述红外图像中的亮度值分布特点将所述红外图像分割成多个区域，采用矩形标 记将亮度值高于预设亮度阈值的区域圈定为疑似火点矩形标记区域。9. 根据权利要求8所述的装置，其特征在于， 所述图像获取模块具体用于： 获取当前场景的红外图像集合和可见光图像，所述红外图像集合中包含η帧对应η个不 同时刻的红外图像； 所述疑似火点标记区域确定模块，包括： 标记单元，用于对于所述红外图像集合中的每一帧红外图像，根据亮度值分布特点将 当前红外图像分割成多个区域，采用矩形标记将亮度值高于预设亮度阈值的区域圈定为矩 形标记区域;将所述当前红外图像中的所述矩形标记区域内的像素标记为1，矩形标记区域 外的像素标记为〇; 目标二值图像形成单元，用于统计在所述红外图像集合中的不同红外图像中的相同位 置处的像素被标记为1的次数，采用投票机制将被标记为1的次数不小于预设次数的像素记 为1，其他像素记为〇，形成目标二值图像； 疑似火点矩形标记区域确定单元，用于对所述目标二值图像进行轮廓提取，并采用矩 形标记圈定疑似火点矩形标记区域。10. 根据权利要求7所述的方法，其特征在于，所述映射模块具体用于： 采用图像变换模型将所述疑似火点标记区域映射到所述可见光图像中的相应位置，得 到所述可见光图像中的感兴趣区域； 所述图像变换模型具体为：其中，C1表示红外相机，C2表示可见光相机;RSc2相对于C 1的旋转矩阵，tSc2相对于C1 的位移向量；（U1，V1)为空间点在红外图像中的坐标，（U2，V2)为所述空间点在可见光图像中 的坐标;心为^的内参数矩阵，1( 2为(：2的内参数矩阵;"为所述空间点到&像平面的距离，Zc2 为所述空间点到&像平面的距离。
【专利摘要】本发明实施例公开了一种基于红外-可见光图像的双光谱森林火情监测方法及装置。该方法包括：获取当前场景的红外图像和可见光图像；确定红外图像中的疑似火点标记区域；将疑似火点标记区域映射到可见光图像中的相应位置，得到可见光图像中的感兴趣区域；对感兴趣区域内的图像进行验证，根据验证结果确定当前场景中是否存在真实火点。本发明通过采用上述技术方案，将红外图像检测识别优势与可见光图像检测识别优势进行结合，可消除外观与火焰相似度高但辐射能量与火焰不同的物体对判断结果的干扰，提升准确度。并且，在可见光图像中仅对感兴趣区域中的图像进行验证，可减少计算量，提升效率，保证火情监测的实时性。
【IPC分类】G06K9/00, G08B17/00, G08B17/12
【公开号】CN105488941
【申请号】CN201610029028
【发明人】李波, 蔡宇, 汪洋, 左春婷, 黄艳金
【申请人】中林信达（北京）科技信息有限责任公司
【公开日】2016年4月13日
【申请日】2016年1月15日
【技术领域】
[0001] 本发明实施例涉及移动设备技术领域，尤其涉及一种基于红外-可见光图像的双 光谱森林火情监测方法及装置。
【背景技术】
[0002] 森林火灾是一种突发性强、破坏性大、处置救助较为困难的自然灾害。因此，在林 火险情监测环节中，发现险情的及时性和准确性尤为重要，能够使相关工作人员尽快采取 抢救措施，最大限度的降低森林火灾的损失。
[0003] 目前，云台定点观测是我国采用的主要林火检测手段，为了节省人力，通常采用视 频图像自动检测技术来监测森林火情。常见的视频图像自动检测技术包括基于可见光图像 的火点检测技术和基于遥感图像的火点检测技术。其中，基于可见光图像的火点检测算法 中，利用了火焰的可见光光谱特征(如颜色特征、纹理特征和运动特征等），难以滤除外观与 火焰相似度高的物体(如飘扬的红旗及灯光等），报警准确率低，且算法中火点与背景进行 同样处理，需要计算较大的数据量，效率较低，尤其不适用于在远距离以及低照度环境下的 检测。基于遥感图像的火点检测算法中，主要是利用特定卫星的某些波段经过不同方式的 伪彩色合成、波段代数运算后阈值化得到火点位置，通常需要人工交互处理;此外，遥感数 据为地面站接收、解析、处理并分发出来的，并且遥感图像分辨率低，发现火点时地面可能 已经成灾，因此实时性方面较为逊色。
【发明内容】
[0004] 本发明实施例的目的是提供一种基于红外-可见光图像的双光谱森林火情监测方 法及装置，以解决现有的森林火情监测方案准确度低且实时性差的问题。
[0005] -方面，本发明实施例提供了一种基于红外-可见光图像的双光谱森林火情监测 方法，包括：
[0006] 获取当前场景的红外图像和可见光图像；
[0007] 确定所述红外图像中的疑似火点标记区域；
[0008] 将所述疑似火点标记区域映射到所述可见光图像中的相应位置，得到所述可见光 图像中的感兴趣区域；
[0009] 对所述感兴趣区域内的图像进行验证，根据验证结果确定所述当前场景中是否存 在真实火点。
[0010] 另一方面，本发明实施例提供了一种基于红外-可见光图像的双光谱森林火情监 测装置，包括：
[0011] 图像获取模块，用于获取当前场景的红外图像和可见光图像；
[0012] 疑似火点标记区域确定模块，用于确定所述红外图像中的疑似火点标记区域；
[0013] 映射模块，用于将所述疑似火点标记区域映射到所述可见光图像中的相应位置， 得到所述可见光图像中的感兴趣区域；
[0014] 真实火点确定模块，用于对所述感兴趣区域内的图像进行验证，根据验证结果确 定所述当前场景中是否存在真实火点。
[0015] 本发明实施例中提供的一种基于红外-可见光图像的双光谱森林火情监测方案， 获取当前场景的红外图像和可见光图像后，先确定红外图像中的疑似火点标记区域，再将 疑似火点标记区域映射到所述可见光图像中的相应位置，得到可见光图像中的感兴趣区 域，并对感兴趣区域内的图像进行验证，最后根据验证结果确定当前场景中是否存在真实 火点。通过采用上述技术方案，将红外图像检测识别优势与可见光图像检测识别优势进行 结合，先根据红外图像的成像特征确定疑似火点标记区域，再将疑似火点标记区域映射到 可见光图像中，可消除外观与火焰相似度高但辐射能量与火焰不同的物体对判断结果的干 扰，提升准确度。并且，在可见光图像中仅对感兴趣区域中的图像进行验证，避免了在夜间 场景下的林区图像中亮度低的背景占了绝大部分、所有像素参与计算浪费大量资源的缺 陷，可减少计算量，提升效率，保证火情监测的实时性。此外，上述技术方案既能够克服单可 见光火点识别算法在远距离、低照度环境下的不足，也适用于大范围搜索火点及近距离监 测火情，同遥感图像与可见光图像相结合的方式比，该方案的简便性和实时性同样也十分 突出。
【附图说明】
[0016] 图1为本发明实施例一提供的一种基于红外-可见光图像的双光谱森林火情监测 方法的流程示意图；
[0017] 图2为本发明实施例二提供的一种基于红外-可见光图像的双光谱森林火情监测 方法的流程示意图；
[0018] 图3为本发明实施例三提供的一种优选的基于红外-可见光图像的双光谱森林火 情监测方法的流程示意图；
[0019] 图4为本发明实施例三提供的一种红外热点检测算法流程示意图；
[0020] 图5为本发明实施例三提供的一种可见光疑似火点验证算法流程示意图；
[0021] 图6为本发明实施例四提供的一种基于红外-可见光图像的双光谱森林火情监测 装置的结构框图。
【具体实施方式】
[0022] 下面结合附图并通过【具体实施方式】来进一步说明本发明的技术方案。可以理解的 是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明 的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
[0023] 在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成 作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多 步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作 完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以 对应于方法、函数、规程、子例程、子程序等等。
[0024] 实施例一
[0025]图1为本发明实施例一提供的一种基于红外-可见光图像的双光谱森林火情监测 方法的流程示意图，该方法可以由基于红外-可见光图像的双光谱森林火情监测装置执行， 其中该装置可由软件和/或硬件实现，一般可集成在森林火情监测系统中。如图1所示，该方 法包括：
[0026] 步骤110、获取当前场景的红外图像和可见光图像。
[0027] 示例性的，所述森林火情监测系统可包括球台（又称云台）、红外相机和可见光相 机，还可包括球机控制设备。在开始监测前，需要合理设置球台的巡航方式及预置位，以覆 盖所有待监测区域，在球台上安装红外相机和可见光相机，并对红外相机和可见光相机的 位置以及各项参数等进行调整。上述准备工作完毕后，可由球机控制设备控制球台转动到 预置位位置，实时获取红外相机和可见光相机的数据，即本步骤中的获取当前场景的红外 图像和可见光图像。
[0028] 需要说明的是，红外相机的取景范围大小与可见光相机的取景范围大小可相同也 可不同。如果不同，优选的，可见光相机的取景范围大于红外相机的取景范围。也就是说，可 见光图像中包含红外图像中的所有景象，还可包含红外图像中不存在的其他景象。
[0029]步骤120、确定红外图像中的疑似火点标记区域。
[0030] 红外图像的成像特点是可反映不同物体向外辐射能量的差异，也即可反映物体的 热量特征。示例性的，因为物体的热量特征能够以红外图像中的亮度值进行衡量，热量较高 的物体在红外图像中的亮度值较高，而热量较低的物体在红外图像中的亮度值较低，所以 可根据红外图像中的亮度值分布特点来初步挑选出符合火焰的热量特征的区域，从而确定 红外图像中的疑似火点标记区域。疑似火点标记区域中包含了疑似火点的景物。
[0031] 示例性的，所述疑似火点标记区域的形状和大小不作具体限定，可预先进行设置， 也可根据实际的亮度值分布特点进行自动调整。优选的，为了分析方便，所述疑似火点标记 区域具体可为疑似火点矩形标记区域。
[0032] 进一步的，本步骤可优选为:根据红外图像中的亮度值分布特点将红外图像分割 成多个区域，采用矩形标记将亮度值高于预设亮度阈值的区域圈定为疑似火点矩形标记区 域。示例性的，进行区域分割时，可将亮度值较为接近的像素分割到同一个区域中，详尽的 分割方式此处不作限定。在采用矩形标记圈定疑似火点矩形标记区域时，可计算当前区域 中亮度值的平均值是否高于预设亮度阈值，若是，则将当前区域圈定为疑似火点矩形标记 区域。
[0033] 步骤130、将疑似火点标记区域映射到可见光图像中的相应位置，得到可见光图像 中的感兴趣区域。
[0034] 示例性的，红外图像和可见光图像同时包含了当前场景，所以从红外图像中确定 的疑似火点标记区域中包含的景物也同样存在于可见光图像中。需要说明的是，本实施例 中将疑似火点标记区域映射到可见光图像中的相应位置是指，将疑似火点标记区域的边界 映射到可见光图像的相应位置，而非将疑似火点标记区域中包含的图像内容复制到可见光 图像的相应位置。根据预设算法将红外图像中的疑似火点标记区域映射到可见光图像中的 相应位置，得到可见光图像中的感兴趣区域(region of interest，R0I)，所以感兴趣区域 中同样包含疑似火点的景物，该疑似火点的景物在可见光图像中的分辨率更高，更有利于 做进一步的是否为真实火点的验证。需要说明的是，所述预设算法不是唯一的，例如，可参 照红外-可见光相机联合标定技术，得到红外图像与可见光图像之间像素级对应 的映射矩 阵，利用该映射矩阵可以将红外图像中的疑似火点标记区域集合映射到可见光图像上。本 领域技术人员可根据实际应用情况以及森林火情监测系统的配置情况选取合适的预设算 法，本实施例不作具体限定。
[0035]需要说明的是，红外图像中的疑似火点标记区域可以为多个，所以对应的可见光 图像中的感兴趣区域也可以为多个。
[0036]步骤140、对感兴趣区域内的图像进行验证，根据验证结果确定当前场景中是否存 在真实火点。
[0037] 示例性的，对可见光图像中的感兴趣区域内的图像进行验证的方式可参照现有的 验证方式。例如，可对颜色特征、亮度分布特征以及运动特征等方面进行验证。与现有的验 证方式的主要区别在于，现有的验证方式中，需要对整个可见光图像进行验证，对火点以及 背景都进行同样的处理，需要计算较大的数据量，效率较低;而本实施例中，仅对包含疑似 火点的感兴趣区域内的图像进行验证，大大减少了需要计算的数据量，提升效率，保证实时 性。
[0038] 本发明实施例一提供的基于红外-可见光图像的双光谱森林火情监测方法，获取 当前场景的红外图像和可见光图像后，先确定红外图像中的疑似火点标记区域，再将疑似 火点标记区域映射到所述可见光图像中的相应位置，得到可见光图像中的感兴趣区域，并 对感兴趣区域内的图像进行验证，最后根据验证结果确定当前场景中是否存在真实火点。 通过采用上述技术方案，将红外图像检测识别优势与可见光图像检测识别优势进行结合， 先根据红外图像的成像特征确定疑似火点标记区域，再将疑似火点标记区域映射到可见光 图像中，可消除外观与火焰相似度高但辐射能量与火焰不同的物体对判断结果的干扰，提 升准确度。并且，在可见光图像中仅对感兴趣区域中的图像进行验证，避免了在夜间场景下 的林区图像中亮度低的背景占了绝大部分、所有像素参与计算浪费大量资源的缺陷，可减 少计算量，提升效率，保证火情监测的实时性。此外，上述技术方案既能够克服单可见光火 点识别算法在远距离、低照度环境下的不足，也适用于大范围搜索火点及近距离监测火情， 同遥感图像与可见光图像相结合的方式比，该方案的简便性和实时性同样也十分突出。 [0039] 实施例二
[0040]图2为本发明实施例二提供的一种基于红外-可见光图像的双光谱森林火情监测 方法的流程示意图，本实施例以上述实施例为基础进行优化，尤其是采用矩形标记圈定疑 似火点区域，并利用投票机制对多帧红外图像进行处理，提高确定疑似火点矩形标记区域 的准确度，在兼顾到火点可能存在的小幅度摇曳运动的前提下，消除运动车灯等物体造成 的干扰。
[0041 ]具体的，本实施例的方法包括如下步骤：
[0042] 步骤210、获取当前场景的红外图像集合和可见光图像，红外图像集合中包含η帧 对应η个不同时刻的红外图像。
[0043] 步骤220、对于红外图像集合中的每一帧红外图像，根据亮度值分布特点将当前红 外图像分割成多个区域，采用矩形标记将亮度值高于预设亮度阈值的区域圈定为矩形标记 区域;将当前红外图像中的矩形标记区域内的像素标记为1，矩形标记区域外的像素标记为 0〇
[0044] 具体的，红外图像集合可记为{A1，Α2，Α3......An | η>0}，对于每帧红外图像Ai (0〈i〈 η)进行标记，将矩形标记区域内的像素标记为I，矩形标记区域外的像素标记为0。
[0045]步骤230、统计在红外图像集合中的不同红外图像中的相同位置处的像素被标记 为1的次数，采用投票机制将被标记为1的次数不小于预设次数的像素记为1，其他像素记为 0,形成目标二值图像。
[0046]优选的，所述预设次数为0.8η。
[0047]步骤240、对目标二值图像进行轮廓提取，并采用矩形标记圈定疑似火点矩形标记 区域。
[0048]示例性的，执行步骤210-步骤240的好处在于，对η帧红外图像得到的疑似火点矩 形标记区域，采用像素级的投票机制作为最终的判别结果，可消除运动车灯等物体造成的 干扰，同时兼顾到火点可能存在的小幅度摇曳运动，最终得到准确度更高的疑似火点矩形 标记区域。
[0049] 步骤250、采用图像变换模型将疑似火点矩形标记区域映射到可见光图像中的相 应位置，得到可见光图像中的感兴趣区域。
[0050] 具体的，所述图像变换模型具体为：
[0052] 其中，C1表示红外相机，C2表示可见光相机;1?为(：2相对于C 1的旋转矩阵，t*C2相对 于心的位移向量；（m，V1)为空间点在红外图像中的坐标，（U 2，V2)为所述空间点在可见光图 像中的坐标;心为^的内参数矩阵，1(2为(： 2的内参数矩阵;Zcl为所述空间点到(^像平面的距 离，Zc2为所述空间点到&像平面的距离。
[0053] 示例性的，该模型给出了从不同视角获取包含同一场景的两幅图像之间的几何变 换关系，可称之为基于摄像机运动参数的图像变换模型。根据相机厂商提供的设备说明，获 取可见光相机和红外相机的内参数信息，包括焦距、图像中心坐标、像元尺寸等，并将其作 为内参数初始值，即矩阵Ki为和K 2。
[0054]上述模型公式中的旋转矩阵R可以用3个欧拉角来表示，即绕X轴旋转的角度α，绕Y 轴旋转的角度β，绕Z轴旋转的角度γ，R的表达式为
[0056] 上述模型公式中的平移向量t的表达式为t = [ti t2 t3]T。
[0057] 优选的，在将疑似火点矩形标记区域映射到可见光图像中的相应位置之前，可将 疑似火点矩形标记区域的轮廓向外延拓预设数量的像素，形成最终疑似火点标记区域。随 后，将最终疑似火点标记区域映射到可见光图像中的相应位置，得到可见光图像中的感兴 趣区域。这样做的好处在于，可以消除映射过程产生误差而带来的影响。需要说明的是，也 可在将疑似火点矩形标记区域映射到可见光图像中的相应位置之后，得到初始感兴趣区 域，再将初始感兴趣区域轮廓向外延拓预设数量的像素，形成最终的感兴趣区域，同样可到 达消除误差影响的效果。
[0058] 步骤260、对感兴趣区域内的图像进行验证，根据验证结果确定当前场景中是否存 在真实火点。
[0059] 具体的，本步骤可包括:将当前感兴趣区域与预设真火情颜色空间模型进行匹配， 得到第一匹配度;将所述当前感兴趣区域与预设伪火情颜色空间模型进行匹配，得到第二 匹配度;若第一匹配度高于第二匹配度，则确定当前感兴趣区域为疑似火点区域;对可见光 图像中的所有疑似火点区域进行验证，根据验证结果确定当前场景中是否存在真实火点。
[0060] 示例性的，所述预设真火情颜色空间模型和预设伪火情颜色空间模型具体可为利 用混合高斯模型技术分别对真实着火点（如树木、草原等)和干扰热源(如车辆、灯光等)分 别进行颜色空间建模而得到的。匹配度具体可用于衡量感兴趣区域与预设真火情颜色空间 模型或预设伪火情颜色空间模型的接近程度，匹配度越高，则说明与相应的模型越接近。当 对应于预设真火情颜色空间模型的第一匹配度高于对应于预设伪火情颜色空间模型的第 二匹配度时，说明当前感兴趣区域更接近预设真火情颜色空间模型，则可确定当前感兴趣 区域为疑似火点区域。
[0061] 随后，对可见光图像中的所有疑似火点区域进行验证，根据验证结果确定当前场 景中是否存在真实火点。例如，可进行亮度分布检测和运动特征检测等。在进行亮度分布检 测时，可分析火焰像素亮度的分布规律，由内焰的燃烧中心点到外焰边缘，由于燃烧温度的 差异，颜色亮度会逐层递减，利用亮度直方图统计灰度变化规律，并对疑似火点进行筛选； 在进行运动特征检测时，可利用高斯混合模型(Gaussian Mixture Model，GMM;又称混合高 斯模型)背景建模技术进行疑似火点筛选，以进一步消除运动车灯等物体造成的干扰，同时 兼顾到火点可能存在的小幅度摇曳运动，运动特征检测时同样需要多帧可见光图像，优选 的，在获取当前场景的红外图像集合时，同样获取可见光图像集合。
[0062] 本发明实施例二在实施例一的基础上，采用矩形标记圈定疑似火点区域，并利用 投票机制对多帧红外图像进行处理，提高确定疑似火点矩形标记区域的准确度，在兼顾到 火点可能存在的小幅度摇曳运动的前提下，消除运动车灯等物体造成的干扰，可进一步提 高火情监测的准确度。并且，消除运动车灯等物体干扰后，疑似火点矩形标记区域的总面积 也会相应减少，从而使感兴趣区域的总面积减少，可进一步减少计算量，提升效率，保证火 情监测的实时性。
[0063] 实施例三
[0064]图3为本发明实施例三提供的一种优选的基于红外-可见光图像的双光谱森林火 情监测方法的流程示意图，如图3所示，该方法具体包括如下步骤：
[0065] 步骤310、球台转动到当前预置位。
[0066]步骤320、获取当前预置位对应的当前场景的红外图像和可见光图像。
[0067]步骤330、运行红外热点检测算法，判断是否能够得出疑似火点矩形标记区域，若 是，则执行步骤350;否则，执行步骤340。
[0068]进一步的，图4为本发明实施例三提供的一种红外热点检测算法流程示意图，如图 4所示，该算法包括如下步骤：
[0069] 步骤331、对红外图像进行预处理。
[0070] 具体的，可对红外图像进行滤波增强等操作，削弱或消除光线较弱产生的一些干 扰。
[0071] 步骤332、对预处理之后的红外图像进行阈值分割。
[0072] 利用红外图像的成像特点，即热量高的物体在红外图像中亮度值高、反之则低，对 每帧红外图像进行阈值分割，可将热点目标从背景中分离出来。
[0073]步骤333、对经过阈值分割后的红外图像进行形态学操作。
[0074]示例性的，步骤332中对红外图像进行阈值分割后，可形成二值图，通过对二值图 进行膨胀等形态学操作，以达到填补空洞、将热点目标的整体而不是部分提取出来的目的。 [0075] 步骤334、采用矩形标记圈定矩形标记区域。
[0076]示例性的，寻找热点目标轮廓，并用矩形标记最外面的边界，得到疑似火点的矩形 标记区域。
[0077]步骤335、判断当前矩形标记区域是否满足滤除条件，若是，则执行步骤336，否则 执行步骤337。
[0078]示例性的，所述滤除条件可包括森林火点的先验知识。
[0079] 步骤336、滤除当前矩形标记区域，执行步骤338。
[0080] 步骤337、保留当前矩形标记区域，执行步骤338。
[0081]步骤338、判断当前矩形标记区域是否为最后一个，如果是，结束流程；否则，执行 步骤339。
[0082]步骤339、将下一个矩形标记区域设置为新的当前矩形标记区域，返回执行步骤 335〇
[0083]经过滤除保留下来的矩形标记区域即为疑似火点矩形标记区域。
[0084] 优选的，还可进行如实施例二中的利用投票机制对多帧红外图像进行处理，得到 最终的疑似火点矩形标记区域，以进一步提高确定疑似火点矩形标记区域的准确度。具体 细节可参照本发明实施例二中的相关描述。
[0085] 红外热点检测算法流程结束后，可执行步骤350。若按照红外热点检测算法无法得 出疑似火点矩形标记区域，说明当前场景中不存在疑似火点，可执行步骤340。
[0086]步骤340、将下一个预置位设定为当前预置位，并返回执行步骤310。
[0087] 步骤350、将疑似火点标记区域映射到可见光图像中的相应位置，得到可见光图像 中的感兴趣区域。
[0088] 具体的，可采用图像变换模型将疑似火点矩形标记区域映射到可见光图像中的相 应位置，得到可见光图像中的感兴趣区域。
[0089]所述图像变换模型具体为：
[0091]其中，C1表示红外相机，C2表示可见光相机;1?为(：2相对于C 1的旋转矩阵，tSc2相对 于心的位移向量；（m，V1)为空间点在红外图像中的坐标，（U2，V2)为所述空间点在可见光图 像中的坐标;心为^的内参数矩阵，1( 2为(：2的内参数矩阵;Zcl为所述空间点到(^像平面的距 离，Z c2为所述空间点到&像平面的距离。
[0092]步骤360、根据可见光疑似火点验证算法对感兴趣区域内的图像进行验证，根据验 证结果确定当前场景中是否存在真实火点，若是，则执行步骤370;否则，执行步骤340。 [0093]进一步的，图5为本发明实施例三提供的一种可见光疑似火点验证算法流程示意 图，如图5所示，该算法具体可包括如下步骤：
[0094] 步骤361、对当前感兴趣区域进行预处理。
[0095] 具体的，所述预处理可包括将感兴趣区域轮廓向外延拓预设数量的像素，形成最 终的感兴趣区域，可以消除后续映射过程中所产生误差带来的影响。
[0096] 步骤362、对当前感兴趣区域内的图像进行颜色空间模型检测，判断检测结果是否 通过，若是，则执行步骤365;否则，执行步骤363。
[0097] 具体的，可将当前感兴趣区域分别与预设真火情颜色空间模型和预设伪火情颜色 空间模型进行匹配，得到第一匹配度和第二匹配度;若第一匹配度高于第二匹配度，则确定 当前感兴趣区域的检测结果为通过。具体检测方式可参照本发明实施例二步骤260中的相 关描述。
[0098] 步骤363、判断当前感兴趣区域是否为最后一个感兴趣区域，若是，则结束流程;否 贝IJ，执行步骤364。
[0099] 步骤364、将下一个感兴趣区域设置为新的当前感兴趣区域，返回执行步骤361。 [0100]步骤365、对当前感兴趣区域内的图像进行亮度分布检测，判断检测结果是否通 过，若是，则执行步骤366;否则，执行步骤363。
[0101 ]示例性的，可分析火焰像素亮度的分布规律，由内焰的燃烧中心点到外焰边缘，由 于燃烧温度的差异，颜色亮度会逐层递减，利用亮度直方图统计灰度变化规律，若当前感兴 趣区域符合该灰度变化规律，则可认为检测通过。
[0102] 步骤366、对当前感兴趣区域内的图像进行运动特征检测，判断检测结果是否通 过，若是，则执行步骤367;否则，执行步骤363。
[0103] 示例性的，可利用高斯混合模型(Gaussian Mixture Model，GMM;又称混合高斯模 型)背景建模技术进行疑似火点筛选，以进一步消除运动车灯等物体造成的干扰，同时兼顾 到火点可能存在的小幅度摇曳运动。例如，当前感兴趣区域与利用高斯混合模型背景建模 技术建立的标准模型匹配时，可认为检测通过。
[0104]步骤367、确定当前感兴趣区域内存在真实火点，并执行步骤363。
[0105] 需要说明的是，本步骤中确定当前区域内存在真实火点时，可先执行步骤370进行 火点报警，警示相关工作人员采取灭火相关措施或控制相关设备进入灭火流程，同时继续 执行步骤363,验证下一个感兴趣区域内是否也存在真实火点。
[0106] 步骤370、进行火点报警。
[0107] 本发明实施例三提供的一种优选的基于红外-可见光图像的双光谱森林火情监测 方法，利用红外热点检测算法筛选出热量特征满足检测条件的疑似火点，然后将疑似火点 映射到可见光图像中，再进行若干像素的延拓后作为可见光图像的ROI区域，最后利用可见 光疑似火点验证算法对ROI区域进行验证，从而筛选出真实的火点并进行火点报警。该方法 的准确度高，且计算量小，可提高效率，保证火情监测的实时性。
[0108] 实施例四
[0109] 图6为本发明实施例四提供的一种基于红外-可见光图像的双光谱森林火情监测 装置的结构框图，该装置可由软件和/或硬件实现，一般可集成在森林火情监测系统中，可 通过执行基于红外-可见光图像的双光谱森林火情监测方法来监测森林火情。如图6所示， 该装置包括图像获取模块601、疑似火点标记区域确定模块602、映射模块603和真实火点确 定模块604。
[0110] 其中，图像获取模块601，用于获取当前场景的红外图像和可见光图像;疑似火点 标记区域确定模块602，用于确定所述红外图像中的疑似火点标记区域;映射模块603，用于 将所述疑似火点标记区域映射到所述可见光图像中的相应位置，得到所述可见光图像中的 感兴趣区域;真实火点确定模块604,用于对所述感兴趣区域内的图像进行验证，根据验证 结果确定所述当前场景中是否存在真实火点。
[0111] 本发明实施例四提供的基于红外-可见光图像的双光谱森林火情监测装置，将红 外图像检测识别优势与可见光图像检测识别优势进行结合，先根据红外图像的成像特征确 定疑似火点标记区域，再将疑似火点标记区域映射到可见光图像中，可消除外观与火焰相 似度高但辐射能量与火焰不同的物体对判断结果的干扰，提升准确度。并且，在可见光图像 中仅对感兴趣区域中的图像进行验证，可减少计算量，提升效率，保证火情监测的实时性。
[0112] 在上述实施例的基础上，所述疑似火点标记区域具体可为疑似火点矩形标记区 域;所述疑似火点标记区域确定模块具体可用于:根据所述红外图像中的亮度值分布特点 将所述红外图像分割成多个区域，采用矩形标记将亮度值高于预设亮度阈值的区域圈定为 疑似火点矩形标记区域。
[0113] 在上述实施例的基础上，所述图像获取模块具体可用于：获取当前场景的红外图 像集合和可见光图像，所述红外图像集合中包含η帧对应η个不同时刻的红外图像。所述疑 似火点标记区域确定模块可包括标记单元、目标二值图像形成单元和疑似火点矩形标记区 域确定单元。其中，标记单元，用于对于所述红外图像集合中的每一帧红外图像，根据亮度 值分布特点将当前红外图像分割成多个区域，采用矩形标记将亮度值高于预设亮度阈值的 区域圈定为矩形标记区域;将所述当前红外图像中的所述矩形标记区域内的像素标记为1， 矩形标记区域外的像素标记为0。目标二值图像形成单元，用于统计在所述红外图像集合中 的不同红外图像中的相同位置处的像素被标记为1的次数，采用投票机制将被标记为1的次 数不小于预设次数的像素记为1，其他像素记为〇,形成目标二值图像。疑似火点矩形标记区 域确定单元，用于对所述目标二值图像进行轮廓提取，并采用矩形标记圈定疑似火点矩形 标记区域。
[0114] 在上述实施 例的基础上，所述映射模块具体可用于:采用图像变换模型将所述疑 似火点标记区域映射到所述可见光图像中的相应位置，得到所述可见光图像中的感兴趣区 域；
[0115]所述图像变换模型具体为：
[0117]其中，C1表示红外相机，C2表示可见光相机;1?为(：2相对于C 1的旋转矩阵，t*C2相对 于心的位移向量；（m，V1)为空间点在红外图像中的坐标，（U2，V2)为所述空间点在可见光图 像中的坐标;心为^的内参数矩阵，1( 2为(：2的内参数矩阵;Zcl为所述空间点到(^像平面的距 离，Zc2为所述空间点到&像平面的距离。
[0118] 在上述实施例的基础上，所述映射模块具体可用于:将所述疑似火点标记区域的 轮廓向外延拓预设个像素，形成最终疑似火点标记区域;将所述最终疑似火点标记区域映 射到所述可见光图像中的相应位置，得到所述可见光图像中的感兴趣区域。
[0119] 在上述实施例的基础上，所述真实火点确定模块具体可用于:将当前感兴趣区域 与预设真火情颜色空间模型进行匹配，得到第一匹配度;将所述当前感兴趣区域与预设伪 火情颜色空间模型进行匹配，得到第二匹配度;若所述第一匹配度高于所述第二匹配度，则 确定当前感兴趣区域为疑似火点区域;对所述可见光图像中的所有疑似火点区域进行验 证，根据验证结果确定所述当前场景中是否存在真实火点。
[0120] 上述实施例中提供的基于红外-可见光图像的双光谱森林火情监测装置可执行本 发明任意实施例所提供的基于红外-可见光图像的双光谱森林火情监测方法，具备执行该 方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明 任意实施例所提供的基于红外-可见光图像的双光谱森林火情监测方法。
[0121]注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解， 本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、 重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行 了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还 可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
【主权项】
1. 一种基于红外-可见光图像的双光谱森林火情监测方法，其特征在于，包括： 获取当前场景的红外图像和可见光图像； 确定所述红外图像中的疑似火点标记区域； 将所述疑似火点标记区域映射到所述可见光图像中的相应位置，得到所述可见光图像 中的感兴趣区域； 对所述感兴趣区域内的图像进行验证，根据验证结果确定所述当前场景中是否存在真 实火点。2. 根据权利要求1所述的方法，其特征在于，所述疑似火点标记区域具体为疑似火点矩 形标记区域； 确定所述红外图像中的疑似火点矩形标记区域，包括： 根据所述红外图像中的亮度值分布特点将所述红外图像分割成多个区域，采用矩形标 记将亮度值高于预设亮度阈值的区域圈定为疑似火点矩形标记区域。3. 根据权利要求2所述的方法，其特征在于，所述获取当前场景的红外图像和可见光图 像，包括： 获取当前场景的红外图像集合和可见光图像，所述红外图像集合中包含η帧对应η个不 同时刻的红外图像； 根据所述红外图像中的亮度值分布特点将所述红外图像分割成多个区域，采用矩形标 记将亮度值高于预设亮度阈值的区域圈定为疑似火点矩形标记区域，包括： 对于所述红外图像集合中的每一帧红外图像，根据亮度值分布特点将当前红外图像分 割成多个区域，采用矩形标记将亮度值高于预设亮度阈值的区域圈定为矩形标记区域;将 所述当前红外图像中的所述矩形标记区域内的像素标记为1，矩形标记区域外的像素标记 为〇; 统计在所述红外图像集合中的不同红外图像中的相同位置处的像素被标记为1的次 数，采用投票机制将被标记为1的次数不小于预设次数的像素记为1，其他像素记为0,形成 目标二值图像； 对所述目标二值图像进行轮廓提取，并采用矩形标记圈定疑似火点矩形标记区域。4. 根据权利要求1所述的方法，其特征在于，将所述疑似火点标记区域映射到所述可见 光图像中的相应位置，得到所述可见光图像中的感兴趣区域，包括： 采用图像变换模型将所述疑似火点标记区域映射到所述可见光图像中的相应位置，得 到所述可见光图像中的感兴趣区域； 所述图像变换模型具体为：其中，C1表示红外相机，C2表示可见光相机;RSC2相对于C 1的旋转矩阵，tSC2相对于C1 的位移向量；（m，V1)为空间点在红外图像中的坐标，（U2，V2)为所述空间点在可见光图像中 的坐标;心为^的内参数矩阵，1( 2为(：2的内参数矩阵;"为所述空间点到&像平面的距离，Zc2 为所述空间点到&像平面的距离。5. 根据权利要求1所述的方法，其特征在于，将所述疑似火点标记区域映射到所述可见 光图像中的相应位置，得到所述可见光图像中的感兴趣区域，包括： 将所述疑似火点标记区域的轮廓向外延拓预设数量的像素，形成最终疑似火点标记区 域； 将所述最终疑似火点标记区域映射到所述可见光图像中的相应位置，得到所述可见光 图像中的感兴趣区域。6. 根据权利要求1所述的方法，其特征在于，对所述感兴趣区域内的图像进行验证，根 据验证结果确定所述当前场景中是否存在真实火点，包括： 将当前感兴趣区域与预设真火情颜色空间模型进行匹配，得到第一匹配度;将所述当 前感兴趣区域与预设伪火情颜色空间模型进行匹配，得到第二匹配度； 若所述第一匹配度高于所述第二匹配度，则确定当前感兴趣区域为疑似火点区域； 对所述可见光图像中的所有疑似火点区域进行验证，根据验证结果确定所述当前场景 中是否存在真实火点。7. -种基于红外-可见光图像的双光谱森林火情监测装置，其特征在于，包括： 图像获取模块，用于获取当前场景的红外图像和可见光图像； 疑似火点标记区域确定模块，用于确定所述红外图像中的疑似火点标记区域； 映射模块，用于将所述疑似火点标记区域映射到所述可见光图像中的相应位置，得到 所述可见光图像中的感兴趣区域； 真实火点确定模块，用于对所述感兴趣区域内的图像进行验证，根据验证结果确定所 述当前场景中是否存在真实火点。8. 根据权利要求7所述的装置，其特征在于，所述疑似火点标记区域具体为疑似火点矩 形标记区域； 所述疑似火点标记区域确定模块具体用于： 根据所述红外图像中的亮度值分布特点将所述红外图像分割成多个区域，采用矩形标 记将亮度值高于预设亮度阈值的区域圈定为疑似火点矩形标记区域。9. 根据权利要求8所述的装置，其特征在于， 所述图像获取模块具体用于： 获取当前场景的红外图像集合和可见光图像，所述红外图像集合中包含η帧对应η个不 同时刻的红外图像； 所述疑似火点标记区域确定模块，包括： 标记单元，用于对于所述红外图像集合中的每一帧红外图像，根据亮度值分布特点将 当前红外图像分割成多个区域，采用矩形标记将亮度值高于预设亮度阈值的区域圈定为矩 形标记区域;将所述当前红外图像中的所述矩形标记区域内的像素标记为1，矩形标记区域 外的像素标记为〇; 目标二值图像形成单元，用于统计在所述红外图像集合中的不同红外图像中的相同位 置处的像素被标记为1的次数，采用投票机制将被标记为1的次数不小于预设次数的像素记 为1，其他像素记为〇，形成目标二值图像； 疑似火点矩形标记区域确定单元，用于对所述目标二值图像进行轮廓提取，并采用矩 形标记圈定疑似火点矩形标记区域。10. 根据权利要求7所述的方法，其特征在于，所述映射模块具体用于： 采用图像变换模型将所述疑似火点标记区域映射到所述可见光图像中的相应位置，得 到所述可见光图像中的感兴趣区域； 所述图像变换模型具体为：其中，C1表示红外相机，C2表示可见光相机;RSc2相对于C 1的旋转矩阵，tSc2相对于C1 的位移向量；（U1，V1)为空间点在红外图像中的坐标，（U2，V2)为所述空间点在可见光图像中 的坐标;心为^的内参数矩阵，1( 2为(：2的内参数矩阵;"为所述空间点到&像平面的距离，Zc2 为所述空间点到&像平面的距离。
【专利摘要】本发明实施例公开了一种基于红外-可见光图像的双光谱森林火情监测方法及装置。该方法包括：获取当前场景的红外图像和可见光图像；确定红外图像中的疑似火点标记区域；将疑似火点标记区域映射到可见光图像中的相应位置，得到可见光图像中的感兴趣区域；对感兴趣区域内的图像进行验证，根据验证结果确定当前场景中是否存在真实火点。本发明通过采用上述技术方案，将红外图像检测识别优势与可见光图像检测识别优势进行结合，可消除外观与火焰相似度高但辐射能量与火焰不同的物体对判断结果的干扰，提升准确度。并且，在可见光图像中仅对感兴趣区域中的图像进行验证，可减少计算量，提升效率，保证火情监测的实时性。
【IPC分类】G06K9/00, G08B17/00, G08B17/12
【公开号】CN105488941
【申请号】CN201610029028
【发明人】李波, 蔡宇, 汪洋, 左春婷, 黄艳金
【申请人】中林信达（北京）科技信息有限责任公司
【公开日】2016年4月13日
【申请日】2016年1月15日
最新回复(0)