一种目标区域的定位方法和装置的制造方法
【技术领域】
[0001]本发明涉及图像技术领域,尤其涉及一种目标区域的定位方法和装置。
【背景技术】
[0002]针对待检测图像,需要从待检测图像中定位出目标区域,如待检测图像包含人、沙发时,需要定位出人所在区域为目标区域,而沙发所在区域为非目标区域。为了实现这一过程,通常采用RCNN(Reg1n Convolut1nal Neural Network,区域卷积神经网络)目标定位算法。首先,使用Selective Search(选择性搜索)算法对待检测图像进行分割,得到X个候选窗口。之后,利用CNN(Convolut1nal Neural Network,卷积神经网络)算法对X个候选窗口分别提取特征向量,得到X个候选窗口对应的X个特征向量。之后,利用SVM(SupportVector Machine,支持向量机)分类器对X个特征向量进行分类,得到包含目标区域的候选窗口,这些候选窗口对应的区域即目标区域。
[0003]由于X的数值很大,如2000个,而且对候选窗口提取特征向量的过程比较复杂,运算量较大,因此,对X个候选窗口分别提取特征向量的计算复杂度较高,运算量很大,影响设备的计算性能,目标区域的定位时间很长。
【发明内容】
[0004]本发明提供一种目标区域的定位方法,所述方法包括以下步骤:
[0005]获得待检测图像,并对所述待检测图像进行分割,得到X个候选窗口;
[0006]对所述待检测图像进行缩放处理,得到A个不同尺度的检测缩放图像;
[0007]针对所述X个候选窗口中的每个候选窗口,执行以下处理过程,并得到Y个未被过滤的候选窗口:从所述A个不同尺度的检测缩放图像中,为所述候选窗口选择一个尺度的检测缩放图像,并利用所述一个尺度的检测缩放图像所对应的训练信息,判断所述候选窗口中是否包含目标区域,如果否,则过滤所述候选窗口,如果是,则保留所述候选窗口;
[0008]对所述Y个候选窗口分别提取特征向量,得到Y个特征向量;
[0009]对所述Y个特征向量进行分类,定位出目标区域。
[0010]所述训练信息具体包括判别参数(Vi,Ti)和权重向量W,所述方法还包括:维护所述A个不同尺度的检测缩放图像分别对应的训练信息,且所述A个不同尺度的检测缩放图像分别对应的训练信息的维护过程,具体包括:
[0011]获得已知目标位置的训练图像,并选择包含所述目标位置的正样本窗口、未包含所述目标位置的负样本窗口 ;利用方向梯度直方图H0G特征对所述正样本窗口进行特征提取,得到正样本特征向量,利用H0G特征对所述负样本窗口进行特征提取,得到负样本特征向量;对所述正样本特征向量进行缩放处理,得到M*N的正样本特征向量,对所述负样本特征向量进行缩放处理,得到M*N的负样本特征向量;对所述M*N的正样本特征向量以及所述M*N的负样本特征向量进行线性训练,得到所述权重向量W ;
[0012]对所述训练图像进行缩放处理,得到A个不同尺度的训练缩放图像;针对每个尺度的训练缩放图像,将所述训练缩放图像划分成一个或者多个M*N的子区域,并利用所述目标位置确定每个子区域的特征值,并利用所述特征值和所述权重向量W,得到所述训练缩放图像的判别参数(Vnh),并将所述判别参数(VnTO作为对应尺度的检测缩放图像的判别参数^丁山
[0013]所述利用所述目标位置确定每个子区域的特征值,并利用所述特征值和所述权重向量W,得到所述训练缩放图像的判别参数(VnTO的过程,具体包括:针对所述训练缩放图像中的每个M*N的子区域,当所述目标位置位于所述子区域时,则确定所述子区域的特征值0工为正值;当所述目标位置不位于所述子区域时,则确定所述子区域的特征值⑴为负值;以及,将所述子区域与所述权重向量W进行卷积,得到所述子区域的分数S1;
[0014]利用如下公式对所述训练缩放图像的每个子区域的分数SjP特征值⑴进行线性训练,得到所述训练缩放图像的判别参数(HhOFVdSi+Ti。
[0015]所述从所述A个不同尺度的检测缩放图像中,为所述候选窗口选择一个尺度的检测缩放图像的过程,具体包括:
[0016]确定所述候选窗口在所述A个不同尺度的检测缩放图像中的每个检测缩放图像中的像素大小,并选择像素大小最接近M*N的检测缩放图像,并将当前选择的检测缩放图像作为为所述候选窗口选择的检测缩放图像;其中,所述Μ为预设的水平像素大小,所述N为预设的垂直像素大小。
[0017]针对所述X个候选窗口中的每个候选窗口,所述利用所述一个尺度的检测缩放图像所对应的训练信息,判断所述候选窗口中是否包含目标区域,具体包括:将所述候选窗口与所述检测缩放图像对应的权重向量W进行卷积,得到所述候选窗口对应的分数Sj;基于所述分数Sj、所述检测缩放图像对应的判别参数(VnTi),利用如下公式确定所述候选窗口的特征值0」:=;当所述候选窗口的特征值为正值时,确定所述候选窗口中包含目标区域;当所述候选窗口的特征值为负值时,确定所述候选窗口中未包含目标区域。
[0018]本发明提供一种目标区域的定位装置,所述装置具体包括:
[0019]获得模块,用于获得待检测图像,对待检测图像进行分割,得到X个候选窗口;对待检测图像进行缩放处理,得到A个不同尺度的检测缩放图像;
[0020]处理模块,用于针对所述X个候选窗口中的每个候选窗口,执行以下处理过程,并得到Y个未被过滤的候选窗口:从所述A个不同尺度的检测缩放图像中,为所述候选窗口选择一个尺度的检测缩放图像,并利用所述一个尺度的检测缩放图像所对应的训练信息,判断所述候选窗口中是否包含目标区域,如果否,则过滤所述候选窗口,如果是,则保留所述候选窗口 ;
[0021]提取模块,用于对Y个候选窗口分别提取特征向量,得到Y个特征向量;
[0022]定位模块,用于对所述Y个特征向量进行分类,定位出目标区域。
[0023 ]所述训练信息具体包括判别参数(Vi,Ti)和权重向量W ;
[0024]所述处理模块,还用于维护所述A个不同尺度的检测缩放图像分别对应的训练信息,且在所述A个不同尺度的检测缩放图像分别对应的训练信息的维护过程中,获得已知目标位置的训练图像,并选择包含所述目标位置的正样本窗口、未包含所述目标位置的负样本窗口;利用方向梯度直方图HOG特征对所述正样本窗口进行特征提取,得到正样本特征向量,利用HOG特征对所述负样本窗口进行特征提取,得到负样本特征向量;对所述正样本特征向量进行缩放处理,得到M*N的正样本特征向量,对所述负样本特征向量进行缩放处理,得到M*N的负样本特征向量;对所述M*N的正样本特征向量以及所述M*N的负样本特征向量进行线性训练,得到所述权重向量W ;
[0025]对所述训练图像进行缩放处理,得到A个不同尺度的训练缩放图像;针对每个尺度的训练缩放图像,将所述训练缩放图像划分成一个或者多个M*N的子区域,并利用所述目标位置确定每个子区域的特征值,并利用所述特征值和所述权重向量W,得到所述训练缩放图像的判别参数(Vnh),并将所述判别参数(VnTO作为对应尺度的检测缩放图像的判别参数^丁山
[0026]所述处理模块,具体用于在利用所述目标位置确定每个子区域的特征值,并利用所述特征值和所述权重向量W,得到所述训练缩放图像的判别参数(VnTO的过程中,针对所述训练缩放图像中的每个M*N的子区域,当所述目标位置位于所述子区域时,则确定所述子区域的特征值⑴为正值;当所述目标位置不位于所述子区域时,则确定所述子区域的特征值⑴为负值;以及,将所述子区域与所述权重向量W进行卷积,得到所述子区域的分数S1;
[0027]利用如下公式对所述训练缩放图像的每个子区域的分数SjP特征值⑴进行线性训练,得到所述训练缩放图像的判别参数(HhOFVdSi+Ti。
[0028]所述处理模块,具体用于在从所述A个不同尺度的检测缩放图像中,为所述候选窗口选择一个尺度的检测缩放图像的过程中,确定所述候选窗口在
所述A个不同尺度的检测缩放图像中的每个检测缩放图像中的像素大小,并选择像素大小最接近M*N的检测缩放图像,并将当前选择的检测缩放图像作为为所述候选窗口选择的检测缩放图像;
[0029]其中,所述Μ为预设的水平像素大小,所述N为预设的垂直像素大小。
[0030]所述处理模块,具体用于在利用所述一个尺度的检测缩放图像所对应的训练信息,判断所述候选窗口中是否包含目标区域的过程中,将所述候选窗口与所述检测缩放图像对应的权重向量W进行卷积,得到所述候选窗口对应的分数S」;基于所述分数&、所述检测缩放图像对应的判别参数(Vi,Ti),利用如下公式确定所述候选窗口的特征值ο」:ο」= ν^」+Ti;当所述候选窗口的特征值为正值时,则确定所述候选窗口中包含目标区域;当所述候选窗口的特征值为负值时,则确定所述候选窗口中未包含目标区域。
[0031 ]基于上述技术方案,本发明实施例中,在得到X个候选窗口之后,通过对X个候选窗口进行过滤处理,将初步判定为不包含目标区域的候选窗口过滤掉,只保留Y个初步判定为包含目标区域的候选窗口。这样,在对候选窗口提取特征向量时,只需要对Y个(如30个)候选窗口分别提取特征向量,而Y的数量通常很小,因此,可以有效减少候选窗口的数量,提高算法的检测效率,加快运算速率,提高设备的计算性能,目标区域的定位时间很短。而且,可以与原有算法具有相同的识别准确率,具有较高的定位准确性。
【附图说明】
[0032]图1是本发明一种实施方式中的目标区域的定位方法的流程图;
[0033]图2是本发明一种实施方式中的训练信息的维护过程的流程图;
[0034]图3是本发明一种实施方式中的将训练缩放图像划分子区域的示意图;
[0035]图4是本发明一种实施方式中的图像处理设备的硬件结构图;
[0036]图5是本发明一种实施方式中的目标区域的定位装置的结构图。
【具体实施方式】
[0037]针对现有技术中存在的问题,本发明实施例中提出一种目标区域的定位方法,可以应用在采用RCNN目标定位算法进行目标区域定位的场景中,并对RCNN目标定位算法进行加速。其中,RCNN目标定位算法用于对待检测图像(静态图像)中的目标区域进行检测,如待检测图像包含人、沙发时,需要定位出人所在区域为目标区域,而沙发所在区域为非目标区域,具有较高的定位准确性。如图1所示,该目标区域的定位方法可以包括以下步骤:
[0038]步骤101,获得待检测图像,对待检测图像进行分割,得到X个候选窗口,如使用Selective Search算法对待检测图像进行分割,得到X个候选窗口。
[0039]在实际应用中,可能会需要对多个待检测图像进行目标区域的定位,针对每个待检测图像,均采用本发明实施例中提出的目标区域的定位方法进行处理,为了方便描述,后续以一个待检测图像的处理过程为例进行说明。
[0040]在使用SelectiveSearch算法对待检测图像进行分割,得到X个候选窗口的过程中,首先,利用各像素点的颜色对待检测图像进行分割,将颜色相同或者相似的像素点分割到同一个候选窗口,假设得到400个候选窗口。之后,按照最大相似度关系对400个候选窗口进行合并处理,假设得到300个候选窗口。之后,按照最大相似度关系对300个候选窗口进行合并处理,假设得到220个候选窗口,以此类推,一直到合并处理后,得到1个候选窗口。这样,将这一过程得到的所有候选窗口(如400个、300个、220个...、1个等)作为X个候选窗口,如共得到2000个候选窗口,这个候选窗口的数量X无法调节,与Selective Search算法相关。而且,在这X个候选窗口中,只有少量的候选窗口包含目标区域,而大量的候选窗口不包含目标区域。
[0041]步骤102,对待检测图像进行缩放处理,得到A个不同尺度的检测缩放图像,S卩A个检测缩放图像中的每个检测缩放图像对应一种唯一尺度。
[0042]在一个例子中,A个不同尺度的检测缩放图像具体可以为36个不同尺度的检测缩放图像。例如,水平像素的取值可以为12,24,48,96,192,384,垂直像素的取值可以为12,24,48,96,192,384时,则可以得到36个不同尺度的检测缩放图像。例如,当待检测图像是60*60的图像时,通过对待检测图像进行缩放处理,得到12* 12的检测缩放图像、12*24的检测缩放图像、12*48的检测缩放图像、…、24* 12的检测缩放图像、24*24的检测缩放图像、…、384*384的检测缩放图像,这样,一个可以得到36个不同尺度的检测缩放图像。
[0043]其中,针对数值A的选取方式、水平像素取值的选取方式、垂直像素取值的选取方式,将在后续过程中进行详细说明,在此不再赘述。
[0044]步骤103,针对X个候选窗口中的每个候选窗口,执行以下处理过程,并得到Y个未被过滤的候选窗口:从A个不同尺度的检测缩放图像中,为该候选窗口选择一个尺度的检测缩放图像,并利用该一个尺度的检测缩放图像所对应的训练信息,判断该候选窗口中是否包含目标区域,如果否,则过滤该候选窗口,如果是,则保留该候选窗口。其中,Y的取值小于X的取值。
[0045]本发明实施例中,检测缩放图像对应的训练信息具体可以包括但不限于判别参数(WO和权重向量W。在步骤103之前,还可以先维护A个不同尺度的检测缩放图像分别对应的训练信息,如维护36个不同尺度的检测缩放图像分别对应的训练信息。如图2所示,A个不同尺度的检测缩放图像分别对应的训练信息的维护过程,具体可以包括但不限于如下方式:
[0046]步骤201,获得已知目标位置的训练图像(即样本图像),并选择包含该目标位置的正样本窗口,并选择未包含该目标位置的负样本窗口。
[0047]其中,可以对训练图像的目标位置(即目标区域所在的位置,如训练图像包含人、沙发时,在已知人的位置时,可以将人的位置作为目标位置)进行手工标注。基于手工标注的目标位置,可以从训练图像中选择一个或者多个包含该目标位置的窗口作为正样本窗口,并从未包含该目标位置的窗口中,随机选择一个或者多个未包含该目标位置的窗口作为负样本窗口。
[0048]步骤202,利用H0G(Histogramof Oriented Gradient,方向梯度直方图)特征对选择的正样本窗口进行特征提取,得到正样本特征向量,并利用H0G特征对选择的负样本窗口进行特征提取,得到负样本特征向量。
[0049]其中,H0G特征是一种在计算机视觉和图像处理中,用来进行物体检测的特征描述子,通过计算和统计图像局部区域的梯度方向直方图来构成特征。通过正样本窗口的H0G特征,对正样本窗口进行特征提取,得到正样本特征向量,假设正样本窗口是6*6的窗口,则得到一个6*6的正样本特征向量。通过负样本窗口的H0G特征,对负样本窗口进行特征提取,得到负样本特征向量,假设负样本窗口是6*6的窗口,则得到一个6*6的负样本特征向量。
[0050]步骤203,对正样本特征向量进行缩放处理,得到M*N的正样本特征向量,对负样本特征向量进行缩放处理,得到M*N的负样本特征向量。
[0051]其中,Μ为预设的水平像素大小,N为预设的垂直像素大小。Μ和N的取值均可以根据实际经验设置,Μ与Ν可以相同,也可以不同。以二者相同为例,在一个例子中,Μ和Ν均可以为12,或者Μ和Ν均可以为9。当然,Μ和Ν也可以为其它数值,为了方便描述,后续以Μ和Ν均为12为例。
[°°52]例如,在得到6*6的正样本特征向量之后,对正样本特征向量进行缩放处理,得到12* 12的正样本特征向量。在得到6*6的负样本特征向量之后,对负样本特征向量进行缩放处理,得到12*12的负样本特征向量。
[0053]步骤204,对Μ*Ν的正样本特征向量以及Μ*Ν的负样本特征向量进行线性训练,得到权重向量W。其中,可以使用SVM分类器对Μ*Ν的正样本特征向量以及Μ*Ν的负样本特征向量进行线性训练,得到权重向量W。
[0054]其中,在使用SVM分类器对
12*12的正样本特征向量以及12*12的负样本特征向量进行线性训练的过程中,12*12的正样本特征向量为一个144阶的向量,12*12的负样本特征向量为一个144阶的向量,权重向量W也是一个144阶的向量。将正样本特征向量与权重向量W进行点积处理,其处理结果为正值,将负样本特征向量与权重向量W进行点积处理,其处理结果为负值;基于这一训练思想,由于正样本特征向量和负样本特征向量已知,且处理结果已知(正值或者负值),因此,可以反向求出权重向量W。进一步的,由于训练图像的数量可以为多个,每个训练图像对应有一个或者多个正样本特征向量、一个或者多个负样本特征向量,因此,当有大量的正样本特征向量和负样本特征向量参与线性训练时,得到的权重向量W比较准确。
[0055]其中,训练好的权重向量W就可以是对应的H0G滤波器fh。
[0056]步骤205,对训练图像进行缩放处理,得到A个不同尺度的训练缩放图像,S卩A个训练缩放图像中的每个训练缩放图像对应唯一尺度;针对每个尺度的训练缩放图像,将该训练缩放图像划分成一个或者多个M*N的子区域。
[0057]其中,数值A的选取方式可以根据实际经验进行配置,通常为大于1的正整数的平方,如数值4可以为4、9、16、25、36、49等。为了方便描述,本发明实施例中以4为36为例进行说明,A个不同尺度的训练缩放图像具体可以为36个不同尺度的训练缩放图像。基于此,水平像素的取值可以有6个,6个水平像素的取值均与Μ有关,如Μ,2Μ,4Μ,8Μ,16Μ,32Μ,当Μ为12时,则水平像素的取值可以为12,24,48,96,192,384。同理,垂直像素的取值可以有6个,6个垂直像素的取值均与Ν有关,如Ν,2Ν,4Ν,8Ν,16Ν,32Ν,当Ν为12时,则垂直像素的取值可以为12,24,48,96,192,384ο
[0058]例如,当缩放图像是60*60的图像时,可以通过对缩放图像进行缩放处理,得到12*12的训练缩放图像、12*24的训练缩放图像、12*48的训练缩放图像、…、24* 12的训练缩放图像、24*24的训练缩放图像、…、384*384的训练缩放图像,这样,一个可以得到36个不同尺度的训练缩放图像。
[0059]其中,上述针对检测缩放图像的数值Α的选取方式、水平像素取值的选取方式、垂直像素取值的选取方式,与训练缩放图像的选取方式相同。
[0060]在一个例子中,针对每个尺度的训练缩放图像,均可以将训练缩放图像划分成一个或者多个12*12的子区域。例如,针对12*12的训练缩放图像,可以将该训练缩放图像划分成1个12*12的子区域,针对12*24的训练缩放图像,可以将该训练缩放图像划分成2个12*12的子区域,针对24*24的训练缩放图像,可以将该训练缩放图像划分成4个12*12的子区域,针对48*48的训练缩放图像,可以将该训练缩放图像划分成16个12*12的子区域,以此类推。如图3所示,为将24*24的训练缩放图像划分成4个12*12的子区域的示意图,这4个子区域分别为子区域1、子区域2、子区域3、子区域4。
[0061]步骤206,针对每个训练缩放图像的一个或者多个M*N的子区域,利用目标位置确定每个子区域的特征值,并利用该特征值和权重向量W,得到该训练缩放图像的判别参数(m),并将该判别参数(VnTi)作为对应尺度的检测缩放图像的判别参数(Vn TO。例如,在得到24*24的训练缩放图像的判别参数(VnTO之后,将该判别参数(VnTO作为24*24的检测缩放图像的判别参数(Vnh),在得到48*48的训练缩放图像的判别参数(VnTO之后,将该判别参数(VnTO作为48*48的检测缩放图像的判别参数(VnTO,后续以一个训练缩放图像的处理过程为例进行说明。
[0062]本发明实施例中,利用目标位置确定每个子区域的特征值,并利用该特征值和权重向量W,得到该训练缩放图像的判别参数(VnTi)的过程,具体可以包括但不限于如下方式:针对该训练缩放图像中的每个M*N的子区域,当目标位置位于该子区域时,则确定该子区域的特征值⑴为正值;当目标位置不位于该子区域时,则确定该子区域的特征值⑴为负值。进一步的,将该子区域与权重向量W进行卷积,得到该子区域的分数31。进一步的,利用如下公式对该训练缩放图像的每个子区域的分数S4P特征值⑴进行线性训练,得到该训练缩放图像的判别参数(Vi,Ti): 0i = Vi*Si+Ti ο
[0063]在一个例子中,如图3所示,在将24*24的训练缩放图像划分成12*12的子区域1、子区域2、子区域3、子区域4之后,当目标位置位于子区域1时,则可以确定子区域1的特征值⑴为正值,并可以确定子区域2的特征值⑴为负值、子区域3的特征值⑴为负值、子区域4的特征值Oi为负值。
[0064]由于子区域是一个12*12的子区域,而12*12的子区域为一个144阶的向量,且权重向量W(在上面的过程中,已经计算到权重向量W的值)也是一个144阶的向量,因此,可以将子区域1与权重向量W进行卷积,得到该子区域1的分数Si,将子区域2与权重向量W进行卷积,得到该子区域2的分数S,,将子区域3与权重向量W进行卷积,得到该子区域3的分数S,,将子区域4与权重向量W进行卷积,得到该子区域4的分数S,。
[0065]其中,可以使用SVM分类器对训练缩放图像的每个子区域的分数51和每个子区域的特征值⑴进行线性训练,得到该训练缩放图像的判别参数(WO。其中,每个子区域的分数Si和每个子区域的特征值Oi满足如下公式OizVWSi+Ti,在此基础上,已知子区域的分数Si和子区域的特征值⑴,因此可以反向求出判别参数(VnTO。进一步的,由于训练图像的数量可以为多个,每个训练图像都有该尺寸的训练缩放图像,并已知训练缩放图像的子区域的分数Si和子区域的特征值⑴,因此,当有大量的子区域的分数Si和子区域的特征值⑴参与线性训练时,得到的判别参数,T,)比较准确。
[0066]以上过程为维护A个不同尺度的检测缩放图像对应的训练信息的过程。
[0067]本发明实施例中,针对X个候选窗口中的每个候选窗口,从A个不同尺度的检测缩放图像中,为该候选窗口选择一个尺度的检测缩放图像的过程,具体可以包括但不限于如下方式:确定该候选窗口在A个不同尺度的检测缩放图像中的每个检测缩放图像中的像素大小,并选择像素大小最接近M*N的检测缩放图像,并将当前选择的检测缩放图像作为为该候选窗口选择的检测缩放图像;其中,Μ为预设的水平像素大小,N为预设的垂直像素大小。
[0068]例如,针对X个候选窗口中的每个候选窗口,在得到12*12的检测缩放图像、12*24的检测缩放图像、12*48的检测缩放图像、…、24*12的检测缩放图像、24*24的检测缩放图像、…、384*384的检测缩放图像等36个不同尺度的检测缩放图像之后,这36个不同尺度的检测缩放图像均会包含该候选窗口,但是该候选窗口在这36个不同尺度的检测缩放图像中的像素大小并不一样,本过程中只会为该候选窗口选择一个尺度的检测缩放图像。而且考虑到训练过程中,是以Μ*Ν的大小来划分子区域的,因此可以选择该候选窗口的像素大小最接近Μ*Ν的检测缩放图像,作为为该候选窗口选择的检测缩放图像。例如,选择24*24的检测缩放图像为该候选窗口的检测缩放图像。
[0069]本发明实施例中,针对X个候选窗口中的每个候选窗口,利用选择的检测缩放图像对应的训练信息,判断候选窗口中是否包含目标区域的过程,具体可以包括但不限于如下方式:将该候选窗口与该检测缩放图像对应的权重向量W进行卷积,得到该候选窗口对应的分数Sj;基于分数&、该检测缩放图像对应的判别参数(VnTO,并利用如下公式确定该候选窗口的特征值Oj: 0j = Vi*Sj+Ti;当该候选窗口的特征值为正值时,确定候选窗口中包含目标区域;当候选窗口的特征值为负值时,确定候选窗口中未包含目标区域。
[0070]其中,假设选择24*24的检测缩放图像为该候选窗口的检测缩放图像,由于24*24的检测缩放图像对应的权重向量W和判别参数(Vn TO已经计算到,因此,
可以直接将该候选窗口与该权重向量W进行卷积,得到该候选窗口对应的分数&。又由于分数Sj、该检测缩放图像对应的判别参数(Vi,Ti)已知,因此可以利用如下公式0j = Vi*Sj+Ti确定该候选窗口的特征值0j。[0071 ]在针对X个候选窗口中的每个候选窗口进行上述处理后,可以将初步判定为不包含目标区域的候选窗口过滤掉,只保留Y个初步判定为包含目标区域的候选窗口。如将2000个候选窗口过滤掉1700个,只剩下30个候选窗口。
[0072]步骤104,对Y个候选窗口分别提取特征向量,得到Y个特征向量。
[0073]其中,可以利用CNN算法对Y个候选窗口分别提取特征向量,得到Y个候选窗口分别对应的Y个特征向量,具体的CNN算法在此不再赘述。
[0074]步骤105,对Y个特征向量进行分类,定位出目标区域。
[0075]其中,可以利用SVM分类器对Y个特征向量进行分类,得到包含目标区域的候选窗口,而这些候选窗口对应的区域即目标区域。
[0076]基于上述技术方案,本发明实施例中,在得到X个候选窗口之后,通过对X个候选窗口进行过滤处理,将初步判定为不包含目标区域的候选窗口过滤掉,只保留Y个初步判定为包含目标区域的候选窗口。这样,在对候选窗口提取特征向量时,只需要对Y个(如30个)候选窗口分别提取特征向量,而Y的数量通常很小,因此,可以有效减少候选窗口的数量,提高算法的检测效率,加快运算速率,提高设备的计算性能,目标区域的定位时间很短。而且,可以与原有算法具有相同的识别准确率,具有较高的定位准确性。
[0077]基于与上述方法同样的发明构思,本发明实施例中还提供了一种目标区域的定位装置,该目标区域的定位装置可以应用在图像处理设备上。其中,该目标区域的定位装置可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在的图像处理设备的处理器,读取非易失性存储器中对应的计算机程序指令形成的。从硬件层面而言,如图4所示,为本发明提出的目标区域的定位装置所在的图像处理设备的一种硬件结构图,除了图4所示的处理器、非易失性存储器外,图像处理设备还可以包括其他硬件,如负责处理报文的转发芯片、网络接口、内存等;从硬件结构上来讲,该图像处理设备还可能是分布式设备,可能包括多个接口卡,以便在硬件层面进行报文处理的扩展。
[0078]如图5所示,为本发明提出的目标区域的定位装置的结构图,所述目标区域的定位装置应用在图像处理设备上,所述目标区域的定位装置具体包括:
[0079]获得模块11,用于获得待检测图像,对待检测图像进行分割,得到X个候选窗口;对待检测图像进行缩放处理,得到A个不同尺度的检测缩放图像;
[0080]处理模块12,用于针对所述X个候选窗口中的每个候选窗口,执行以下处理过程,并得到Y个未被过滤的候选窗口:从所述A个不同尺度的检测缩放图像中,为所述候选窗口选择一个尺度的检测缩放图像,并利用所述一个尺度的检测缩放图像所对应的训练信息,判断所述候选窗口中是否包含目标区域,如果否,则过滤所述候选窗口,如果是,则保留所述候选窗口 ;
[0081 ]提取模块〗3,用于对Y个候选窗口分别提取特征向量,得到Y个特征向量;
[0082]定位模块14,用于对所述Y个特征向量进行分类,定位出目标区域。
[0083 ]所述训练信息具体包括判别参数(Vi,Ti)和权重向量W ;
[0084]所述处理模块12,还用于维护所述A个不同尺度的检测缩放图像分别对应的训练信息,且在所述A个不同尺度的检测缩放图像分别对应的训练信息的维护过程中,获得已知目标位置的训练图像,并选择包含所述目标位置的正样本窗口、未包含所述目标位置的负样本窗口 ;利用方向梯度直方图HOG特征对所述正样本窗口进行特征提取,得到正样本特征向量,利用HOG特征对所述负样本窗口进行特征提取,得到负样本特征向量;对所述正样本特征向量进行缩放处理,得到M*N的正样本特征向量,对所述负样本特征向量进行缩放处理,得到M*N的负样本特征向量;对所述M*N的正样本特征向量以及所述M*N的负样本特征向量进行线性训练,得到所述权重向量W ;
[0085]对所述训练图像进行缩放处理,得到A个不同尺度的训练缩放图像;针对每个尺度的训练缩放图像,将所述训练缩放图像划分成一个或者多个M*N的子区域,并利用所述目标位置确定每个子区域的特征值,并利用所述特征值和所述权重向量W,得到所述训练缩放图像的判别参数(Vnh),并将所述判别参数(VnTO作为对应尺度的检测缩放图像的判别参数^丁山
[0086]所述处理模块12,具体用于在利用所述目标位置确定每个子区域的特征值,并利用所述特征值和所述权重向量W,得到所述训练缩放图像的判别参数(VnTO的过程中,针对所述训练缩放图像中的每个M*N的子区域,当所述目标位置位于所述子区域时,则确定所述子区域的特征值⑴为正值;当所述目标位置不位于所述子区域时,则确定所述子区域的特征值⑴为负值;以及,将所述子区域与所述权重向量W进行卷积,得到所述子区域的分数S1;利用如下公式对所述训练缩放图像的每个子区域的分数SjP特征值⑴进行线性训练,得到所述训练缩放图像的判别参数(VulWOizVdSi+h。
[0087]所述处理模块12,具体用于在从所述A个不同尺度的检测缩放图像中,为所述候选窗口选择一个尺度的检测缩放图像的过程中,确定所述候选窗口在所述A个不同尺度的检测缩放图像中的每个检测缩放图像中的像素大小,并选择像素大小最接近M*N的检测缩放图像,并将当前选择的检测缩放图像作为为所述候选窗口选择的检测缩放图像;
[0088]其中,所述Μ为预设的水平像素大小,所述N为预设的垂直像素大小。
[0089]所述处理模块12,具体用于在利用所述一个尺度的检测缩放图像所对应的训练信息,判断所述候选窗口中是否包含目标区域的过程中,将所述候选窗口与所述检测缩放图像对应的权重向量W进行卷积,得到所述候选窗口对应的分数S」;基于所述分数&、所述检测缩放图像对应的判别参数(Vi,Ti),利用如下公式确定所述候选窗口的特征值ο」:ο」= ν^」+Ti;当所述候选窗口的特征值为正值时,则确定所述候选窗口中包含目标区域;当所述候选窗口的特征值为负值时,则确定所述候选窗口中未包含目标区域。
[0090]其中,本发明装置的各个模块可以集成于一体,也可以分离部署。上述模块可以合并为一个模块,也可以进一步拆分成多个子模块。
[0091]通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。本领域技术人员可以理解附图只是一个优选实施例的示意图,附图中的模块或流程并不一定是实施本发明所必须的。
[0092]本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中,也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可进一步拆分成多个子模块。上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
[0093]以上公开的仅为本发明的几个具体实施例,但是,本发明并非局限于此,任何本领域的技术人员能思之的变化都应落入本发明的保护范围。
【主权项】
1.一种目标区域的定位方法,其特征在于,所述方法包括以下步骤: 获得待检测图像,并对所述待检测图像进行分割,得到X个候选窗口 ; 对所述待检测图像进行缩放处理,得到A个不同尺度的检测缩放图像; 针对所述X个候选窗口中的每个候选窗口,执行以下处理过程,并得到Y个未被过滤的候选窗口:从所述A个不同尺度的检测缩放图像中,为所述候选窗口选择一个尺度
的检测缩放图像,并利用所述一个尺度的检测缩放图像所对应的训练信息,判断所述候选窗口中是否包含目标区域,如果否,则过滤所述候选窗口,如果是,则保留所述候选窗口; 对所述Y个候选窗口分别提取特征向量,得到Y个特征向量; 对所述Y个特征向量进行分类,定位出目标区域。2.根据权利要求1所述的方法,其特征在于,所述训练信息具体包括判别参数^,^和权重向量w,所述方法进一步包括: 维护所述A个不同尺度的检测缩放图像分别对应的训练信息,且所述A个不同尺度的检测缩放图像分别对应的训练信息的维护过程,具体包括: 获得已知目标位置的训练图像,并选择包含所述目标位置的正样本窗口、未包含所述目标位置的负样本窗口;利用方向梯度直方图HOG特征对所述正样本窗口进行特征提取,得到正样本特征向量,利用HOG特征对所述负样本窗口进行特征提取,得到负样本特征向量;对所述正样本特征向量进行缩放处理,得到M*N的正样本特征向量,对所述负样本特征向量进行缩放处理,得到M*N的负样本特征向量;对所述M*N的正样本特征向量以及所述M*N的负样本特征向量进行线性训练,得到所述权重向量W ; 对所述训练图像进行缩放处理,得到A个不同尺度的训练缩放图像;针对每个尺度的训练缩放图像,将所述训练缩放图像划分成一个或者多个M*N的子区域,并利用所述目标位置确定每个子区域的特征值,并利用所述特征值和所述权重向量W,得到所述训练缩放图像的判别参数(VnTO,并将所述判别参数(VnTO作为对应尺度的检测缩放图像的判别参数(I,Ti)。3.根据权利要求2所述的方法,其特征在于,所述利用所述目标位置确定每个子区域的特征值,并利用所述特征值和所述权重向量W,得到所述训练缩放图像的判别参数(VnTO的过程,具体包括: 针对所述训练缩放图像中的每个M*N的子区域,当所述目标位置位于所述子区域时,则确定所述子区域的特征值⑴为正值;当所述目标位置不位于所述子区域时,则确定所述子区域的特征值⑴为负值;以及,将所述子区域与所述权重向量W进行卷积,得到所述子区域的分数Si; 利用如下公式对所述训练缩放图像的每个子区域的分数sdP特征值⑴进行线性训练,得到所述训练缩放图像的判别参数(VnlWOpV^Si+Ti。4.根据权利要求2所述的方法,其特征在于,从A个不同尺度的检测缩放图像中,为所述候选窗口选择一个尺度的检测缩放图像的过程,包括: 确定所述候选窗口在所述A个不同尺度的检测缩放图像中的每个检测缩放图像中的像素大小,并选择像素大小最接近M*N的检测缩放图像,并将当前选择的检测缩放图像作为为所述候选窗口选择的检测缩放图像; 其中,所述Μ为预设的水平像素大小,所述N为预设的垂直像素大小。5.根据权利要求2或4所述的方法,其特征在于,针对所述X个候选窗口中的每个候选窗口,所述利用所述一个尺度的检测缩放图像所对应的训练信息,判断所述候选窗口中是否包含目标区域的过程,具体包括: 将所述候选窗口与所述检测缩放图像对应的权重向量W进行卷积,得到所述候选窗口对应的分数基于所述分数Sj、所述检测缩放图像对应的判别参数(VnTO,利用如下公式确定所述候选窗口的特征值Oj:0j = Vi*Sj+Ti;当所述候选窗口的特征值为正值时,确定所述候选窗口中包含目标区域;当所述候选窗口的特征值为负值时,确定所述候选窗口中未包含目标区域。6.—种目标区域的定位装置,其特征在于,所述装置具体包括: 获得模块,用于获得待检测图像,对待检测图像进行分割,得到X个候选窗口 ;对待检测图像进行缩放处理,得到A个不同尺度的检测缩放图像; 处理模块,用于针对所述X个候选窗口中的每个候选窗口,执行以下处理过程,并得到Y个未被过滤的候选窗口:从所述A个不同尺度的检测缩放图像中,为所述候选窗口选择一个尺度的检测缩放图像,并利用所述一个尺度的检测缩放图像所对应的训练信息,判断所述候选窗口中是否包含目标区域,如果否,则过滤所述候选窗口,如果是,则保留所述候选窗P; 提取模块,用于对Y个候选窗口分别提取特征向量,得到Y个特征向量; 定位模块,用于对所述Y个特征向量进行分类,定位出目标区域。7.根据权利要求6所述的装置,其特征在于, 所述训练信息具体包括判别参数(Vi,Ti)和权重向量W ; 所述处理模块,还用于维护所述A个不同尺度的检测缩放图像分别对应的训练信息,且在所述A个不同尺度的检测缩放图像分别对应的训练信息的维护过程中,获得已知目标位置的训练图像,并选择包含所述目标位置的正样本窗口、未包含所述目标位置的负样本窗口;利用方向梯度直方图HOG特征对所述正样本窗口进行特征提取,得到正样本特征向量,利用HOG特征对所述负样本窗口进行特征提取,得到负样本特征向量;对所述正样本特征向量进行缩放处理,得到M*N的正样本特征向量,对所述负样本特征向量进行缩放处理,得到M*N的负样本特征向量;对所述M*N的正样本特征向量以及所述M*N的负样本特征向量进行线性训练,得到所述权重向量W; 对所述训练图像进行缩放处理,得到A个不同尺度的训练缩放图像;针对每个尺度的训练缩放图像,将所述训练缩放图像划分成一个或者多个M*N的子区域,并利用所述目标位置确定每个子区域的特征值,并利用所述特征值和所述权重向量W,得到所述训练缩放图像的判别参数(VnTO,并将所述判别参数(VnTO作为对应尺度的检测缩放图像的判别参数(I,Ti)。8.根据权利要求7所述的装置,其特征在于, 所述处理模块,具体用于在利用所述目标位置确定每个子区域的特征值,并利用所述特征值和所述权重向量W,得到所述训练缩放图像的判别参数(I,TO的过程中,针对所述训练缩放图像中的每个M*N的子区域,当所述目标位置位于所述子区域时,则确定所述子区域的特征值⑴为正值;当所述目标位置不位于所述子区域时,则确定所述子区域的特征值⑴为负值;以及,将所述子区域与所述权重向量W进行卷积,得到所述子区域的分数S1; 利用如下公式对所述训练缩放图像的每个子区域的分数sdP特征值⑴进行线性训练,得到所述训练缩放图像的判别参数(VnlWOpV^Si+Ti。9.根据权利要求7所述的装置,其特征在于, 所述处理模块,具体用于在从所述A个不同尺度的检测缩放图像中,为所述候选窗口选择一个尺度的检测缩放图像的过程中,确定所述候选窗口在所述A个不同尺度的检测缩放图像中的每个检测缩放图像中的像素大小,并选择像素大小最接近M*N的检测缩放图像,并将当前选择的检测缩放图像作为为所述候选窗口选择的检测缩放图像; 其中,所述Μ为预设的水平像素大小,所述N为预设的垂直像素大小。10.根据权利要求7或9所述的装置,其特征在于, 所述处理模块,具体用于在利用所述一个尺度的检测缩放图像所对应的训练信息,判断所述候选窗口中是否包含目标区域的过程中,将所述候选窗口与所述检测缩放图像对应的权重向量W进行卷积,得到所述候选窗口对应的分数基于所述分数Sj、所述检测缩放图像对应的判别参数(Vi,Ti),利用如下公式确定所述候选窗口的特征值Oj:Oj = Vi*Sj+Ti;当所述候选窗口的特征值为正值时,则确定所述候选窗口中包含目标区域;当所述候选窗口的特征值为负值时,则确定所述候选窗口中未包含目标区域。
【专利摘要】本发明提供一种目标区域的定位方法和装置,该方法包括:获得待检测图像,对待检测图像进行分割,得到X个候选窗口;对待检测图像进行缩放处理,得到A个不同尺度的检测缩放图像;针对X个候选窗口中的每个候选窗口,执行以下处理,得到Y个未被过滤的候选窗口:从A个不同尺度的检测缩放图像中,为候选窗口选择一个尺度的检测缩放图像,利用该检测缩放图像所对应的训练信息,判断候选窗口中是否包含目标区域,如果否,过滤候选窗口,如果是,保留候选窗口;对Y个候选窗口分别提取特征向量,得到Y个特征向量;对Y个特征向量进行分类,定位出目标区域。通过本发明的技术方案,可提高算法的检测效率,加快运算速率,提高设备的计算性能。
【IPC分类】G06K9/32, G06K9/00
【公开号】CN105488468
【申请号】CN201510846771
【发明人】毛敏
【申请人】浙江宇视科技有限公司
【公开日】2016年4月13日
【申请日】2015年11月26日