一种融合运动特征的时空显著性检测方法
一种融合运动特征的时空显著性检测方法
【技术领域】
[0001] 本发明属于图像与视频处理领域，具体是一种融合运动特征的时空显著性检测方 法。本发明以基于区域的显著性检测模型为基础，首先，用超像素分割算法将每一帧图像表 示为一系列超像素并且提取超像素级的颜色直方图作为特征;然后，通过光流估计和块匹 配的方法得到运动显著图，根据颜色的全局对比和空间分布得到空间显著图；最后，使用一 种动态融合策略将运动显著图和空间显著图融合成为最终的时空显著图。该方法融合了运 动特征进行显著性检测，能够同时运用于静态和动态场景中。 2、
【背景技术】
[0002] 显著性检测是指准确地定位并提取在视频和图像中包含较大的信息量、能吸引人 的注意力的区域。在图像处理过程中，将较高的处理优先级赋予图像显著区域，既可以降低 计算过程的复杂度，又可以提高图像处理的效率。因此，显著性检测在目标识别、图像检索、 视频图像编码等领域具有广泛的应用前景。
[0003] 根据处理的信息源图像的不同，显著性检测模型可分为空域显著性检测模型和时 空显著性检测模型。针对静态场景的空域显著性检测，主要有基于生物启发模型和特征整 合理论的显著性检测方法，该算法通过中心-周围算子计算不同尺度上特征的差别来得到 显著度。有通过计算像素与其周边像素的特征距离的基于局部对比度分析的图像显著性检 测。也有将图像分割为若干区域，结合图像的空间特性和颜色对比度来计算全局对比的显 著区域检测方法。
[0004] 动态场景下的时空显著性检测算法不仅要考虑检测空间显著性区域，还要考虑时 间轴上显著性的影响因素，如物体运动、自然条件变化、相机移动等等。根据计算方式的不 同，时空显著性检测算法主要分为四类：（1)基于特征融合的模型：在图像显著性检测模型 的基础上加入运动特征，计算连续两帧图像的差异来得到运动产生的显著性；（2)基于空间 平面的模型:谱残余方法的基础上，认为在时间轴上，帧序列构成的像素点在χ-τ，γ-τ平面 都满足谱残余的结论，将Χ-Τ，Υ-Τ平面看作二维矩阵，分别进行低秩-稀疏分解，最后融合成 为最终的显著图；（3)基于频域分析的模型:从频域分析角度出发，将亮度、颜色、运动三类 特征组合四元数组，然后通过四元数傅里叶变换获取视频在时空域上的相位谱，并利用该 相位谱检测视频的显著性；（4)基于背景检测的模型：高斯混合模型也被用于时空显著性检 测，在单一场景中，将高斯混合模型计算出的前景区域作为显著区域。以上方法将静态显著 性和动态显著性简单的线性融合或者只突出了运动特征，忽略了场景中的动态特性和空间 特性，难以获取准确的显著区域。 3、
【发明内容】
[0005] 本发明以基于区域的显著性检测模型为基础，融入光流向量块对比的方法提取图 像序列的运动特征，并提出了一种将空域显著性和时域显著性动态融合的策略，能够同时 运用于静态和动态的自然场景中。
[0006] (1)超像素分割及特征提取
[0007] 使用简单线性迭代聚类将每一帧图像Ft表示为一系列超像素 Ψ义= 1,.将 超像素作为基本的处理单元，可以减少处理单元的数量，而且可以保证最终的检测结果能 够均匀地突出显著对象。颜色特征的提取采用颜色直方图，将Lab颜色空间的每一个通道量 化得到12个不同的值，将颜色的数量减少到qc=12 3=1728,对于每一个超像素印丨'，计算超 像素中所有像素在Lab空间的均值，并且进行量化得到颜色直方图CH t，最后将颜色直方图 归一化，使?
[0008] (2)基于运动特征的时间显著性
[0009] 本发明采用光流运动估计和块匹配的方法来提取图像序列的运动特征。光流运动 估计法的基本思想是将运动图像函数f(x，y，t)作为基本函数，根据图像强度守恒原理建立 光流约束方程，通过求解光流约束方程，计算运动参数。对于当前帧F t，使用其前一帧 为参考帧，通过光流运动估计法计算得到F+的伝动向量扬(lUvi V、. Wx, y))，对于当前帧Ft中的 每一个超像素切丨'，计算其平均运动矢量大>
[0010] 为了克服背景运动和相机抖动的影响，本发明通过块匹配的方法在前一帧中找到 与当前帧最匹配的超像素，并且计算该超像素与其背景超像素的相对运动值作为其显著 值。具体的实现方法:在帧Ft-i中选择与其最匹配的超像素
把 相连接的超像素与其一起作为相关联超像素集合^，///，/^分别表示超像素i，j的中心 位置。因此，超像素的时间显著性定义为： _1]
(1) ^Ft-\ ^Ψ?
[0012] 其中，帧间相关性
，c(i)和c(j)分别 表示超像素i和j在Lab颜色空间量化后的颜色值。
[0013] (3)空间显著性
[0014] 本发明根据颜色的全局对比和空间分布来计算每一帧图像的空间显著性。对于当 前帧中的超像素Ψ:，其颜色全局对比显著值定义为：
[0015
⑵
[0016] 其中，fj超像素的直方图在整幅图像中出现的概率，C(i)和C(j)分别表示超像 素i和j在Lab颜色空间量化后的颜色值。
[0017] 颜色的空间分布也会影响图像的显著性，颜色分布越紧密，则显著性越高，因此颜 色的空间分布显著性定义为：
[0018]
(3) Μ
[0019] 其中，￡>(ψ/)为趣象素j的中心与图像中心的距?
当超像素i和j的颜色越相近并且距离越小，丨_,ψ/)的值越大。
[0020] 最后将颜色全局分布显著性与空间分布显著性融合得到图像的空间显著性：
[0021 ]
(4)
[0022] (4)时空显著性
[0023] 熄时问显荖忡和空问显荖忡白话府钱忡融合徨刹时空 显著图，即：
[0024](5)
[0025]权值α定义为：
[0026]
(6) L ν 卜】厂…3 f-i^ r _
[0027] 其中表示超像素 i中的像素个数。动态场景 1=1
下当运动越明显时，时间显著性的权值越大，静态场景下，α直接设置为1。 4、
【附图说明】
[0028] 附图是本发明的原理和实现步骤。 5、
【具体实施方式】
[0029]附图1为该发明的实施流程图，其具体步骤为：
[0030] (1)图像预处理:将输入的每一帧图像通过SLIC超像素分割算法分割为一系列大 小均匀、紧凑的超像素作为显著性检测的基本处理单元。
[0031] (2)颜色特征的提取:对于每一帧图像，以超像素为单位，计算超像素中所有像素 在Lab空间的均值，进行量化得到颜色直方图CH t并且归一化使得尽认)=1。
[0032] (3)时间显著性计算:通过光流运动估计法计算得到Ft相对于前一帧运动向 量场(1^^，￥〇^))，并且计算得到超像素5^内平均矢量场大/丨
_ i，然后通 过块匹配的方法在前一帧中找到与当前帧最匹配的超像素及其相关超像素集合，使用公式 (1)得到图像的时间显著图。
[0033] (4)空间显著性计算:根据基于区域的静态显著性检测模型为基础，使用公式（2) 和公式(3)分别得到以超像素为基本单位的颜色全局对比显著性和颜色空间分布显著性， 并通过公式(4)将其融合成为最终的空间显著图。
[0034] (5)时空显著性计算:根据公式(5)将时间显著性和空间显著性自适应线性融合得
【主权项】
1. 一种融合运动特征的时空显著性检测方法，其特征是： 每将一帧图像进行超像素分割，并以超像素作为基本单元提取颜色直方图，根据颜色 的全局对比和空间分布计算每一帧图像的空间显著性，采用光流运动估计和块匹配的方法 来提取图像序列的运动特征，将空域显著性和时域显著性动态融合，使该算法能够同时运 用于静态和动态的自然场景中运动特征的检测。2. 如权利要求1所述的一种融合运动特征的时空显著性检测方法，其特征是所述的超 像素分割和超像素区域颜色直方图特征提取方法是： 使用线性迭代聚类方法将每一帧图像Ft表示为一系列超像素印乂' = 1，...，《,)，将超像素 作为基本的处理单元，可以减少处理单元的数量，而且可以保证最终的检测结果能够均匀 地突出显著对象。 对分割得到的超像素区域的颜色特征计算颜色直方图。将Lab颜色空间的每一个通道 量化得到12个不同的值，将颜色的数量减少到qc = 123 = 1728。对于每一个超像素Ψ丨，计算 超像素中所有像素在Lab空间的均值，并且进行量化得到颜色直方图CHt，最后将颜色直方 图归一化，使得3. 如权利要求1所述的一种融合运动特征的时空显著性检测方法，其特征是所述的空 间显著性计算方法是： 本发明根据颜色的全局对比和空间分布来计算每一帧图像的空间显著性。对于当前帧 中的超像素沒彳，其颜色全局对比显著值定义为：其中，t超像素切丨的直方图在整幅图像中出现的概率，c(i)和c(j)分别表示超像素i和 j在Lab颜色空间量化后的颜色值。 颜色的空间分布也会影响图像的显著性，颜色分布越紧密，则显著性越高，因此颜色的 空间分布显著性定义为：其中，DCsp/)为超像素j的中心与图像中心的距离，当超像素i和j的颜色越相近并且距离越小，的值越大。 最后将颜色全局分布显著性与空间分布显著性融合得到图像的空间显著性：4. 如权利要求1所述的一种融合运动特征的时空显著性检测方法，其特征是所述的采 用光流运动估计和块匹配的方法来提取图像序列的运动特征的计算方法是： 光流运动估计法的基本思想是将运动图像函数f(x，y，t)作为基本函数，根据图像强度 守恒原理建立光流约束方程，通过求解光流约束方程，计算运动参数。对于当前帧Ft，使用 其前一帧Ft-ι作为参考帧，通过光流运动估计法计算得到Ft的运动向量场(UUy)，VUy))，对 于当前帧Ft中的每一个超像素ψ)，计算其平均运动矢量大小为了克服背景运动和相机抖动的影响，本发明通过块匹配的方法在前一帧中找到与当 前帧最匹配的超像素，并且计算该超像素与其背景超像素的相对运动值作为其显著值。具 体的实现方法:在帧Ft1中选择与其最匹配的超像素相 连接的超像素与其一起作为相关联超像素集合队，4，/^分别表示超像素i，j的中心位置。 因此，超像素的时间显著性定义为：其中，帧间相关性，c(i)和c(j)分别表示 超像素i和j在Lab颜色空间量化后的颜色值。5.如权利要求1所述的一种融合运动特征的时空显著性检测方法，其特征是所述的时 间显著性和空间显著性自适应线性融合得到时空显著图的计算方法是：权值α定义为：其中，表示超像素i中的像素个数。动态场景下当运 动越明显时，时间显著性的权值越大，静态场景下，α直接设置为1。
【专利摘要】本发明属于图像与视频处理领域，具体是一种融合空间显著性和运动特征的时空显著性检测方法。首先，用超像素分割算法将每一帧图像表示为一系列超像素并且提取超像素级的颜色直方图作为特征；然后，通过计算颜色的全局对比和空间分布得到空间显著图；其次，通过光流估计和块匹配的方法得到运动显著图；最后，使用动态融合策略将运动显著图和空间显著图融合成为最终的时空显著图。该方法融合了空间显著性和运动特征而进行显著性检测，使该算法能够同时运用于静态和动态场景中的显著性检测。
【IPC分类】G06T7/20
【公开号】CN105488812
【申请号】CN201510823908
【发明人】于凤芹
【申请人】江南大学
【公开日】2016年4月13日
【申请日】2015年11月24日
【技术领域】
[0001] 本发明属于图像与视频处理领域，具体是一种融合运动特征的时空显著性检测方 法。本发明以基于区域的显著性检测模型为基础，首先，用超像素分割算法将每一帧图像表 示为一系列超像素并且提取超像素级的颜色直方图作为特征;然后，通过光流估计和块匹 配的方法得到运动显著图，根据颜色的全局对比和空间分布得到空间显著图；最后，使用一 种动态融合策略将运动显著图和空间显著图融合成为最终的时空显著图。该方法融合了运 动特征进行显著性检测，能够同时运用于静态和动态场景中。 2、
【背景技术】
[0002] 显著性检测是指准确地定位并提取在视频和图像中包含较大的信息量、能吸引人 的注意力的区域。在图像处理过程中，将较高的处理优先级赋予图像显著区域，既可以降低 计算过程的复杂度，又可以提高图像处理的效率。因此，显著性检测在目标识别、图像检索、 视频图像编码等领域具有广泛的应用前景。
[0003] 根据处理的信息源图像的不同，显著性检测模型可分为空域显著性检测模型和时 空显著性检测模型。针对静态场景的空域显著性检测，主要有基于生物启发模型和特征整 合理论的显著性检测方法，该算法通过中心-周围算子计算不同尺度上特征的差别来得到 显著度。有通过计算像素与其周边像素的特征距离的基于局部对比度分析的图像显著性检 测。也有将图像分割为若干区域，结合图像的空间特性和颜色对比度来计算全局对比的显 著区域检测方法。
[0004] 动态场景下的时空显著性检测算法不仅要考虑检测空间显著性区域，还要考虑时 间轴上显著性的影响因素，如物体运动、自然条件变化、相机移动等等。根据计算方式的不 同，时空显著性检测算法主要分为四类：（1)基于特征融合的模型：在图像显著性检测模型 的基础上加入运动特征，计算连续两帧图像的差异来得到运动产生的显著性；（2)基于空间 平面的模型:谱残余方法的基础上，认为在时间轴上，帧序列构成的像素点在χ-τ，γ-τ平面 都满足谱残余的结论，将Χ-Τ，Υ-Τ平面看作二维矩阵，分别进行低秩-稀疏分解，最后融合成 为最终的显著图；（3)基于频域分析的模型:从频域分析角度出发，将亮度、颜色、运动三类 特征组合四元数组，然后通过四元数傅里叶变换获取视频在时空域上的相位谱，并利用该 相位谱检测视频的显著性；（4)基于背景检测的模型：高斯混合模型也被用于时空显著性检 测，在单一场景中，将高斯混合模型计算出的前景区域作为显著区域。以上方法将静态显著 性和动态显著性简单的线性融合或者只突出了运动特征，忽略了场景中的动态特性和空间 特性，难以获取准确的显著区域。 3、
【发明内容】
[0005] 本发明以基于区域的显著性检测模型为基础，融入光流向量块对比的方法提取图 像序列的运动特征，并提出了一种将空域显著性和时域显著性动态融合的策略，能够同时 运用于静态和动态的自然场景中。
[0006] (1)超像素分割及特征提取
[0007] 使用简单线性迭代聚类将每一帧图像Ft表示为一系列超像素 Ψ义= 1,.将 超像素作为基本的处理单元，可以减少处理单元的数量，而且可以保证最终的检测结果能 够均匀地突出显著对象。颜色特征的提取采用颜色直方图，将Lab颜色空间的每一个通道量 化得到12个不同的值，将颜色的数量减少到qc=12 3=1728,对于每一个超像素印丨'，计算超 像素中所有像素在Lab空间的均值，并且进行量化得到颜色直方图CH t，最后将颜色直方图 归一化，使?
[0008] (2)基于运动特征的时间显著性
[0009] 本发明采用光流运动估计和块匹配的方法来提取图像序列的运动特征。光流运动 估计法的基本思想是将运动图像函数f(x，y，t)作为基本函数，根据图像强度守恒原理建立 光流约束方程，通过求解光流约束方程，计算运动参数。对于当前帧F t，使用其前一帧 为参考帧，通过光流运动估计法计算得到F+的伝动向量扬(lUvi V、. Wx, y))，对于当前帧Ft中的 每一个超像素切丨'，计算其平均运动矢量大>
[0010] 为了克服背景运动和相机抖动的影响，本发明通过块匹配的方法在前一帧中找到 与当前帧最匹配的超像素，并且计算该超像素与其背景超像素的相对运动值作为其显著 值。具体的实现方法:在帧Ft-i中选择与其最匹配的超像素
把 相连接的超像素与其一起作为相关联超像素集合^，///，/^分别表示超像素i，j的中心 位置。因此，超像素的时间显著性定义为： _1]
(1) ^Ft-\ ^Ψ?
[0012] 其中，帧间相关性
，c(i)和c(j)分别 表示超像素i和j在Lab颜色空间量化后的颜色值。
[0013] (3)空间显著性
[0014] 本发明根据颜色的全局对比和空间分布来计算每一帧图像的空间显著性。对于当 前帧中的超像素Ψ:，其颜色全局对比显著值定义为：
[0015
⑵
[0016] 其中，fj超像素的直方图在整幅图像中出现的概率，C(i)和C(j)分别表示超像 素i和j在Lab颜色空间量化后的颜色值。
[0017] 颜色的空间分布也会影响图像的显著性，颜色分布越紧密，则显著性越高，因此颜 色的空间分布显著性定义为：
[0018]
(3) Μ
[0019] 其中，￡>(ψ/)为趣象素j的中心与图像中心的距?
当超像素i和j的颜色越相近并且距离越小，丨_,ψ/)的值越大。
[0020] 最后将颜色全局分布显著性与空间分布显著性融合得到图像的空间显著性：
[0021 ]
(4)
[0022] (4)时空显著性
[0023] 熄时问显荖忡和空问显荖忡白话府钱忡融合徨刹时空 显著图，即：
[0024](5)
[0025]权值α定义为：
[0026]
(6) L ν 卜】厂…3 f-i^ r _
[0027] 其中表示超像素 i中的像素个数。动态场景 1=1
下当运动越明显时，时间显著性的权值越大，静态场景下，α直接设置为1。 4、
【附图说明】
[0028] 附图是本发明的原理和实现步骤。 5、
【具体实施方式】
[0029]附图1为该发明的实施流程图，其具体步骤为：
[0030] (1)图像预处理:将输入的每一帧图像通过SLIC超像素分割算法分割为一系列大 小均匀、紧凑的超像素作为显著性检测的基本处理单元。
[0031] (2)颜色特征的提取:对于每一帧图像，以超像素为单位，计算超像素中所有像素 在Lab空间的均值，进行量化得到颜色直方图CH t并且归一化使得尽认)=1。
[0032] (3)时间显著性计算:通过光流运动估计法计算得到Ft相对于前一帧运动向 量场(1^^，￥〇^))，并且计算得到超像素5^内平均矢量场大/丨
_ i，然后通 过块匹配的方法在前一帧中找到与当前帧最匹配的超像素及其相关超像素集合，使用公式 (1)得到图像的时间显著图。
[0033] (4)空间显著性计算:根据基于区域的静态显著性检测模型为基础，使用公式（2) 和公式(3)分别得到以超像素为基本单位的颜色全局对比显著性和颜色空间分布显著性， 并通过公式(4)将其融合成为最终的空间显著图。
[0034] (5)时空显著性计算:根据公式(5)将时间显著性和空间显著性自适应线性融合得
【主权项】
1. 一种融合运动特征的时空显著性检测方法，其特征是： 每将一帧图像进行超像素分割，并以超像素作为基本单元提取颜色直方图，根据颜色 的全局对比和空间分布计算每一帧图像的空间显著性，采用光流运动估计和块匹配的方法 来提取图像序列的运动特征，将空域显著性和时域显著性动态融合，使该算法能够同时运 用于静态和动态的自然场景中运动特征的检测。2. 如权利要求1所述的一种融合运动特征的时空显著性检测方法，其特征是所述的超 像素分割和超像素区域颜色直方图特征提取方法是： 使用线性迭代聚类方法将每一帧图像Ft表示为一系列超像素印乂' = 1，...，《,)，将超像素 作为基本的处理单元，可以减少处理单元的数量，而且可以保证最终的检测结果能够均匀 地突出显著对象。 对分割得到的超像素区域的颜色特征计算颜色直方图。将Lab颜色空间的每一个通道 量化得到12个不同的值，将颜色的数量减少到qc = 123 = 1728。对于每一个超像素Ψ丨，计算 超像素中所有像素在Lab空间的均值，并且进行量化得到颜色直方图CHt，最后将颜色直方 图归一化，使得3. 如权利要求1所述的一种融合运动特征的时空显著性检测方法，其特征是所述的空 间显著性计算方法是： 本发明根据颜色的全局对比和空间分布来计算每一帧图像的空间显著性。对于当前帧 中的超像素沒彳，其颜色全局对比显著值定义为：其中，t超像素切丨的直方图在整幅图像中出现的概率，c(i)和c(j)分别表示超像素i和 j在Lab颜色空间量化后的颜色值。 颜色的空间分布也会影响图像的显著性，颜色分布越紧密，则显著性越高，因此颜色的 空间分布显著性定义为：其中，DCsp/)为超像素j的中心与图像中心的距离，当超像素i和j的颜色越相近并且距离越小，的值越大。 最后将颜色全局分布显著性与空间分布显著性融合得到图像的空间显著性：4. 如权利要求1所述的一种融合运动特征的时空显著性检测方法，其特征是所述的采 用光流运动估计和块匹配的方法来提取图像序列的运动特征的计算方法是： 光流运动估计法的基本思想是将运动图像函数f(x，y，t)作为基本函数，根据图像强度 守恒原理建立光流约束方程，通过求解光流约束方程，计算运动参数。对于当前帧Ft，使用 其前一帧Ft-ι作为参考帧，通过光流运动估计法计算得到Ft的运动向量场(UUy)，VUy))，对 于当前帧Ft中的每一个超像素ψ)，计算其平均运动矢量大小为了克服背景运动和相机抖动的影响，本发明通过块匹配的方法在前一帧中找到与当 前帧最匹配的超像素，并且计算该超像素与其背景超像素的相对运动值作为其显著值。具 体的实现方法:在帧Ft1中选择与其最匹配的超像素相 连接的超像素与其一起作为相关联超像素集合队，4，/^分别表示超像素i，j的中心位置。 因此，超像素的时间显著性定义为：其中，帧间相关性，c(i)和c(j)分别表示 超像素i和j在Lab颜色空间量化后的颜色值。5.如权利要求1所述的一种融合运动特征的时空显著性检测方法，其特征是所述的时 间显著性和空间显著性自适应线性融合得到时空显著图的计算方法是：权值α定义为：其中，表示超像素i中的像素个数。动态场景下当运 动越明显时，时间显著性的权值越大，静态场景下，α直接设置为1。
【专利摘要】本发明属于图像与视频处理领域，具体是一种融合空间显著性和运动特征的时空显著性检测方法。首先，用超像素分割算法将每一帧图像表示为一系列超像素并且提取超像素级的颜色直方图作为特征；然后，通过计算颜色的全局对比和空间分布得到空间显著图；其次，通过光流估计和块匹配的方法得到运动显著图；最后，使用动态融合策略将运动显著图和空间显著图融合成为最终的时空显著图。该方法融合了空间显著性和运动特征而进行显著性检测，使该算法能够同时运用于静态和动态场景中的显著性检测。
【IPC分类】G06T7/20
【公开号】CN105488812
【申请号】CN201510823908
【发明人】于凤芹
【申请人】江南大学
【公开日】2016年4月13日
【申请日】2015年11月24日
最新回复(0)