基于金字塔匹配直方图交叉核的人体睡眠姿态检测方法
基于金字塔匹配直方图交叉核的人体睡眠姿态检测方法
【技术领域】
[0001] 本发明属于生物医学信息技术领域，尤其设及基于金字塔匹配直方图交叉核的人 体睡眠姿态检测方法。
【背景技术】
[0002] 在日常生活中，由于错误睡姿使得局部组织遭受严重压力，让人们患上稱疮，尤其 是邸床不起的病人。而且错误的睡姿可能引起屯、脏疾病和颈椎疾病等。所W研究不同的睡 眠姿势对监视，健康护理，老年看护是重要的。所W人体睡眠姿态识别是一个重要研究方 向，它的最终目的是输出一个人的整体或者局部肢体的结构参数。睡眠姿态识别的研究方 法应该说，设及了生物医学工程、生物医学信息学等。W往有些基于运方面研究的方法都是 基于普通光学图像，比如常见的RGB图像，运类图像容易受光照、阴影等外界变化的影响，或 者基于ECG信号，并且由于人体关节自由度大，及人的体型、着装较大差异性，常导致睡眠姿 态识别系统识别不准确。随着光电技术的快速发展，深度传感设备的成本逐渐降低，人们获 取深度图像的方法也越来越多。该方向的研究也越来越成为计算机视觉领域的研究趋势。 具体原因包括:一方面，深度传感设备不仅操作简单，并且极大简化了普通照相机的标定过 程;另一方面，得到的深度图像由于直接包含了人体的深度信息，能够有效的克服普通光学 图像遇到的上述问题。从深度图像中进行姿态识别不仅具有研究意义，更重要的是人体睡 眠姿态识别具有广阔的应用前景与商业价值，W下是它几个典型的应用领域：1)智能监控 系统（参见：VinczeM，ZillichM，PonweiserW，et al. Integrated vision system for the semantic interpretationof activities where aperson handles objects[J]， ComputerVision and ImageUnderstanding，2009，113(6) :682-692) ;2)高级人机交互；3) 远程医疗。基于普通光学图像的睡眠姿态估计主要有基于模型和基于无模型两类，对于前 者的方法而言，要将预先构造的人体模型与图像中人体构造的各部分的形状、色彩、轮廓等 特征对应起来，W求解人体模型的各种参数，运种方法不需要庞大的样本库和稳定的估计 算法，但由于该方法被复杂模型所限制不被通用，并且也不适合目前普遍具有海量数据的 实际应用领域;基于无模型方法不需要事先构造人体模型，而是W-种学习的方式来构造 人体特征与人体睡眠姿态之间的映射关系。无模型方法通过学习方法改善人体睡眠姿态识 别效果，适合当前的应用需求。然而，运些方法都是从图像中提取色彩、轮廓、形状、边缘等 特征，由于普通光学图像容易受光照、阴影等变化因数的影响，所W所提取的该类特征的鲁 棒性及有效性较差。与普通光学图像相比，深度图像包含了更为丰富的空间信息，从中既可 W提取物体轮廓、形状区域特征，还可W提取出模型外观的立体特征，而且深度图像像素记 录的因为是距离信息，具有颜色无关性，所W运在一定程度上克服了普通光学图像遇到的 上述问题，随着光电技术的发展，很多研究学者结合深度图像性质把很多经典算法应用在 该类图像上。比如Lu Xia(参照：Xia L，畑enCC，Agga;rwal J.K.Human detection using depth information by Kinect[C]，CVPRW，2011.)等人结合像素深度信息利用(^inny算子 从图像中提取边缘特征，通过距离变换和模型匹配，进行部位检测的方法来识别姿态;尽管 上述方法在一定程度上弥补了普通光学图像的缺点，但碍于一般传感设备不适用任何环境 等因素，基于深度图像的人体睡眠姿态识别一直没有突破性的进展。
【发明内容】
[0003] 本发明的目的在于提供一种新的基于金字塔匹配直方图交叉核的人体睡眠姿态 检测方法，旨在解决现有的人体睡眠姿态检测方法单一和准确率低的问题。
[0004] 本发明是运样实现的，基于金字塔匹配直方图交叉核的人体睡眠姿态检测方法， 所述基于金字塔匹配直方图交叉核的人体睡眠姿态检测方法包括：
[000引采用Artec和Kinect采集数据；
[0006] 通过平移和缩放坐标系统的尺度将每个3维人体睡眠模型从模型的中屯、移动到 坐标系统的原点，坐标轴的最大值变为1，建立出每个模型其自己的协调的系统；
[0007] 通过建立投影坐标系统，从位于大的球体表面的照相机位置提取深度图像，每个3 维人体睡眠模型用了十套内接于相同球体而旋转角度不同的十二面体，照相机位置位于规 则正十二面体的20个顶点，每个视角的照相机朝向规则正十二面体的中屯、，每套正十二面 体从运二十个不同的角度提取出10幅图像，一共提取出一百幅图像；
[0008] 通过SIFT算法提取出每一幅深度图像的尺度和旋转不变特征包，每一幅图像大约 有Ξ十到四十个SIFT特征，每个特征为128维向量，得到一个3维人体睡眠模型的3000到 5000个SIFT特征；
[0009] 通过K-means算法将得到的SIFT特征编码成可见的visual words并进行聚类，得 到dictionary;
[0010] 通过统计属于每个质屯、(dietionary中的每个visual word)的SIFT特征数目得到 的bag of words代入到基于金字塔匹配直方图交叉核的人体睡眠姿态检测方法中得到输 入的每个3维人体睡眠模型的每一种睡眠姿态。
[0011] 进一步，所述通过建立投影坐标系统包括：
[0012] 将3维人体睡眠模型从模型的中屯、移动到坐标系统的原点，定义平移公式：
[0013]
[0014] MaxCoori和MinCoori是各自坐标轴上的最大和最小坐标值，缩放是各向同性的， 根据距离模型的X，y，Z轴上的最大值来进行标准化，公式为：
[0015]
[0016] 进一步，所述通过SIFT算法提取出每一幅深度图像的尺度和旋转不变特征包具体 包括：
[0017] 构建尺度空间中，高斯卷积核是实现尺度变换的唯一线性核，于是一幅二维图像 的尺度空间定义为L(x，y，曰）：
[0018] L(x,y ,σ) =G(x,y ,〇)*I(x,y)
[0019] ；
[0020]
[0021] 其中G(x，y，〇)是尺度可变高斯函数，（x，y)是空间坐标，是尺度坐标，ο大小决定图 像的平滑程度，大尺度对应图像的概貌特征，小尺度对应图像的细节特征，大的σ值对应粗 糖尺度，反之，对应精细尺度，利用不同尺度的高斯差分核与图像卷积生成：
[0022] D(x,y,〇) = (G(x,y,k〇)-G(x,y,〇))*I(x,y)
[0023] ；
[0024] =L(x,y,k〇)-L(x,y,〇)
[0025] 为每个特征点计算一个方向，利用关键点邻域像素的梯度方向分布特性为每个关 键点指定方向参数，使算子具备旋转不变性：
[0026]
[0027]
;
[002引目（x，y)=atan2(化（x，y+l)-L(x，y-l))AL(x+l，y)-L(x-l，y)))
[0029] 为(x，y)处梯度的模值和方向公式，其中L所用的尺度为每个关键点各自所在的尺 度。
[0030] 进一步，所述通过K-means算法将得到的SIFT特征编码成可见的visual words并 进行聚类具体包括：
[0031 ] 对于每一个样例Kvisual word)，根据公式计算其应该属于哪个质屯、：
[0032]
[0033] 对于每一个类j，重新计算该类的质屯、，由此构建dictiona巧：
[0034]
[0CX3日]进一步，所述通过统计属于每个质屯、（dictionary中的每个visual word)的SIFT 特征数目得到的bag of words代入到基于金字塔匹配直方图交叉核的人体睡眠姿态检测 方法中得到输入的每个3维人体睡眠模型的每一种睡眠姿态包括：
[0036] -个线性判别函数是指X的各个分量的线性组合而成的函数：
[0037] g(x)=wVWo；
[0038] 两类情况:对于两类问题的决策规则为：
[0039] 如果g(x)〉0,则判定X属于打；
[0040] 如果g(x)<0,则判定X属于C2;
[0041] 如果g(x)=0,则可W将X任意分到某一类或者拒绝判定；
[00叫方程g(x)=0定义了一个判定面，它把归类于打的点与归类于C2的点分开来；
[0043] 在最优分类面中采用适当的内积函数K(xi，xj)就实现某一非线性变换后的线性分 类，相应的分类函数为：
[0044]
[004引直方图交叉核的定义：
[0046]
[0047] 基于金字塔匹配直方图交叉核支持向量机首先在低维空间中完成数据计算，然后 通过直方图交叉核将输入空间映射到高维特征空间，最终在高维特征空间中构造出最优分 离超平面，从而把平面上本身不好分的非线性数据分开。
[0048]本发明的另一目的在于提供一种所述的基于金字塔匹配直方图交叉核的人体睡 眠姿态检测方法的人体睡眠姿态检测系统，所述人体睡眠姿态检测系统包括：
[0049]义集模块，用于义用Artec和Kinect义集数据；
[0050] 模型协调系统模块，用于通过平移和缩放坐标系统的尺度将每个3维人体睡眠模 型从模型的中屯、移动到坐标系统的原点，坐标轴的最大值变为1，建立出每个模型自己的协 调的系统；
[0051] 坐标系统建立模块，用于通过建立投影坐标系统，从位于大的球体表面的照相机 位置提取深度图像，每个3维人体睡眠模型 用了十套内接于相同球体而旋转角度不同的十 二面体，照相机位置位于规则正十二面体的20个顶点，每个视角的照相机朝向规则正十二 面体的中屯、，每套正十二面体从运二十个不同的角度提取出10幅图像，一共提取出一百幅 图像；
[0052] 提取模块，用于通过SIFT算法提取出每一幅深度图像的尺度和旋转不变特征包， 每一幅图像大约有Ξ十到四十个SIFT特征，每个特征为128维向量，得到一个3维人体睡眠 模型的3000到5000个SIFT特征；
[0053] 聚类模块，用于通过K-means算法将得到的SIFT特征编码成可见的visual words 并进行聚类，得到dictiona巧；
[0054] 睡眠姿态模块，用于通过统计属于每个质屯、（dictionary中的每个visual word) 的SIFT特征数目得到的bag of words代入到基于金字塔匹配直方图交叉核的人体睡眠姿 态检测方法中得到输入的每个3维人体睡眠模型的每一种睡眠姿态。
[0055] 进一步，所述坐标系统建立模块进一步包括：
[0056] 深度图像提取单元，用于从位于大的球体表面的照相机位置提取深度图像；
[0057] 摄像单元，每个3维人体睡眠模型用了十套内接于相同球体而旋转角度不同的十 二面体，照相机位置位于规则正十二面体的20个顶点，每个视角的照相机朝向规则正十二 面体的中屯、；
[0058] 图像提取单元，每套正十二面体从运二十个不同的角度提取出10幅图像，一共提 取出一百幅图像。
[0059] 本发明的另一目的在于提供一种应用所述基于金字塔匹配直方图交叉核的人体 睡眠姿态检测方法的智能监控系统。
[0060] 本发明的另一目的在于提供一种应用所述基于金字塔匹配直方图交叉核的人体 睡眠姿态检测方法的高级人机交互系统。
[0061] 本发明的另一目的在于提供一种应用所述基于金字塔匹配直方图交叉核的人体 睡眠姿态检测方法的远程医疗系统。
[0062] 本发明提供的基于金字塔匹配直方图交叉核的人体睡眠姿态检测方法，传统的 睡眠姿态监测方法通过从普通光学图像中提取人体各部位的色彩、形状、轮廓、边缘等特 征，进而判断人体的睡眠姿态;或者通过压力分布式床采集人体睡眠姿态数据得到身体部 位与床接触的位置的压力图像信息判断人的睡眠姿势。本发明不受普通光学图像受光照、 阴影等变化因素的影响和压力分布式床采集数据的误差，W及没有公开的人体睡眠姿态深 度数据库及相关构建方法，而是自己通过Artec和Kinect采集3维人体睡眠模型数据构造了 涵盖了人们日常常见的睡眠中的姿态序列数据库，同时人为误差较小且不易产生分类灾 难。算法中通过建立投影坐标系统，从围绕着3维人体睡眠模型的视点摄取出3维人体模型 的深度图像集合，用图像特征集合来描述模型的Ξ维人体睡眠模型的几何特征。然后提取 图像旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的 稳定性;独特性(〇131：；[]1(31：；[￥6]1633)好，信息量丰富的5伴1'特征。接着通过1(-1116日]13算法将得 到的SIFT特征编码成可见的visual words并进行聚类，得到图像特征的diet ionary。并计 算图像中所有的SIFT特征与dictionary中每个质屯、的距离，距离最短则属于那个质屯、。通 过统计属于每个质屯、的特征数目得到的bag of words (即统计直方图）代入到基于金字塔 匹配直方图交叉核的人体睡眠姿态检测方法中实现了输入的每个3维人体睡眠模型的每一 种具体的睡眠姿态的精确判断。
【附图说明】
[0063] 图1是本发明实施例提供的基于金字塔匹配直方图交叉核的人体睡眠姿态检测方 法流程图。
[0064] 图2是本发明实施例提供的睡眠姿势图。
[0065] 图3是本发明实施例提供的构建图像尺度空间的过程图。
[0066] 图4是本发明实施例提供的构建图像金字塔的过程图。
[0067] 图5是本发明实施例提供的检测DOG尺度空间极值点的过程图。
[0068] 图6是本发明实施例提供的图像关键点描述子特征示意图。
[0069] 图7是本发明实施例提供的图像的每个关键点特征的128维向量示意图。
[0070] 图8是本发明实施例提供的支持向量机方法中直方图交叉核示意图。
[0071 ]图9是本发明实施例提供的算法流程图。
[0072] 图10是本发明实施例提供的提取的深度图。
[0073] 图11是本发明实施例提供的提取的图像的SIFT示意图。
[0074] 图12是本发明实施例提供的使用方法的混淆矩阵结果图。
【具体实施方式】
[0075] 为了使本发明的目的、技术方案及优点更加清楚明白，W下结合实施例，对本发明 进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用W解释本发明，并不用于 限定本发明。
[0076] 人体睡眠姿态识别是一个重要研究方向，它在众多领域具有广阔应用前景，比如 智能监控、高级人机交互、远程医疗等。但是碍于普通光学图像容易受光照、阴影等外界因 素影响，人体睡眠姿态识别的研究一直没有取得突破性的进展，直到近几年随着深度传感 设备的发展，人们从深度图像中识别姿态产生了极大的兴趣，但是关于3维立体网格数据人 体睡眠模型的睡眠监测的研究还很少。基于视觉相似度的方法没有从3维立体模型上直接 获得几何特征的。且由于两个3维立体模型如果相似，那么从各个角度看上去它们应该都很 接近，因此两个Ξ维立体模型之间的相似度可W转化为相应模型二维形状之间相似度的总 和。从围绕着3维立体模型的视点摄取出3维立体模型的二维图像集合，图像特征集合被用 来描述Ξ维立体模型的几何特征。SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度 变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；独特性 (Distinctiveness)好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配;多 量性，即使少数的几个物体也可W产生大量的SIFT特征向量;高速性，经优化的SIFT匹配算 法甚至可W达到实时的要求;可扩展性，可W很方便的与其他形式的特征向量进行联合。局 部影像特征的描述与侦测可W帮助辨识物体，SIFT特征是基于物体上的一些局部外观的 兴趣点而与影像的大小和旋转无关。对于光线、噪声、一些微视角改变的容忍度也相当高。 基于运些特性，它们是高度显著而且相对容易揃取，在母数庞大的特征数据库中，很容易辨 识物体而且鲜有误认。使用SIFT特征描述对于部分物体遮蔽的侦测率也相当高，甚至只需 要3个W上的SIFT物体特征就足W计算出位置与方位。在现今的电脑硬件速度下和小型的 特征数据库条件下，辨识速度可接近即时运算。SIFT特征的信息量大，适合在海量数据库中 快速准确匹配。所W本发明使用Bag of words (利用K-means算法提取出的二维图像的SIFT 特征的直方图集合）匹配Ξ维人体睡眠模型，运种方法对3维人体睡眠模型的形变、模型退 化和噪声的干扰具有较好的鲁棒性。SIFT特征由一组二维形状特征集合构成，运些特征提 取自模型在不同视角下的一百幅投影图像。为此，W实现较高准确率的基于深度图像的人 体睡眠姿态识别为目的，本发明通过分析深度图像的成像原理，W及图像特征集合被用来 描述Ξ维人体模型的几何特征，自己构造的3维人体睡眠姿态数据库，并用将提取出的Bag of words(利用K-means算法提取从模型在不同视角下投影得到的二维图像的SIFT特征的 直方图集合)带入基于金字塔匹配直方图交叉核支持向量机方法在普通PC上进行人体不同 的睡眠姿态识别。
[0077] 下面结合附图对本发明的应用原理作详细的描述。
[0078] 如图1所示，本发明实施例的基于金字塔匹配直方图交叉核的人体睡眠姿态检测 方法包括W下步骤：
[0079] S101:采用Artec和Kinect采集3维人体睡眠模型数据；
[0080] S102:通过平移和缩放坐标系统的尺度将每个3维人体睡眠模型从模型的中屯、移 动到坐标系统的原点，然后将坐标轴的最大值变为1，保证擅染出的每一幅图像都包含3维 人体睡眠模型，由此建立出每个模型其自己的协调的系统；
[0081] S103:通过建立投影坐标系统，从位于大的球体(空间上包含整个3维人体睡眠模 型)表面的照相机位置提取深度图像，每个3维人体睡眠模型用了十套内接于相同球体而 旋转角度不同的十二面体，照相机位置位于规则正十二面体的20个顶点。每个视角的照相 机朝向规则正十二面体的中屯、，每套正十二面体从运二十个不同的角度提取出10幅图像， 一共提取出一百幅图像；
[0082] S104:通过SIFT算法提取出每一幅深度图像的尺度和旋转不变特征包，每一幅图 像大约有Ξ十到四十个SIFT特征，每个特征为128维向量，得到一个3维人体睡眠模型的 3000 到5000个 SIFT 特征；
[0083] S105:通过K-means算法将上一步得到的SIFT特征编码成可见的visual words并 进行聚类，得到dictionaiy;
[0084] S106:通过统计属于每个质屯、（dictionary中的每个visual word)的SIFT特征数 目得到的bag of words代入到基于金字塔匹配直方图交叉核的人体睡眠姿态检测方法中 得到输入的每个3维人体睡眠模型的每一种睡眠姿态。
[0085] 下面结合具体实施例对本发明的应用原理作进一步的描述。
[0086] 下面结合用于3维人体模型睡眠姿态识别算法。
[0087] 第一步，建立每个模型的坐标系统:通过平移和缩放坐标系统的尺度将每个3维人 体睡眠模型从模型的中屯、移动到坐标系统的原点，然后使用计算的缩放因子将其缩放至直 径为1的单位球体内，保 证擅染出的每一幅图像都包含3维人体睡眠模型，由此建立出每个 模型其自己的协调的系统。
[008引将3维人体睡眠模型的中屯、（T=(Tx;Ty;Tz))移动到坐标系统的中屯、点，定义平移 公式为
[0089]
(.1)
[0090] MaxCoor巧日MinCoori是第i个坐标轴上的最大和最小坐标值，缩放是各向同性的， 根据距离模型的X，y，Z轴上的最大值来进行标准化，公式为：
[0091]
( 2 )
[0092] 模型每个点的坐标均减去TiW实现平移变换，乘W缩放因子S实现尺度变换。运 样即可得到完整实用的一个3维人体睡眠坐标系统。
[0093] 第二步，提取Ξ维人体睡眠模型的深度图像：出于特征提取和匹配效率的考虑，无 法穷尽所有视角的二维图像去描述Ξ维人体睡眠模型的特征，而只能基于一定数量的视角 进行近似计算。由于十二面体是拥有顶点个数最多的柏拉图体，LFD方法将光场相机分别安 放在一组规则正十二面体的二十个顶点上W摄取Ξ维人体睡眠模型的二维图像集合。算法 使用二维图像保存Ξ维人体睡眠模型在各个视角中的正交投影。由于从规则正十二面体上 对应顶点获得的两张二维图像是一致的。因此从安置在二十个顶点的视角可W摄取十幅不 同的图片，每张投影图的规格被设定为256x256像素。为了减小采样误差W增强模型特征的 鲁棒性，采用了十套内接于相同球体而旋转角度不同的正十二面体。为了保证拍摄视角不 重合，需要细致安排运些十二面体之间的旋转角度。每一套分布在十二面体顶点的视角都 会摄取十幅模型的二维图像，因而所有视角共同生成一百幅二维投影，不同角度的拍摄可 W更为全面地描述每个Ξ维人体睡眠模型的整体特征。摄取投影的过程可W有效地去除高 频噪声，削弱网格退化等因素对特征匹配稳定性的不利影响。
[0094] 第Ξ步，提取每一幅深度图像的SIFT特征：用SIFT算法提取出每一幅深度图像的 尺度和旋转不变特征包，每一幅图像大约有Ξ十到四十个SIFT特征，每个特征为128维向 量，最终一个3维人体睡眠模型有3000到5000个SIFT特征。
[0095] 首先进行初始化操作，构建尺度空间，高斯卷积核是实现尺度变换的唯一线性核， 于是一幅二维图像的尺度空间定义为：
[0099]其中G(x，y，〇)是尺度可变高斯函数，（x，y)是空间坐标，是尺度坐标。0大小决定图 像的平滑程度，大尺度对应图像的概貌特征，小尺度对应图像的细节特征。大的σ值对应粗 糖尺度(低分辨率），反之，对应精细尺度(高分辨率）。为了有效的在尺度空间检测到稳定 的关键点，提出了高斯差分尺度空间(DOG scale-space)。利用不同尺度的高斯差分核与图 像卷积生成。
[0103] 由附图3可见不同0下图像尺度空间的构建过程，接着建立图像金字塔:对于一幅 深度图像I，建立其在不同尺度（scale)的图像，也成为子八度(octave),运是为了 scale-invariant, 也就是在任何尺度都能够有对应的特征点 ，第一个子八度的scale 为原图 大小， 后面每个OC化ve为上一个OC化ve降采样的结果，即原图的1/4(长宽分别减半），构成下一个 子八度(高一层金字塔）。从附图4可W明白建立过程。
[0104] 然后检测DOG尺度空间极值点，每一个采样点要和它所有的相邻点比较，看其是否 比它的图像域和尺度域的相邻点大或者小。中间的检测点和它同尺度的8个相邻点和上下 相邻尺度对应的9X2个点共26个点比较，W确保在尺度空间和二维图像空间都检测到极值 点。一个点如果在DOG尺度空间本层W及上下两层的26个领域中是最大或最小值时，就认为 该点是图像在该尺度下的一个特征点，如附图5所示。
[0105] 接着除去不好的特征点，通过拟和Ξ维二次函数W精确确定关键点的位置和尺度 (达到亚像素精度），同时去除低对比度的关键点和不稳定的边缘响应点。空间尺度函数泰 勒展开式如下：
[0106]
巧)
[0107] 对上式求导，并令其为0,得到精确的位置：
[010引
（6)
[0109] 在已经检测到的特征点中，要去掉低对比度的特征点和不稳定的边缘响应点。去 除低对比度的点：把公式(6)带入到公式(5)，即在DoGSpace的极值点处D(x)取值，只取前两 项可得：
[0110]
(7)
[0111] 若|D(X1)|含0.03,该特征点就保留下来，否则丢弃，并且要去除边缘响应。上一步 中确定了每幅图中的特征点，为每个特征点计算一个方向，依照运个方向做进一步的计算， 利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不 变性。
[0112]
[0113]
(8)
[0114] 目（x，y)=atan2(化（x，y+l)-L(x，y-l))AL(x+l，y)-L(x-l，y)))
[0115] 为(x，y)处梯度的模值和方向公式。其中L所用的尺度为每个关键点各自所在的尺 度。至此，图像的关键点已经检测完毕，每个关键点有Ξ个信息:位置，所处尺度、方向，由此 可W确定一个SIFT特征区域。
[0116] 生成关键点描述子，首先将坐标轴旋转为关键点的方向，W确保旋转不变性。W关 键点为中屯、取8X8的窗口。附图6左部分的中央为当前关键点的位置，每个小格代表关键点 邻域所在尺度空间的一个像素，利用公式求得每个像素的梯度幅值与梯度方向，箭头方向 代表该像素的梯度方向，箭头长度代表梯度模值，然后用高斯窗口对其进行加权运算。附图 6中蓝色的圈代表高斯加权的范围（越靠近关键点的像素梯度方向信息贡献越大）。然后在 每4X4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一 个种子点，如附图6右部分示。此图中一个关键点由2X2共4个种子点组成，每个种子点有8 个方向向量信息。如附图7,计算keypoint周围的16*16的window中每一个像素的梯度，而且 使用高斯下降函数降低远离中屯、的权重。运样就对每个feature形成一个4*4*8 = 128维的 描述子，每一维都可W表示4*4个格子中一个的scale/orientation.将运个向量归一化之 后，就进一步去除了光照的影响。运样就得到了所有的图像的SIFT特征。
[0117] 第四步，获得每个Ξ维人体睡眠模型的特征直方图：通过将上一步得到的SIFT特 征编码成可见的visual words并用K-means算法进行分类。
[0118] 对于每一个样例SIFT特征Kvisual word)，计算其应该属于的类
[0119]
(9)
[0120] 当k-means收敛时，对于每一个类j，重新计算该类的质屯、，
[0121]
(10)
[0122] 由此确定dietionaiT的大小size,即质屯、的个数（维数128)，词典构建完毕。然后 初始化一个size个bin的初始值为0的直方图h，每一幅深度图有很多个SIFT特征（visual word)，接着计算运些SIFT特征和每一个质屯、的距离，看看每一个SIFT特征离哪一个质屯、最 近，那么直方图h中相对应的bin就加一，计算完运幅图像所有的SIFT特征之后，就得到一个 bin = size的直方图，然后进行归一化，用运个size维的向量来表示运幅图像，所有图像计 算完成之后，就得到了Bag of words。
[0123] 第五步，识别Ξ维人体睡眠姿态:上步得到的所有的Bag of words,可W构成一个 输入空间X，由d(大小为size)维的特征向量集组成，特征向量直径范围为D;向量最小的矢 量距离为
[0124]
(11)
[012引特征抽取函数巫：
[0126] 巫（χ) =阳-i(x)，H〇(x)，...，Hl(x)] (12)
[0127]
(13)
[0128] 出(X)就是由X在i层分辨率下构成的直方图，直方图宽度(分辨率)为2i，ri是直方 图的维数：
[0129]
(14)
[0130] Φ(χ)就是一个金字塔形状直方图的集合。后一个直方图的间距是前一个的两倍， 直到生成L个直方图，每个直方图相当于一层。i代表由数据集构成的第i个直方图，金字塔 的第i层，底层直方图H-i(x)足够小，每个数据集X中的点都落在独立的块中。然后直方图宽 度增大直到最后一个化(X)所有的数据点都在一个直方图块中。两组输入数据的特征的相 似度定义为在每层上新匹配的特征数量的加权和：
[0131]
牌
[0132] y和Z分别代表不同的数据集。Ni代表两层之间新匹配的数目。"新匹配"就是在小 宽度(bin size)的直方图上未匹配，而在大一倍宽度直方图则匹配。两组输入数据的特征 的相似度定义为在每层上新匹配的特征数量的加权和：
[0135] L为直方图交集函数，即直方图交叉核，衡量两个直方图条之间的重叠程度。A和B 分别为有r维的直方图，aW为A中的第j维。如附图8中的两组1维特征集y和z"(a)中，浅色虚 线是直方图边界;加粗的实线代表较低层直方图已经匹配的点对;加粗点线代表此层的直 方图中新匹配的点对，两组输入数据的特征的相似度定义为在每层上新匹配的特征数量的 加权和如公式12，wi代表每一层上的权重，与两点在该层上匹配的程度成正比，由直方图宽 度决定。在第i个直方图上的VI; =^-。直方图宽度越宽匹配权重越小。i从0开始，因为i=-l 时，没有点匹配。最终的计算相似度公式：
[0136]
08)
[0137] 归一化处理，使用每一个输入数据集自身之间的相似度来计算最终的结果进行函 数的归一化，W特征自身的相似度为1计算。如下公式： [0140] 针对不同的多分辨率直方图进行比较计算，运些直方图的宽度值可W随意改变 的。通过改变宽度值，得到多个(T个)Pyramid Match Kernel,进行组合得到最终比较结果。 运就产生了 T个特征配对：
[0141] 巫 i(y),...，巫T(y) (21)
[0142] 对于输入y和Z，结合之后产生的内核值是：
[014引
（22)
[0144] 基于金字塔匹配直方图交叉核支持向量机方法中用到的线性判别函数 (discriminant function)是指由X的各个分量的线性组合而成的函数：
[0145]
(23)
[0146] 两类情况:对于两类问题的决策规则为：
[0147] 如果g(x)〉0,则判定X属于Cl;
[0148] 如果g(x)<0,则判定X属于C2;
[0149] 如果g(x)=0,则可W将X任意分到某一类或者拒绝判定。
[0150] 方程g(x)=0定义了一个判定面，它把归类于打的点与归类于C2的点分开来。
[0151] 根据泛函的相关理论，只要一种核函数K(Xi，Xj)满足Mercer条件，它就对应某一变 换空间中的内积。因此，在最优分类面中采用适当的内积函数K(Xi，Xj)就可W实现某一非线 性变换后的线性分类，而计算复杂度却没有增加，相应的分类函数为：
[0155] 基于金字塔匹配直方图交叉核支持向量机首先在低维空间中完成数据计算，然后 通过直方图交叉核将输入空间映射到高维特征空间，最终在高维特征空间中构造出最优分 离超平面，从而把平面上本身不好分的非线性数据分开。
[0156] 最终由特征集匹配和分类函数的结果即可识别出输入的3维人体睡眠模型的每一 种睡眠姿态。
[0157] 本发明的不同方法的结果对比如下表：
[0158]
[0159] W上所述仅为本发明的较佳实施例而已，并不用W限制本发明，凡在本发明的精 神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
【主权项】
1. 基于金字塔匹配直方图交叉核的人体睡眠姿态检测方法，其特征在于，所述基于金 字塔匹配直方图交叉核的人体睡眠姿态检测方法包括： 采用Artec和Kinect采集数据； 通过平移和缩放坐标系统的尺度将每个3维人体睡眠模型从模型的中心移动到坐标系 统的原点，坐标轴的最大值变为1，建立出每个模型其自己的协调的系统； 通过建立投影坐标系统，从位于大的球体表面的照相机位置提取深度图像，每个3维人 体睡眠模型用了十套内接于相同球体而旋转角度不同的十二面体，照相机位置位于规则正 十二面体的20个顶点，每个视角的照相机朝向规则正十二面体的中心，每套正十二面体从 这二十个不同的角度提取出10幅图像，一共提取出一百幅图像； 通过SIFT算法提取出每一幅深度图像的尺度和旋转不变特征包，每一幅图像有三十到 四十个SIFT特征，每个特征为128维向量，得到一个3维人体睡眠模型的3000到5000个SIFT 特征； 通过K-means算法将得到的SIFT特征编码成可见的visual words并进行聚类，得到 dictionary； 通过统计属于每个质心(dietionary中的每个visual word)的SIFT特征数目得到的得 到的bag of words代入到基于金字塔匹配直方图交叉核的人体睡眠姿态检测方法中得到 输入的每个3维人体睡眠模型的每一种睡眠姿态。2. 如权利要求1所述的基于金字塔匹配直方图交叉核的人体睡眠姿态检测方法，其特 征在于，所述通过建立投影坐标系统包括： 将3维人体睡眠模型从模型的中心移动到坐标系统的原点，定义平移公式：MaxCoori和MinCoori是各自坐标轴上的最大和最小坐标值，缩放是各向同性的，根据 距离模型的X，y，z轴上的最大值来进行标准化，公式为：3. 如权利要求1所述的基于金字塔匹配直方图交叉核的人体睡眠姿态检测方法，其特 征在于，所述通过SIFT算法提取出每一幅深度图像的尺度和旋转不变特征包具体包括： 构建尺度空间中，高斯卷积核是实现尺度变换的唯一线性核，于是一幅二维图像的尺 度空间定义为L(x，y，〇):其中G(x，y，〇)是尺度可变高斯函数，（x，y)是空间坐标，是尺度坐标，〇大小决定图像的 平滑程度，大尺度对应图像的概貌特征，小尺度对应图像的细节特征，大的σ值对应粗糙尺 度，反之，对应精细尺度，利用不同尺度的高斯差分核与图像卷积生成：为每个特征点计算一个方向，利用关键点邻域像素的梯度方向分布特性为每个关键点 指定方向参数，使算子具备旋转不变性：为(x，y)处梯度的模值和方向公式，其中L所用的尺度为每个关键点各自所在的尺度。4. 如权利要求1所述的基于金字塔匹配直方图交叉核的人体睡眠姿态检测方法，其特 征在于，所述通过K-means算法将得到的SIFT特征编码成可见的visual words并进行聚类 具体包括： 对于每一个样例Kvisual word)，根据公式计算其应该属于哪个质心：对于每一个类j，重新计算该类的质心，由此构建dictionary:5. 如权利要求1所述的基于金字塔匹配直方图交叉核的人体睡眠姿态检测方法，其特 征在于，所述通过统计属于每个质心(dietionary中的每个visual word)的SIFT特征数目 得到的bag ofwords代入到基于金字塔匹配直方图交叉核的人体睡眠姿态检测方法中得到 输入的每个3维人体睡眠模型的每一种睡眠姿态包括： 一个线性判别函数是指X的各个分量的线性组合而成的函数： g(x) =ffTX+ffo； 两类情况:对于两类问题的决策规则为： 如果g(x)>〇,则判定X属于Ci; 如果g(x)〈〇,则判定X属于C2; 如果g(x) =0，则将X任意分到某一类或者拒绝判定； 方程g (X )= 〇定义了一个判定面，它把归类于Ci的点与归类于C2的点分开来； 在最优分类面中采用适当的内积函数K(Xl，Xj)就实现某一非线性变换后的线性分类， 相应的分类函数为：直方图交叉核的定义：基于金字塔匹配直方图交叉核支持向量机首先在低维空间中完成数据计算，然后通过 直方图交叉核将输入空间映射到高维特征空间，最终在高维特征空间中构造出最优分离超 平面，从而把平面上本身不好分的非线性数据分开。6. -种如权利要求1所述的基于金字塔匹配直方图交叉核的人体睡眠姿态检测方法的 人体睡眠姿态检测系统，其特征在于，所述人体睡眠姿态检测系统包括： 采集模块，用于采用Artec和Kinect采集数据； 模型协调系统模块，用于通过平移和缩放坐标系统的尺度将每个3维人体睡眠模型从 模型的中心移动到坐标系统的原点，坐标轴的最大值变为I，建立出每个模型自己的协调的 系统； 坐标系统建立模块，用于通过建立投影坐标系统，从位于大的球体表面的照相机位置 提取深度图像，每个3维人体睡眠模型用了十套内接于相同球体而旋转角度不同的十二面 体，照相机位置位于规则正十二面体的20个顶点，每个视角的照相机朝向规则正十二面体 的中心，每套正十二面体从这二十个不同的角度提取出10幅图像，一共提取出一百幅图像； 提取模块，用于通过SIFT算法提取出每一幅深度图像的尺度和旋转不变特征包，每一 幅图像有三十到四十个SIFT特征，每个特征为128维向量，得到一个3维人体睡眠模型的 3000 到5000个 SIFT 特征； 聚类模块，用于通过K-means算法将得到的SIFT特征编码成可见的visual words并进 行聚类，得到dictionary; 睡眠姿态模块，用于通过统计属于每个质心（dietionary中的每个visual word)的 SIFT特征数目得到的bag ofwords代入到基于金字塔匹配直方图交叉核的人体睡眠姿态检 测方法中得到输入的每个3维人体睡眠模型的每一种睡眠姿态。7. 如权利要求6所述的人体睡眠姿态检测系统，其特征在于，所述坐标系统建立模块进 一步包括： 深度图像提取单元，用于从位于大的球体表面的照相机位置提取深度图像； 摄像单元，每个3维人体睡眠模型用了十套内接于相同球体而旋转角度不同的十二面 体，照相机位置位于规则正十二面体的20个顶点，每个视角的照相机朝向规则正十二面体 的中心； 图像提取单元，每套正十二面体从这二十个不同的角度提取出10幅图像，一共提取出 一百幅图像。8. -种应用权利要求1-5任意一项所述基于金字塔匹配直方图交叉核的人体睡眠姿态 检测方法的智能监控系统。9. 一种应用权利要求1-5任意一项所述基于金字塔匹配直方图交叉核的人体睡眠姿态 检测方法的高级人机交互系统。10. -种应用权利要求1-5任意一项所述基于金字塔匹配直方图交叉核的人体睡眠姿 态检测方法的远程医疗系统。
【专利摘要】本发明公开了基于金字塔匹配直方图交叉核的人体睡眠姿态检测方法，采用Artec和Kinect采集数据；建立出每个模型其自己的协调的系统；建立投影坐标系统，提取深度图像；通过SIFT算法提取出每一幅深度图像的尺度和旋转不变特征包；将得到的SIFT特征编码成可见的visual？words并进行聚类，得到dictionary；通过统计属于每个质心的SIFT特征数目得到的bag？of？words代入到基于金字塔匹配直方图交叉核的人体睡眠姿态检测方法中识别出输入的每个3维人体睡眠模型的每一种睡眠姿态。本发明人为误差较小且不易产生分类灾难，对视角变化、仿射变换、噪声保持稳定性,实现了输入的每个3维人体睡眠模型的每一种具体的睡眠姿态的精确判断。
【IPC分类】G06K9/62, G06K9/46, G06K9/00
【公开号】CN105488491
【申请号】CN201510976121
【发明人】任爱锋, 董彬彬, 杨晓东, 吕翔宇
【申请人】西安电子科技大学
【公开日】2016年4月13日
【申请日】2015年12月23日
【技术领域】
[0001] 本发明属于生物医学信息技术领域，尤其设及基于金字塔匹配直方图交叉核的人 体睡眠姿态检测方法。
【背景技术】
[0002] 在日常生活中，由于错误睡姿使得局部组织遭受严重压力，让人们患上稱疮，尤其 是邸床不起的病人。而且错误的睡姿可能引起屯、脏疾病和颈椎疾病等。所W研究不同的睡 眠姿势对监视，健康护理，老年看护是重要的。所W人体睡眠姿态识别是一个重要研究方 向，它的最终目的是输出一个人的整体或者局部肢体的结构参数。睡眠姿态识别的研究方 法应该说，设及了生物医学工程、生物医学信息学等。W往有些基于运方面研究的方法都是 基于普通光学图像，比如常见的RGB图像，运类图像容易受光照、阴影等外界变化的影响，或 者基于ECG信号，并且由于人体关节自由度大，及人的体型、着装较大差异性，常导致睡眠姿 态识别系统识别不准确。随着光电技术的快速发展，深度传感设备的成本逐渐降低，人们获 取深度图像的方法也越来越多。该方向的研究也越来越成为计算机视觉领域的研究趋势。 具体原因包括:一方面，深度传感设备不仅操作简单，并且极大简化了普通照相机的标定过 程;另一方面，得到的深度图像由于直接包含了人体的深度信息，能够有效的克服普通光学 图像遇到的上述问题。从深度图像中进行姿态识别不仅具有研究意义，更重要的是人体睡 眠姿态识别具有广阔的应用前景与商业价值，W下是它几个典型的应用领域：1)智能监控 系统（参见：VinczeM，ZillichM，PonweiserW，et al. Integrated vision system for the semantic interpretationof activities where aperson handles objects[J]， ComputerVision and ImageUnderstanding，2009，113(6) :682-692) ;2)高级人机交互；3) 远程医疗。基于普通光学图像的睡眠姿态估计主要有基于模型和基于无模型两类，对于前 者的方法而言，要将预先构造的人体模型与图像中人体构造的各部分的形状、色彩、轮廓等 特征对应起来，W求解人体模型的各种参数，运种方法不需要庞大的样本库和稳定的估计 算法，但由于该方法被复杂模型所限制不被通用，并且也不适合目前普遍具有海量数据的 实际应用领域;基于无模型方法不需要事先构造人体模型，而是W-种学习的方式来构造 人体特征与人体睡眠姿态之间的映射关系。无模型方法通过学习方法改善人体睡眠姿态识 别效果，适合当前的应用需求。然而，运些方法都是从图像中提取色彩、轮廓、形状、边缘等 特征，由于普通光学图像容易受光照、阴影等变化因数的影响，所W所提取的该类特征的鲁 棒性及有效性较差。与普通光学图像相比，深度图像包含了更为丰富的空间信息，从中既可 W提取物体轮廓、形状区域特征，还可W提取出模型外观的立体特征，而且深度图像像素记 录的因为是距离信息，具有颜色无关性，所W运在一定程度上克服了普通光学图像遇到的 上述问题，随着光电技术的发展，很多研究学者结合深度图像性质把很多经典算法应用在 该类图像上。比如Lu Xia(参照：Xia L，畑enCC，Agga;rwal J.K.Human detection using depth information by Kinect[C]，CVPRW，2011.)等人结合像素深度信息利用(^inny算子 从图像中提取边缘特征，通过距离变换和模型匹配，进行部位检测的方法来识别姿态;尽管 上述方法在一定程度上弥补了普通光学图像的缺点，但碍于一般传感设备不适用任何环境 等因素，基于深度图像的人体睡眠姿态识别一直没有突破性的进展。
【发明内容】
[0003] 本发明的目的在于提供一种新的基于金字塔匹配直方图交叉核的人体睡眠姿态 检测方法，旨在解决现有的人体睡眠姿态检测方法单一和准确率低的问题。
[0004] 本发明是运样实现的，基于金字塔匹配直方图交叉核的人体睡眠姿态检测方法， 所述基于金字塔匹配直方图交叉核的人体睡眠姿态检测方法包括：
[000引采用Artec和Kinect采集数据；
[0006] 通过平移和缩放坐标系统的尺度将每个3维人体睡眠模型从模型的中屯、移动到 坐标系统的原点，坐标轴的最大值变为1，建立出每个模型其自己的协调的系统；
[0007] 通过建立投影坐标系统，从位于大的球体表面的照相机位置提取深度图像，每个3 维人体睡眠模型用了十套内接于相同球体而旋转角度不同的十二面体，照相机位置位于规 则正十二面体的20个顶点，每个视角的照相机朝向规则正十二面体的中屯、，每套正十二面 体从运二十个不同的角度提取出10幅图像，一共提取出一百幅图像；
[0008] 通过SIFT算法提取出每一幅深度图像的尺度和旋转不变特征包，每一幅图像大约 有Ξ十到四十个SIFT特征，每个特征为128维向量，得到一个3维人体睡眠模型的3000到 5000个SIFT特征；
[0009] 通过K-means算法将得到的SIFT特征编码成可见的visual words并进行聚类，得 到dictionary;
[0010] 通过统计属于每个质屯、(dietionary中的每个visual word)的SIFT特征数目得到 的bag of words代入到基于金字塔匹配直方图交叉核的人体睡眠姿态检测方法中得到输 入的每个3维人体睡眠模型的每一种睡眠姿态。
[0011] 进一步，所述通过建立投影坐标系统包括：
[0012] 将3维人体睡眠模型从模型的中屯、移动到坐标系统的原点，定义平移公式：
[0013]
[0014] MaxCoori和MinCoori是各自坐标轴上的最大和最小坐标值，缩放是各向同性的， 根据距离模型的X，y，Z轴上的最大值来进行标准化，公式为：
[0015]
[0016] 进一步，所述通过SIFT算法提取出每一幅深度图像的尺度和旋转不变特征包具体 包括：
[0017] 构建尺度空间中，高斯卷积核是实现尺度变换的唯一线性核，于是一幅二维图像 的尺度空间定义为L(x，y，曰）：
[0018] L(x,y ,σ) =G(x,y ,〇)*I(x,y)
[0019] ；
[0020]
[0021] 其中G(x，y，〇)是尺度可变高斯函数，（x，y)是空间坐标，是尺度坐标，ο大小决定图 像的平滑程度，大尺度对应图像的概貌特征，小尺度对应图像的细节特征，大的σ值对应粗 糖尺度，反之，对应精细尺度，利用不同尺度的高斯差分核与图像卷积生成：
[0022] D(x,y,〇) = (G(x,y,k〇)-G(x,y,〇))*I(x,y)
[0023] ；
[0024] =L(x,y,k〇)-L(x,y,〇)
[0025] 为每个特征点计算一个方向，利用关键点邻域像素的梯度方向分布特性为每个关 键点指定方向参数，使算子具备旋转不变性：
[0026]
[0027]
;
[002引目（x，y)=atan2(化（x，y+l)-L(x，y-l))AL(x+l，y)-L(x-l，y)))
[0029] 为(x，y)处梯度的模值和方向公式，其中L所用的尺度为每个关键点各自所在的尺 度。
[0030] 进一步，所述通过K-means算法将得到的SIFT特征编码成可见的visual words并 进行聚类具体包括：
[0031 ] 对于每一个样例Kvisual word)，根据公式计算其应该属于哪个质屯、：
[0032]
[0033] 对于每一个类j，重新计算该类的质屯、，由此构建dictiona巧：
[0034]
[0CX3日]进一步，所述通过统计属于每个质屯、（dictionary中的每个visual word)的SIFT 特征数目得到的bag of words代入到基于金字塔匹配直方图交叉核的人体睡眠姿态检测 方法中得到输入的每个3维人体睡眠模型的每一种睡眠姿态包括：
[0036] -个线性判别函数是指X的各个分量的线性组合而成的函数：
[0037] g(x)=wVWo；
[0038] 两类情况:对于两类问题的决策规则为：
[0039] 如果g(x)〉0,则判定X属于打；
[0040] 如果g(x)<0,则判定X属于C2;
[0041] 如果g(x)=0,则可W将X任意分到某一类或者拒绝判定；
[00叫方程g(x)=0定义了一个判定面，它把归类于打的点与归类于C2的点分开来；
[0043] 在最优分类面中采用适当的内积函数K(xi，xj)就实现某一非线性变换后的线性分 类，相应的分类函数为：
[0044]
[004引直方图交叉核的定义：
[0046]
[0047] 基于金字塔匹配直方图交叉核支持向量机首先在低维空间中完成数据计算，然后 通过直方图交叉核将输入空间映射到高维特征空间，最终在高维特征空间中构造出最优分 离超平面，从而把平面上本身不好分的非线性数据分开。
[0048]本发明的另一目的在于提供一种所述的基于金字塔匹配直方图交叉核的人体睡 眠姿态检测方法的人体睡眠姿态检测系统，所述人体睡眠姿态检测系统包括：
[0049]义集模块，用于义用Artec和Kinect义集数据；
[0050] 模型协调系统模块，用于通过平移和缩放坐标系统的尺度将每个3维人体睡眠模 型从模型的中屯、移动到坐标系统的原点，坐标轴的最大值变为1，建立出每个模型自己的协 调的系统；
[0051] 坐标系统建立模块，用于通过建立投影坐标系统，从位于大的球体表面的照相机 位置提取深度图像，每个3维人体睡眠模型 用了十套内接于相同球体而旋转角度不同的十 二面体，照相机位置位于规则正十二面体的20个顶点，每个视角的照相机朝向规则正十二 面体的中屯、，每套正十二面体从运二十个不同的角度提取出10幅图像，一共提取出一百幅 图像；
[0052] 提取模块，用于通过SIFT算法提取出每一幅深度图像的尺度和旋转不变特征包， 每一幅图像大约有Ξ十到四十个SIFT特征，每个特征为128维向量，得到一个3维人体睡眠 模型的3000到5000个SIFT特征；
[0053] 聚类模块，用于通过K-means算法将得到的SIFT特征编码成可见的visual words 并进行聚类，得到dictiona巧；
[0054] 睡眠姿态模块，用于通过统计属于每个质屯、（dictionary中的每个visual word) 的SIFT特征数目得到的bag of words代入到基于金字塔匹配直方图交叉核的人体睡眠姿 态检测方法中得到输入的每个3维人体睡眠模型的每一种睡眠姿态。
[0055] 进一步，所述坐标系统建立模块进一步包括：
[0056] 深度图像提取单元，用于从位于大的球体表面的照相机位置提取深度图像；
[0057] 摄像单元，每个3维人体睡眠模型用了十套内接于相同球体而旋转角度不同的十 二面体，照相机位置位于规则正十二面体的20个顶点，每个视角的照相机朝向规则正十二 面体的中屯、；
[0058] 图像提取单元，每套正十二面体从运二十个不同的角度提取出10幅图像，一共提 取出一百幅图像。
[0059] 本发明的另一目的在于提供一种应用所述基于金字塔匹配直方图交叉核的人体 睡眠姿态检测方法的智能监控系统。
[0060] 本发明的另一目的在于提供一种应用所述基于金字塔匹配直方图交叉核的人体 睡眠姿态检测方法的高级人机交互系统。
[0061] 本发明的另一目的在于提供一种应用所述基于金字塔匹配直方图交叉核的人体 睡眠姿态检测方法的远程医疗系统。
[0062] 本发明提供的基于金字塔匹配直方图交叉核的人体睡眠姿态检测方法，传统的 睡眠姿态监测方法通过从普通光学图像中提取人体各部位的色彩、形状、轮廓、边缘等特 征，进而判断人体的睡眠姿态;或者通过压力分布式床采集人体睡眠姿态数据得到身体部 位与床接触的位置的压力图像信息判断人的睡眠姿势。本发明不受普通光学图像受光照、 阴影等变化因素的影响和压力分布式床采集数据的误差，W及没有公开的人体睡眠姿态深 度数据库及相关构建方法，而是自己通过Artec和Kinect采集3维人体睡眠模型数据构造了 涵盖了人们日常常见的睡眠中的姿态序列数据库，同时人为误差较小且不易产生分类灾 难。算法中通过建立投影坐标系统，从围绕着3维人体睡眠模型的视点摄取出3维人体模型 的深度图像集合，用图像特征集合来描述模型的Ξ维人体睡眠模型的几何特征。然后提取 图像旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的 稳定性;独特性(〇131：；[]1(31：；[￥6]1633)好，信息量丰富的5伴1'特征。接着通过1(-1116日]13算法将得 到的SIFT特征编码成可见的visual words并进行聚类，得到图像特征的diet ionary。并计 算图像中所有的SIFT特征与dictionary中每个质屯、的距离，距离最短则属于那个质屯、。通 过统计属于每个质屯、的特征数目得到的bag of words (即统计直方图）代入到基于金字塔 匹配直方图交叉核的人体睡眠姿态检测方法中实现了输入的每个3维人体睡眠模型的每一 种具体的睡眠姿态的精确判断。
【附图说明】
[0063] 图1是本发明实施例提供的基于金字塔匹配直方图交叉核的人体睡眠姿态检测方 法流程图。
[0064] 图2是本发明实施例提供的睡眠姿势图。
[0065] 图3是本发明实施例提供的构建图像尺度空间的过程图。
[0066] 图4是本发明实施例提供的构建图像金字塔的过程图。
[0067] 图5是本发明实施例提供的检测DOG尺度空间极值点的过程图。
[0068] 图6是本发明实施例提供的图像关键点描述子特征示意图。
[0069] 图7是本发明实施例提供的图像的每个关键点特征的128维向量示意图。
[0070] 图8是本发明实施例提供的支持向量机方法中直方图交叉核示意图。
[0071 ]图9是本发明实施例提供的算法流程图。
[0072] 图10是本发明实施例提供的提取的深度图。
[0073] 图11是本发明实施例提供的提取的图像的SIFT示意图。
[0074] 图12是本发明实施例提供的使用方法的混淆矩阵结果图。
【具体实施方式】
[0075] 为了使本发明的目的、技术方案及优点更加清楚明白，W下结合实施例，对本发明 进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用W解释本发明，并不用于 限定本发明。
[0076] 人体睡眠姿态识别是一个重要研究方向，它在众多领域具有广阔应用前景，比如 智能监控、高级人机交互、远程医疗等。但是碍于普通光学图像容易受光照、阴影等外界因 素影响，人体睡眠姿态识别的研究一直没有取得突破性的进展，直到近几年随着深度传感 设备的发展，人们从深度图像中识别姿态产生了极大的兴趣，但是关于3维立体网格数据人 体睡眠模型的睡眠监测的研究还很少。基于视觉相似度的方法没有从3维立体模型上直接 获得几何特征的。且由于两个3维立体模型如果相似，那么从各个角度看上去它们应该都很 接近，因此两个Ξ维立体模型之间的相似度可W转化为相应模型二维形状之间相似度的总 和。从围绕着3维立体模型的视点摄取出3维立体模型的二维图像集合，图像特征集合被用 来描述Ξ维立体模型的几何特征。SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度 变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；独特性 (Distinctiveness)好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配;多 量性，即使少数的几个物体也可W产生大量的SIFT特征向量;高速性，经优化的SIFT匹配算 法甚至可W达到实时的要求;可扩展性，可W很方便的与其他形式的特征向量进行联合。局 部影像特征的描述与侦测可W帮助辨识物体，SIFT特征是基于物体上的一些局部外观的 兴趣点而与影像的大小和旋转无关。对于光线、噪声、一些微视角改变的容忍度也相当高。 基于运些特性，它们是高度显著而且相对容易揃取，在母数庞大的特征数据库中，很容易辨 识物体而且鲜有误认。使用SIFT特征描述对于部分物体遮蔽的侦测率也相当高，甚至只需 要3个W上的SIFT物体特征就足W计算出位置与方位。在现今的电脑硬件速度下和小型的 特征数据库条件下，辨识速度可接近即时运算。SIFT特征的信息量大，适合在海量数据库中 快速准确匹配。所W本发明使用Bag of words (利用K-means算法提取出的二维图像的SIFT 特征的直方图集合）匹配Ξ维人体睡眠模型，运种方法对3维人体睡眠模型的形变、模型退 化和噪声的干扰具有较好的鲁棒性。SIFT特征由一组二维形状特征集合构成，运些特征提 取自模型在不同视角下的一百幅投影图像。为此，W实现较高准确率的基于深度图像的人 体睡眠姿态识别为目的，本发明通过分析深度图像的成像原理，W及图像特征集合被用来 描述Ξ维人体模型的几何特征，自己构造的3维人体睡眠姿态数据库，并用将提取出的Bag of words(利用K-means算法提取从模型在不同视角下投影得到的二维图像的SIFT特征的 直方图集合)带入基于金字塔匹配直方图交叉核支持向量机方法在普通PC上进行人体不同 的睡眠姿态识别。
[0077] 下面结合附图对本发明的应用原理作详细的描述。
[0078] 如图1所示，本发明实施例的基于金字塔匹配直方图交叉核的人体睡眠姿态检测 方法包括W下步骤：
[0079] S101:采用Artec和Kinect采集3维人体睡眠模型数据；
[0080] S102:通过平移和缩放坐标系统的尺度将每个3维人体睡眠模型从模型的中屯、移 动到坐标系统的原点，然后将坐标轴的最大值变为1，保证擅染出的每一幅图像都包含3维 人体睡眠模型，由此建立出每个模型其自己的协调的系统；
[0081] S103:通过建立投影坐标系统，从位于大的球体(空间上包含整个3维人体睡眠模 型)表面的照相机位置提取深度图像，每个3维人体睡眠模型用了十套内接于相同球体而 旋转角度不同的十二面体，照相机位置位于规则正十二面体的20个顶点。每个视角的照相 机朝向规则正十二面体的中屯、，每套正十二面体从运二十个不同的角度提取出10幅图像， 一共提取出一百幅图像；
[0082] S104:通过SIFT算法提取出每一幅深度图像的尺度和旋转不变特征包，每一幅图 像大约有Ξ十到四十个SIFT特征，每个特征为128维向量，得到一个3维人体睡眠模型的 3000 到5000个 SIFT 特征；
[0083] S105:通过K-means算法将上一步得到的SIFT特征编码成可见的visual words并 进行聚类，得到dictionaiy;
[0084] S106:通过统计属于每个质屯、（dictionary中的每个visual word)的SIFT特征数 目得到的bag of words代入到基于金字塔匹配直方图交叉核的人体睡眠姿态检测方法中 得到输入的每个3维人体睡眠模型的每一种睡眠姿态。
[0085] 下面结合具体实施例对本发明的应用原理作进一步的描述。
[0086] 下面结合用于3维人体模型睡眠姿态识别算法。
[0087] 第一步，建立每个模型的坐标系统:通过平移和缩放坐标系统的尺度将每个3维人 体睡眠模型从模型的中屯、移动到坐标系统的原点，然后使用计算的缩放因子将其缩放至直 径为1的单位球体内，保 证擅染出的每一幅图像都包含3维人体睡眠模型，由此建立出每个 模型其自己的协调的系统。
[008引将3维人体睡眠模型的中屯、（T=(Tx;Ty;Tz))移动到坐标系统的中屯、点，定义平移 公式为
[0089]
(.1)
[0090] MaxCoor巧日MinCoori是第i个坐标轴上的最大和最小坐标值，缩放是各向同性的， 根据距离模型的X，y，Z轴上的最大值来进行标准化，公式为：
[0091]
( 2 )
[0092] 模型每个点的坐标均减去TiW实现平移变换，乘W缩放因子S实现尺度变换。运 样即可得到完整实用的一个3维人体睡眠坐标系统。
[0093] 第二步，提取Ξ维人体睡眠模型的深度图像：出于特征提取和匹配效率的考虑，无 法穷尽所有视角的二维图像去描述Ξ维人体睡眠模型的特征，而只能基于一定数量的视角 进行近似计算。由于十二面体是拥有顶点个数最多的柏拉图体，LFD方法将光场相机分别安 放在一组规则正十二面体的二十个顶点上W摄取Ξ维人体睡眠模型的二维图像集合。算法 使用二维图像保存Ξ维人体睡眠模型在各个视角中的正交投影。由于从规则正十二面体上 对应顶点获得的两张二维图像是一致的。因此从安置在二十个顶点的视角可W摄取十幅不 同的图片，每张投影图的规格被设定为256x256像素。为了减小采样误差W增强模型特征的 鲁棒性，采用了十套内接于相同球体而旋转角度不同的正十二面体。为了保证拍摄视角不 重合，需要细致安排运些十二面体之间的旋转角度。每一套分布在十二面体顶点的视角都 会摄取十幅模型的二维图像，因而所有视角共同生成一百幅二维投影，不同角度的拍摄可 W更为全面地描述每个Ξ维人体睡眠模型的整体特征。摄取投影的过程可W有效地去除高 频噪声，削弱网格退化等因素对特征匹配稳定性的不利影响。
[0094] 第Ξ步，提取每一幅深度图像的SIFT特征：用SIFT算法提取出每一幅深度图像的 尺度和旋转不变特征包，每一幅图像大约有Ξ十到四十个SIFT特征，每个特征为128维向 量，最终一个3维人体睡眠模型有3000到5000个SIFT特征。
[0095] 首先进行初始化操作，构建尺度空间，高斯卷积核是实现尺度变换的唯一线性核， 于是一幅二维图像的尺度空间定义为：
[0099]其中G(x，y，〇)是尺度可变高斯函数，（x，y)是空间坐标，是尺度坐标。0大小决定图 像的平滑程度，大尺度对应图像的概貌特征，小尺度对应图像的细节特征。大的σ值对应粗 糖尺度(低分辨率），反之，对应精细尺度(高分辨率）。为了有效的在尺度空间检测到稳定 的关键点，提出了高斯差分尺度空间(DOG scale-space)。利用不同尺度的高斯差分核与图 像卷积生成。
[0103] 由附图3可见不同0下图像尺度空间的构建过程，接着建立图像金字塔:对于一幅 深度图像I，建立其在不同尺度（scale)的图像，也成为子八度(octave),运是为了 scale-invariant, 也就是在任何尺度都能够有对应的特征点 ，第一个子八度的scale 为原图 大小， 后面每个OC化ve为上一个OC化ve降采样的结果，即原图的1/4(长宽分别减半），构成下一个 子八度(高一层金字塔）。从附图4可W明白建立过程。
[0104] 然后检测DOG尺度空间极值点，每一个采样点要和它所有的相邻点比较，看其是否 比它的图像域和尺度域的相邻点大或者小。中间的检测点和它同尺度的8个相邻点和上下 相邻尺度对应的9X2个点共26个点比较，W确保在尺度空间和二维图像空间都检测到极值 点。一个点如果在DOG尺度空间本层W及上下两层的26个领域中是最大或最小值时，就认为 该点是图像在该尺度下的一个特征点，如附图5所示。
[0105] 接着除去不好的特征点，通过拟和Ξ维二次函数W精确确定关键点的位置和尺度 (达到亚像素精度），同时去除低对比度的关键点和不稳定的边缘响应点。空间尺度函数泰 勒展开式如下：
[0106]
巧)
[0107] 对上式求导，并令其为0,得到精确的位置：
[010引
（6)
[0109] 在已经检测到的特征点中，要去掉低对比度的特征点和不稳定的边缘响应点。去 除低对比度的点：把公式(6)带入到公式(5)，即在DoGSpace的极值点处D(x)取值，只取前两 项可得：
[0110]
(7)
[0111] 若|D(X1)|含0.03,该特征点就保留下来，否则丢弃，并且要去除边缘响应。上一步 中确定了每幅图中的特征点，为每个特征点计算一个方向，依照运个方向做进一步的计算， 利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不 变性。
[0112]
[0113]
(8)
[0114] 目（x，y)=atan2(化（x，y+l)-L(x，y-l))AL(x+l，y)-L(x-l，y)))
[0115] 为(x，y)处梯度的模值和方向公式。其中L所用的尺度为每个关键点各自所在的尺 度。至此，图像的关键点已经检测完毕，每个关键点有Ξ个信息:位置，所处尺度、方向，由此 可W确定一个SIFT特征区域。
[0116] 生成关键点描述子，首先将坐标轴旋转为关键点的方向，W确保旋转不变性。W关 键点为中屯、取8X8的窗口。附图6左部分的中央为当前关键点的位置，每个小格代表关键点 邻域所在尺度空间的一个像素，利用公式求得每个像素的梯度幅值与梯度方向，箭头方向 代表该像素的梯度方向，箭头长度代表梯度模值，然后用高斯窗口对其进行加权运算。附图 6中蓝色的圈代表高斯加权的范围（越靠近关键点的像素梯度方向信息贡献越大）。然后在 每4X4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一 个种子点，如附图6右部分示。此图中一个关键点由2X2共4个种子点组成，每个种子点有8 个方向向量信息。如附图7,计算keypoint周围的16*16的window中每一个像素的梯度，而且 使用高斯下降函数降低远离中屯、的权重。运样就对每个feature形成一个4*4*8 = 128维的 描述子，每一维都可W表示4*4个格子中一个的scale/orientation.将运个向量归一化之 后，就进一步去除了光照的影响。运样就得到了所有的图像的SIFT特征。
[0117] 第四步，获得每个Ξ维人体睡眠模型的特征直方图：通过将上一步得到的SIFT特 征编码成可见的visual words并用K-means算法进行分类。
[0118] 对于每一个样例SIFT特征Kvisual word)，计算其应该属于的类
[0119]
(9)
[0120] 当k-means收敛时，对于每一个类j，重新计算该类的质屯、，
[0121]
(10)
[0122] 由此确定dietionaiT的大小size,即质屯、的个数（维数128)，词典构建完毕。然后 初始化一个size个bin的初始值为0的直方图h，每一幅深度图有很多个SIFT特征（visual word)，接着计算运些SIFT特征和每一个质屯、的距离，看看每一个SIFT特征离哪一个质屯、最 近，那么直方图h中相对应的bin就加一，计算完运幅图像所有的SIFT特征之后，就得到一个 bin = size的直方图，然后进行归一化，用运个size维的向量来表示运幅图像，所有图像计 算完成之后，就得到了Bag of words。
[0123] 第五步，识别Ξ维人体睡眠姿态:上步得到的所有的Bag of words,可W构成一个 输入空间X，由d(大小为size)维的特征向量集组成，特征向量直径范围为D;向量最小的矢 量距离为
[0124]
(11)
[012引特征抽取函数巫：
[0126] 巫（χ) =阳-i(x)，H〇(x)，...，Hl(x)] (12)
[0127]
(13)
[0128] 出(X)就是由X在i层分辨率下构成的直方图，直方图宽度(分辨率)为2i，ri是直方 图的维数：
[0129]
(14)
[0130] Φ(χ)就是一个金字塔形状直方图的集合。后一个直方图的间距是前一个的两倍， 直到生成L个直方图，每个直方图相当于一层。i代表由数据集构成的第i个直方图，金字塔 的第i层，底层直方图H-i(x)足够小，每个数据集X中的点都落在独立的块中。然后直方图宽 度增大直到最后一个化(X)所有的数据点都在一个直方图块中。两组输入数据的特征的相 似度定义为在每层上新匹配的特征数量的加权和：
[0131]
牌
[0132] y和Z分别代表不同的数据集。Ni代表两层之间新匹配的数目。"新匹配"就是在小 宽度(bin size)的直方图上未匹配，而在大一倍宽度直方图则匹配。两组输入数据的特征 的相似度定义为在每层上新匹配的特征数量的加权和：
[0135] L为直方图交集函数，即直方图交叉核，衡量两个直方图条之间的重叠程度。A和B 分别为有r维的直方图，aW为A中的第j维。如附图8中的两组1维特征集y和z"(a)中，浅色虚 线是直方图边界;加粗的实线代表较低层直方图已经匹配的点对;加粗点线代表此层的直 方图中新匹配的点对，两组输入数据的特征的相似度定义为在每层上新匹配的特征数量的 加权和如公式12，wi代表每一层上的权重，与两点在该层上匹配的程度成正比，由直方图宽 度决定。在第i个直方图上的VI; =^-。直方图宽度越宽匹配权重越小。i从0开始，因为i=-l 时，没有点匹配。最终的计算相似度公式：
[0136]
08)
[0137] 归一化处理，使用每一个输入数据集自身之间的相似度来计算最终的结果进行函 数的归一化，W特征自身的相似度为1计算。如下公式： [0140] 针对不同的多分辨率直方图进行比较计算，运些直方图的宽度值可W随意改变 的。通过改变宽度值，得到多个(T个)Pyramid Match Kernel,进行组合得到最终比较结果。 运就产生了 T个特征配对：
[0141] 巫 i(y),...，巫T(y) (21)
[0142] 对于输入y和Z，结合之后产生的内核值是：
[014引
（22)
[0144] 基于金字塔匹配直方图交叉核支持向量机方法中用到的线性判别函数 (discriminant function)是指由X的各个分量的线性组合而成的函数：
[0145]
(23)
[0146] 两类情况:对于两类问题的决策规则为：
[0147] 如果g(x)〉0,则判定X属于Cl;
[0148] 如果g(x)<0,则判定X属于C2;
[0149] 如果g(x)=0,则可W将X任意分到某一类或者拒绝判定。
[0150] 方程g(x)=0定义了一个判定面，它把归类于打的点与归类于C2的点分开来。
[0151] 根据泛函的相关理论，只要一种核函数K(Xi，Xj)满足Mercer条件，它就对应某一变 换空间中的内积。因此，在最优分类面中采用适当的内积函数K(Xi，Xj)就可W实现某一非线 性变换后的线性分类，而计算复杂度却没有增加，相应的分类函数为：
[0155] 基于金字塔匹配直方图交叉核支持向量机首先在低维空间中完成数据计算，然后 通过直方图交叉核将输入空间映射到高维特征空间，最终在高维特征空间中构造出最优分 离超平面，从而把平面上本身不好分的非线性数据分开。
[0156] 最终由特征集匹配和分类函数的结果即可识别出输入的3维人体睡眠模型的每一 种睡眠姿态。
[0157] 本发明的不同方法的结果对比如下表：
[0158]
[0159] W上所述仅为本发明的较佳实施例而已，并不用W限制本发明，凡在本发明的精 神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
【主权项】
1. 基于金字塔匹配直方图交叉核的人体睡眠姿态检测方法，其特征在于，所述基于金 字塔匹配直方图交叉核的人体睡眠姿态检测方法包括： 采用Artec和Kinect采集数据； 通过平移和缩放坐标系统的尺度将每个3维人体睡眠模型从模型的中心移动到坐标系 统的原点，坐标轴的最大值变为1，建立出每个模型其自己的协调的系统； 通过建立投影坐标系统，从位于大的球体表面的照相机位置提取深度图像，每个3维人 体睡眠模型用了十套内接于相同球体而旋转角度不同的十二面体，照相机位置位于规则正 十二面体的20个顶点，每个视角的照相机朝向规则正十二面体的中心，每套正十二面体从 这二十个不同的角度提取出10幅图像，一共提取出一百幅图像； 通过SIFT算法提取出每一幅深度图像的尺度和旋转不变特征包，每一幅图像有三十到 四十个SIFT特征，每个特征为128维向量，得到一个3维人体睡眠模型的3000到5000个SIFT 特征； 通过K-means算法将得到的SIFT特征编码成可见的visual words并进行聚类，得到 dictionary； 通过统计属于每个质心(dietionary中的每个visual word)的SIFT特征数目得到的得 到的bag of words代入到基于金字塔匹配直方图交叉核的人体睡眠姿态检测方法中得到 输入的每个3维人体睡眠模型的每一种睡眠姿态。2. 如权利要求1所述的基于金字塔匹配直方图交叉核的人体睡眠姿态检测方法，其特 征在于，所述通过建立投影坐标系统包括： 将3维人体睡眠模型从模型的中心移动到坐标系统的原点，定义平移公式：MaxCoori和MinCoori是各自坐标轴上的最大和最小坐标值，缩放是各向同性的，根据 距离模型的X，y，z轴上的最大值来进行标准化，公式为：3. 如权利要求1所述的基于金字塔匹配直方图交叉核的人体睡眠姿态检测方法，其特 征在于，所述通过SIFT算法提取出每一幅深度图像的尺度和旋转不变特征包具体包括： 构建尺度空间中，高斯卷积核是实现尺度变换的唯一线性核，于是一幅二维图像的尺 度空间定义为L(x，y，〇):其中G(x，y，〇)是尺度可变高斯函数，（x，y)是空间坐标，是尺度坐标，〇大小决定图像的 平滑程度，大尺度对应图像的概貌特征，小尺度对应图像的细节特征，大的σ值对应粗糙尺 度，反之，对应精细尺度，利用不同尺度的高斯差分核与图像卷积生成：为每个特征点计算一个方向，利用关键点邻域像素的梯度方向分布特性为每个关键点 指定方向参数，使算子具备旋转不变性：为(x，y)处梯度的模值和方向公式，其中L所用的尺度为每个关键点各自所在的尺度。4. 如权利要求1所述的基于金字塔匹配直方图交叉核的人体睡眠姿态检测方法，其特 征在于，所述通过K-means算法将得到的SIFT特征编码成可见的visual words并进行聚类 具体包括： 对于每一个样例Kvisual word)，根据公式计算其应该属于哪个质心：对于每一个类j，重新计算该类的质心，由此构建dictionary:5. 如权利要求1所述的基于金字塔匹配直方图交叉核的人体睡眠姿态检测方法，其特 征在于，所述通过统计属于每个质心(dietionary中的每个visual word)的SIFT特征数目 得到的bag ofwords代入到基于金字塔匹配直方图交叉核的人体睡眠姿态检测方法中得到 输入的每个3维人体睡眠模型的每一种睡眠姿态包括： 一个线性判别函数是指X的各个分量的线性组合而成的函数： g(x) =ffTX+ffo； 两类情况:对于两类问题的决策规则为： 如果g(x)>〇,则判定X属于Ci; 如果g(x)〈〇,则判定X属于C2; 如果g(x) =0，则将X任意分到某一类或者拒绝判定； 方程g (X )= 〇定义了一个判定面，它把归类于Ci的点与归类于C2的点分开来； 在最优分类面中采用适当的内积函数K(Xl，Xj)就实现某一非线性变换后的线性分类， 相应的分类函数为：直方图交叉核的定义：基于金字塔匹配直方图交叉核支持向量机首先在低维空间中完成数据计算，然后通过 直方图交叉核将输入空间映射到高维特征空间，最终在高维特征空间中构造出最优分离超 平面，从而把平面上本身不好分的非线性数据分开。6. -种如权利要求1所述的基于金字塔匹配直方图交叉核的人体睡眠姿态检测方法的 人体睡眠姿态检测系统，其特征在于，所述人体睡眠姿态检测系统包括： 采集模块，用于采用Artec和Kinect采集数据； 模型协调系统模块，用于通过平移和缩放坐标系统的尺度将每个3维人体睡眠模型从 模型的中心移动到坐标系统的原点，坐标轴的最大值变为I，建立出每个模型自己的协调的 系统； 坐标系统建立模块，用于通过建立投影坐标系统，从位于大的球体表面的照相机位置 提取深度图像，每个3维人体睡眠模型用了十套内接于相同球体而旋转角度不同的十二面 体，照相机位置位于规则正十二面体的20个顶点，每个视角的照相机朝向规则正十二面体 的中心，每套正十二面体从这二十个不同的角度提取出10幅图像，一共提取出一百幅图像； 提取模块，用于通过SIFT算法提取出每一幅深度图像的尺度和旋转不变特征包，每一 幅图像有三十到四十个SIFT特征，每个特征为128维向量，得到一个3维人体睡眠模型的 3000 到5000个 SIFT 特征； 聚类模块，用于通过K-means算法将得到的SIFT特征编码成可见的visual words并进 行聚类，得到dictionary; 睡眠姿态模块，用于通过统计属于每个质心（dietionary中的每个visual word)的 SIFT特征数目得到的bag ofwords代入到基于金字塔匹配直方图交叉核的人体睡眠姿态检 测方法中得到输入的每个3维人体睡眠模型的每一种睡眠姿态。7. 如权利要求6所述的人体睡眠姿态检测系统，其特征在于，所述坐标系统建立模块进 一步包括： 深度图像提取单元，用于从位于大的球体表面的照相机位置提取深度图像； 摄像单元，每个3维人体睡眠模型用了十套内接于相同球体而旋转角度不同的十二面 体，照相机位置位于规则正十二面体的20个顶点，每个视角的照相机朝向规则正十二面体 的中心； 图像提取单元，每套正十二面体从这二十个不同的角度提取出10幅图像，一共提取出 一百幅图像。8. -种应用权利要求1-5任意一项所述基于金字塔匹配直方图交叉核的人体睡眠姿态 检测方法的智能监控系统。9. 一种应用权利要求1-5任意一项所述基于金字塔匹配直方图交叉核的人体睡眠姿态 检测方法的高级人机交互系统。10. -种应用权利要求1-5任意一项所述基于金字塔匹配直方图交叉核的人体睡眠姿 态检测方法的远程医疗系统。
【专利摘要】本发明公开了基于金字塔匹配直方图交叉核的人体睡眠姿态检测方法，采用Artec和Kinect采集数据；建立出每个模型其自己的协调的系统；建立投影坐标系统，提取深度图像；通过SIFT算法提取出每一幅深度图像的尺度和旋转不变特征包；将得到的SIFT特征编码成可见的visual？words并进行聚类，得到dictionary；通过统计属于每个质心的SIFT特征数目得到的bag？of？words代入到基于金字塔匹配直方图交叉核的人体睡眠姿态检测方法中识别出输入的每个3维人体睡眠模型的每一种睡眠姿态。本发明人为误差较小且不易产生分类灾难，对视角变化、仿射变换、噪声保持稳定性,实现了输入的每个3维人体睡眠模型的每一种具体的睡眠姿态的精确判断。
【IPC分类】G06K9/62, G06K9/46, G06K9/00
【公开号】CN105488491
【申请号】CN201510976121
【发明人】任爱锋, 董彬彬, 杨晓东, 吕翔宇
【申请人】西安电子科技大学
【公开日】2016年4月13日
【申请日】2015年12月23日
最新回复(0)