基于Sift特征匹配和形状上下文的试卷阅卷方法
基于Sift特征匹配和形状上下文的试卷阅卷方法
【技术领域】
[0001] 本发明设及图像识别及图像处理技术，特别是一种基于Sift特征匹配和形状上下 文的试卷阅卷方法。
【背景技术】
[0002] 随着手机，数码摄像机等数字成像设备普及和大储存设备价格的下降。大量的图 片信息来到我们的身边。人眼看到的信息都可W通过运些设备记录。图像处理和识别的技 术就应用而生。本发明就是图像处理和图像识别在日常生活中提出来的，为了减轻老师的 阅卷负担，根据相关技术，发明一种基于Sift特征匹配和形状上下文的试卷阅卷系统。相关 技术包括了图像的二值化、膨胀与腐蚀和轮廓追踪和图像sift特征匹配和形状上下文特征 匹配等方法。
【发明内容】
[0003] 本发明的目的在于提供一种基于Sift特征匹配和形状上下文的试卷阅卷方法。该 方法包括：
[0004] 步骤1，输入两张图片，包括未作答试卷和已作答试卷；
[0005] 步骤2,分别对图片进行Sift特征匹配，其中，统计匹配的特征点集合为M{mi, m2, . . .ΠΗ, . . . }，两幅图像的特征点分别为 Κι 化 ll，kl2, . . . }，Κ2 化 21，k22, . . . };
[0006] 步骤3,选取两个不同的匹配特征点，计算旋转角平均差值，对已作答试卷的图片 依照旋转角平均差值旋转；
[0007] 步骤4,对旋转后的已作答试卷的图片，与未旋转的已作答试卷的图片惊醒Sift特 征匹配，获取两幅图像的特征点；
[000引步骤5,对步骤4获得的特征点，获取特征点在X轴方向的差值和y轴方向的差值，根 据产值对旋转后的已作答试卷图片进行平移；
[0009] 步骤6,平移后的图片和未作答试卷图片相减获取两张图片的不同区域；
[0010] 步骤7,在上述不同区域中获得答案区域；
[0011] 步骤8，计算形状上下文特征；
[0012] 步骤9,对形状上下文特征，根据手写字母训练集，分别提取像素特征，根据邻近算 法得到识别出来的类别。
[0013] 本发明与现有技术相比，具有W下优点：本系统就是根据上述相关的技术再结合 日常需求，设计了自动阅卷系统。目的是减少老师的工作量，使图像识别和图像处理技术应 用到实际之中。
[0014] 下面结合说明书附图对本发明做进一步描述。
【附图说明】
[0015] 图1是本发明基于sift特征匹配和形状上下文的试卷阅卷系统流程图。
[0016] 图2是基于sift特征匹配和形状上下文的试卷阅卷系统中计算旋转角度示意图。
[0017] 图3是说明sift特征匹配具有很好的可行性。图中的圆圈表示sift特征值，直线表 示特征点匹配的结果。
[0018] 图4是基于sift特征匹配和形状上下文的试卷阅卷系统的效果实例图。其中图4 (a)、（d)表示输入的未作答的试卷，图4(b)、（e)表示画出答案区域的效果图。图4(c)、（f)表 示最后检测出的结果。
【具体实施方式】
[0019] -种基于Sift特征匹配和形状上下文的试卷阅卷方法，包括W下步骤：
[0020] 步骤1，输入两张图片。运两张图片包括未作答试卷和已作答的试卷，其中已经作 答的试卷不能乱涂乱画，要在相应区域作答。
[0021] 步骤2,特征匹配。为了减少计算量，将两张图片调整为450*800,然后对两张图片 进行sift特征匹配。统计匹配的特征点集合为. . .ΠΗ，. . .}，两幅图像的特征点分别 为Κι 化 11, kl2 , . . . }，K2 化21 , k22 , . . . }。
[0022] 步骤3，计算旋转角。从集合Μ中选取mi、mj，i辛j。分别计算角
[0025] 其中Ki[mi(x)]、Ki[mi(y)]、Ki[mj(x)]、Ki[mj(y)]、K2[mi(x)]、K2[mi(y)]、K2[mj(x)]、 K2[m^y)]分别为两幅图片匹配的特征点的纵横坐标，P为集合Μ中选取不同两个匹配特征点 索引值。A分别为两张图片的匹配特征点的梯度方向，取遍集合Μ的所W组合(αιΑ)最 后计算旋转角平均差值
斤述Κ为集合Μ的所有两个元素组合数，k为集合Μ 的所有两个元素组合的索引值。
[0026] 步骤4,得到两张图的不同区域。
[0027] 4.1)根据β值，对作答图片进行旋转，旋转之后再与原图进行进行Sift特征匹配， 重复步骤Ξ得到两张图片的匹配点。
[0028] 4.2)分别计算匹配点X轴方向的差值，和y轴方向的差值，根据差值进行平移。最后 将旋转和平移好的图与未作答的图进行相减，得到两张图的不同区域。
[0029] 步骤5,获得答案区域。把相减得到图片，进行二值化和腐蚀与膨胀，最后根据轮廓 追踪得到相应的答案区域。
[0030] 步骤6,计算形状上下文特征。假设两张图片为Srcl和Ds巧，Srcl为未作答图片， Ds巧为已作答图片，通过边缘检测和轮廓追踪算法分别得到两张图片的特征点集合P{pi, P2, . . .，Pn}，Q{qi，q2, . . .，qn}。对于集合P中的每个特征点Pi,需要在集合Q中找到与其匹配 的代价最小的特征点W，假设j = r(i)。那么计算两个图像形状之间的相似问题可W转化 成，求解
其中i、j=r(i)，r(i)表示Pi特征点在集合Q中找到与其匹配的代 价最小的特征点^的映射关系。其中两个特征点的代价通过汉明距离表示。为了方便计算， 计算特征点的形状直方图。
[0031] 6.1)将整个平面空间从方向上平均划出12个方向，同时在半径上均匀的划分3份， 整个平面被划分为36个区域，然后统计其他特征点落在每个区域的个数。
[003^ 6.2)两点的匹配代价cost值可W记作。j = C(pi，qj)，则
则整个形状代价为
'其中cWi)表示Pi在Q集合中找到的最小代价特征 点，η表示Q集合的元素个数。找到一个对应关系，需要进一步用一个变换T来衡量形状之间 的转变，所W，最后的形状距离可W用估计的变换来表示：
[0033]
其中Dsc(P,Q)表不两 个形状之间的代价，τ(.)表示TPS形状变换，m、n表示P、Q集合元素个数，p、q表示P、Q集合的 元素，最后根据最优匹配算法得到最优解，例如匈牙利算法。
[0034] 步骤7,根据形状上下文特征，通过网上的手写字母训练集，分别提取它们的像素 特征，然后通过距离计算得到knn，通过knn来得到识别出来的类别。
【主权项】
1. 一种基于Sift特征匹配和形状上下文的试卷阅卷方法，其特征在于，包括： 步骤1，输入两张图片，包括未作答试卷和已作答试卷； 步骤2,分别对图片进行Sift特征匹配，其中，统计匹配的特征点集合为 ? · ·ΠΗ, · · · }，两幅图像的特征点分别为Kl{kll，kl2, · · · }，K2{k21，k22, · · ·}; 步骤3,选取两个不同的匹配特征点，计算旋转角平均差值，对已作答试卷的图片依照 旋转角平均差值旋转； 步骤4,对旋转后的已作答试卷的图片，与未旋转的已作答试卷的图片惊醒Sift特征匹 配，获取两幅图像的特征点； 步骤5，对步骤4获得的特征点，获取特征点在X轴方向的差值和y轴方向的差值，根据产 值对旋转后的已作答试卷图片进行平移； 步骤6,平移后的图片和未作答试卷图片相减获取两张图片的不同区域； 步骤7，在上述不同区域中获得答案区域； 步骤8,计算形状上下文特征； 步骤9，对形状上下文特征，根据手写字母训练集，分别提取像素特征，根据邻近算法得 到识别出来的类别。2. 根据权利要求1所述的方法，其特征在于，步骤3包括： 步骤3.1，遍历集合M，选取不同任意选取集合M中的元素 mi、mj，i矣j; 步骤3.2,分别计算两张图片上的匹配特征点的梯度方向αι、α」，其中 ai = arctan(Ki[nu(y) ]-Ki[mj(y) ]/Κι[πη(χ) ]-Ki[mj(x)]) aj = arctan(K2[mi(y) ]_K2[mj(y) ]/Κ2[πη(χ) ]_K2[mj(x)]) 其中，Ki[nu(x) ]、Ki[nu(y) ]、Ki[mj(x) ]、Ki[mj(y) ]、K2[nu(x) ]、K2[nu(y) ]、K2[mj(x) ]、K2 [mj(y)]分别为两幅图片匹配的特征点的纵横坐标，p为集合M中选取不同两个匹配特征点 索引值； 步骤3.3，重复执行步骤3.1和3.2，获取集合M的所有两个元素组合的梯度方向； 步骤3.4,计算旋转角平均差值所述K为集合M的所有两个元素组合 数，k为集合M的所有两个元素组合的索引值。3. 根据权利要求1所述的方法，其特征在于，步骤8包括： 步骤8.1，通过边缘检测和轮廓追踪算法分别得到步骤7得到的未作答和已作答的两张 图片的特征点集合Ρ{ρι，Ρ2, · · ·，pn}，Q{qi，q2, · · ·，qn}; 步骤8.2，对于集合P中的每个特征点Pi i e [ I，n ]，在集合Q中找到与其匹配的代价最小 的特征点qj je[l，n]; 步骤8.3,将整个平面空间从方向上平均划出12个方向，同时在半径上均匀的划分3份， 整个平面被划分为36个区域，统计特征点落在每个区域的个数； 步骤8.4,计算特征点Pl与匹配的代价最小的特征点两点的匹配代价cost值其中lu(.)为未作答图片中特征点？1的形状直方图，hj .)为已作 答图片中特征点^的形状直方图； 步骤8.5，采用TPS形状变换获取形状距离其中DSC(P，Q)表示两个形状之间的代价，T(.)表示TPS形状变换，m、n表示P、Q集合元素 个数，P、q表示P、Q集合的元素； 步骤8.6，根据最优匹配算法得到最优解。4.根据权利要求3所述的方法，其特征在于，步骤8.6的最有匹配算法为匈牙利算法。
【专利摘要】本发明提供一种基于Sift特征匹配和形状上下文的试卷阅卷方法，包括：输入两张图片，包括未作答试卷和已作答试卷；分别对图片进行Sift特征匹配；计算旋转角平均差值，对已作答试卷的图片依照旋转角平均差值旋转；对旋转后的已作答试卷的图片，与未旋转的已作答试卷的图片惊醒Sift特征匹配，获取两幅图像的特征点；对获得的特征点，获取特征点在x轴方向的差值和y轴方向的差值，根据产值对旋转后的已作答试卷图片进行平移；平移后的图片和未作答试卷图片相减获取两张图片的不同区域；在上述不同区域中获得答案区域；计算形状上下文特征；对形状上下文特征，根据手写字母训练集，分别提取像素特征，根据邻近算法得到识别出来的类别。
【IPC分类】G06K9/46
【公开号】CN105488512
【申请号】CN201510848900
【发明人】唐金辉, 李泽超, 王学明, 曹通
【申请人】南京理工大学
【公开日】2016年4月13日
【申请日】2015年11月27日
【技术领域】
[0001] 本发明设及图像识别及图像处理技术，特别是一种基于Sift特征匹配和形状上下 文的试卷阅卷方法。
【背景技术】
[0002] 随着手机，数码摄像机等数字成像设备普及和大储存设备价格的下降。大量的图 片信息来到我们的身边。人眼看到的信息都可W通过运些设备记录。图像处理和识别的技 术就应用而生。本发明就是图像处理和图像识别在日常生活中提出来的，为了减轻老师的 阅卷负担，根据相关技术，发明一种基于Sift特征匹配和形状上下文的试卷阅卷系统。相关 技术包括了图像的二值化、膨胀与腐蚀和轮廓追踪和图像sift特征匹配和形状上下文特征 匹配等方法。
【发明内容】
[0003] 本发明的目的在于提供一种基于Sift特征匹配和形状上下文的试卷阅卷方法。该 方法包括：
[0004] 步骤1，输入两张图片，包括未作答试卷和已作答试卷；
[0005] 步骤2,分别对图片进行Sift特征匹配，其中，统计匹配的特征点集合为M{mi, m2, . . .ΠΗ, . . . }，两幅图像的特征点分别为 Κι 化 ll，kl2, . . . }，Κ2 化 21，k22, . . . };
[0006] 步骤3,选取两个不同的匹配特征点，计算旋转角平均差值，对已作答试卷的图片 依照旋转角平均差值旋转；
[0007] 步骤4,对旋转后的已作答试卷的图片，与未旋转的已作答试卷的图片惊醒Sift特 征匹配，获取两幅图像的特征点；
[000引步骤5,对步骤4获得的特征点，获取特征点在X轴方向的差值和y轴方向的差值，根 据产值对旋转后的已作答试卷图片进行平移；
[0009] 步骤6,平移后的图片和未作答试卷图片相减获取两张图片的不同区域；
[0010] 步骤7,在上述不同区域中获得答案区域；
[0011] 步骤8，计算形状上下文特征；
[0012] 步骤9,对形状上下文特征，根据手写字母训练集，分别提取像素特征，根据邻近算 法得到识别出来的类别。
[0013] 本发明与现有技术相比，具有W下优点：本系统就是根据上述相关的技术再结合 日常需求，设计了自动阅卷系统。目的是减少老师的工作量，使图像识别和图像处理技术应 用到实际之中。
[0014] 下面结合说明书附图对本发明做进一步描述。
【附图说明】
[0015] 图1是本发明基于sift特征匹配和形状上下文的试卷阅卷系统流程图。
[0016] 图2是基于sift特征匹配和形状上下文的试卷阅卷系统中计算旋转角度示意图。
[0017] 图3是说明sift特征匹配具有很好的可行性。图中的圆圈表示sift特征值，直线表 示特征点匹配的结果。
[0018] 图4是基于sift特征匹配和形状上下文的试卷阅卷系统的效果实例图。其中图4 (a)、（d)表示输入的未作答的试卷，图4(b)、（e)表示画出答案区域的效果图。图4(c)、（f)表 示最后检测出的结果。
【具体实施方式】
[0019] -种基于Sift特征匹配和形状上下文的试卷阅卷方法，包括W下步骤：
[0020] 步骤1，输入两张图片。运两张图片包括未作答试卷和已作答的试卷，其中已经作 答的试卷不能乱涂乱画，要在相应区域作答。
[0021] 步骤2,特征匹配。为了减少计算量，将两张图片调整为450*800,然后对两张图片 进行sift特征匹配。统计匹配的特征点集合为. . .ΠΗ，. . .}，两幅图像的特征点分别 为Κι 化 11, kl2 , . . . }，K2 化21 , k22 , . . . }。
[0022] 步骤3，计算旋转角。从集合Μ中选取mi、mj，i辛j。分别计算角
[0025] 其中Ki[mi(x)]、Ki[mi(y)]、Ki[mj(x)]、Ki[mj(y)]、K2[mi(x)]、K2[mi(y)]、K2[mj(x)]、 K2[m^y)]分别为两幅图片匹配的特征点的纵横坐标，P为集合Μ中选取不同两个匹配特征点 索引值。A分别为两张图片的匹配特征点的梯度方向，取遍集合Μ的所W组合(αιΑ)最 后计算旋转角平均差值
斤述Κ为集合Μ的所有两个元素组合数，k为集合Μ 的所有两个元素组合的索引值。
[0026] 步骤4,得到两张图的不同区域。
[0027] 4.1)根据β值，对作答图片进行旋转，旋转之后再与原图进行进行Sift特征匹配， 重复步骤Ξ得到两张图片的匹配点。
[0028] 4.2)分别计算匹配点X轴方向的差值，和y轴方向的差值，根据差值进行平移。最后 将旋转和平移好的图与未作答的图进行相减，得到两张图的不同区域。
[0029] 步骤5,获得答案区域。把相减得到图片，进行二值化和腐蚀与膨胀，最后根据轮廓 追踪得到相应的答案区域。
[0030] 步骤6,计算形状上下文特征。假设两张图片为Srcl和Ds巧，Srcl为未作答图片， Ds巧为已作答图片，通过边缘检测和轮廓追踪算法分别得到两张图片的特征点集合P{pi, P2, . . .，Pn}，Q{qi，q2, . . .，qn}。对于集合P中的每个特征点Pi,需要在集合Q中找到与其匹配 的代价最小的特征点W，假设j = r(i)。那么计算两个图像形状之间的相似问题可W转化 成，求解
其中i、j=r(i)，r(i)表示Pi特征点在集合Q中找到与其匹配的代 价最小的特征点^的映射关系。其中两个特征点的代价通过汉明距离表示。为了方便计算， 计算特征点的形状直方图。
[0031] 6.1)将整个平面空间从方向上平均划出12个方向，同时在半径上均匀的划分3份， 整个平面被划分为36个区域，然后统计其他特征点落在每个区域的个数。
[003^ 6.2)两点的匹配代价cost值可W记作。j = C(pi，qj)，则
则整个形状代价为
'其中cWi)表示Pi在Q集合中找到的最小代价特征 点，η表示Q集合的元素个数。找到一个对应关系，需要进一步用一个变换T来衡量形状之间 的转变，所W，最后的形状距离可W用估计的变换来表示：
[0033]
其中Dsc(P,Q)表不两 个形状之间的代价，τ(.)表示TPS形状变换，m、n表示P、Q集合元素个数，p、q表示P、Q集合的 元素，最后根据最优匹配算法得到最优解，例如匈牙利算法。
[0034] 步骤7,根据形状上下文特征，通过网上的手写字母训练集，分别提取它们的像素 特征，然后通过距离计算得到knn，通过knn来得到识别出来的类别。
【主权项】
1. 一种基于Sift特征匹配和形状上下文的试卷阅卷方法，其特征在于，包括： 步骤1，输入两张图片，包括未作答试卷和已作答试卷； 步骤2,分别对图片进行Sift特征匹配，其中，统计匹配的特征点集合为 ? · ·ΠΗ, · · · }，两幅图像的特征点分别为Kl{kll，kl2, · · · }，K2{k21，k22, · · ·}; 步骤3,选取两个不同的匹配特征点，计算旋转角平均差值，对已作答试卷的图片依照 旋转角平均差值旋转； 步骤4,对旋转后的已作答试卷的图片，与未旋转的已作答试卷的图片惊醒Sift特征匹 配，获取两幅图像的特征点； 步骤5，对步骤4获得的特征点，获取特征点在X轴方向的差值和y轴方向的差值，根据产 值对旋转后的已作答试卷图片进行平移； 步骤6,平移后的图片和未作答试卷图片相减获取两张图片的不同区域； 步骤7，在上述不同区域中获得答案区域； 步骤8,计算形状上下文特征； 步骤9，对形状上下文特征，根据手写字母训练集，分别提取像素特征，根据邻近算法得 到识别出来的类别。2. 根据权利要求1所述的方法，其特征在于，步骤3包括： 步骤3.1，遍历集合M，选取不同任意选取集合M中的元素 mi、mj，i矣j; 步骤3.2,分别计算两张图片上的匹配特征点的梯度方向αι、α」，其中 ai = arctan(Ki[nu(y) ]-Ki[mj(y) ]/Κι[πη(χ) ]-Ki[mj(x)]) aj = arctan(K2[mi(y) ]_K2[mj(y) ]/Κ2[πη(χ) ]_K2[mj(x)]) 其中，Ki[nu(x) ]、Ki[nu(y) ]、Ki[mj(x) ]、Ki[mj(y) ]、K2[nu(x) ]、K2[nu(y) ]、K2[mj(x) ]、K2 [mj(y)]分别为两幅图片匹配的特征点的纵横坐标，p为集合M中选取不同两个匹配特征点 索引值； 步骤3.3，重复执行步骤3.1和3.2，获取集合M的所有两个元素组合的梯度方向； 步骤3.4,计算旋转角平均差值所述K为集合M的所有两个元素组合 数，k为集合M的所有两个元素组合的索引值。3. 根据权利要求1所述的方法，其特征在于，步骤8包括： 步骤8.1，通过边缘检测和轮廓追踪算法分别得到步骤7得到的未作答和已作答的两张 图片的特征点集合Ρ{ρι，Ρ2, · · ·，pn}，Q{qi，q2, · · ·，qn}; 步骤8.2，对于集合P中的每个特征点Pi i e [ I，n ]，在集合Q中找到与其匹配的代价最小 的特征点qj je[l，n]; 步骤8.3,将整个平面空间从方向上平均划出12个方向，同时在半径上均匀的划分3份， 整个平面被划分为36个区域，统计特征点落在每个区域的个数； 步骤8.4,计算特征点Pl与匹配的代价最小的特征点两点的匹配代价cost值其中lu(.)为未作答图片中特征点？1的形状直方图，hj .)为已作 答图片中特征点^的形状直方图； 步骤8.5，采用TPS形状变换获取形状距离其中DSC(P，Q)表示两个形状之间的代价，T(.)表示TPS形状变换，m、n表示P、Q集合元素 个数，P、q表示P、Q集合的元素； 步骤8.6，根据最优匹配算法得到最优解。4.根据权利要求3所述的方法，其特征在于，步骤8.6的最有匹配算法为匈牙利算法。
【专利摘要】本发明提供一种基于Sift特征匹配和形状上下文的试卷阅卷方法，包括：输入两张图片，包括未作答试卷和已作答试卷；分别对图片进行Sift特征匹配；计算旋转角平均差值，对已作答试卷的图片依照旋转角平均差值旋转；对旋转后的已作答试卷的图片，与未旋转的已作答试卷的图片惊醒Sift特征匹配，获取两幅图像的特征点；对获得的特征点，获取特征点在x轴方向的差值和y轴方向的差值，根据产值对旋转后的已作答试卷图片进行平移；平移后的图片和未作答试卷图片相减获取两张图片的不同区域；在上述不同区域中获得答案区域；计算形状上下文特征；对形状上下文特征，根据手写字母训练集，分别提取像素特征，根据邻近算法得到识别出来的类别。
【IPC分类】G06K9/46
【公开号】CN105488512
【申请号】CN201510848900
【发明人】唐金辉, 李泽超, 王学明, 曹通
【申请人】南京理工大学
【公开日】2016年4月13日
【申请日】2015年11月27日
最新回复(0)