圆柱表面文字识别系统及方法
【技术领域】
[0001] 本发明设及文字识别技术领域,更确切地说,本发明设及圆柱表面文字识别系统 及方法。
【背景技术】
[0002] 文字识别是一种借助图像处理实现识读附着于实体表面上文字信息的技术。文字 识别作为一种信息处理的手段具有广阔的应用背景和巨大的市场需求,在诸如阅读、翻译、 文献资料的检索、信件和包裹的分炼、稿件的编辑和校对、大量统计报表和卡片的汇总与分 析、银行支票的处理、商品发票的统计汇总、商品编码的识别、商品仓库的管理等方面具有 十分重大的意义。
[0003] 按照文字附着面种类区分,可将文字信息划分为平面文字和Ξ维曲面文字。平面 类图像文字识别技术能够将被扫描的目标文字图像识别并转化成电子文本,该技术成熟、 算法简单、识别率高,但只能识别严格平面且无崎变的印刷体文字图像。
[0004] 目前Ξ维曲面文字识别因为识别难度大、理论不成熟,尚鲜有研究成果。但作为一 种简化的Ξ维文字识别问题,李响、严晓浪等人提出了弯曲表面平面化的算法,即预先在纸 面上绘制网格,通过展平网格的办法,将曲面文字还原成为平面文字,该方法能够矫正单个 文字的崎变,但没有实现段落理解。中国专利公告(布)号为CN104809436A,公告(布)日为 2015年7月29日,发明名称为"一种弯曲书面文字识别方法",该方法通过将每行文字中屯、W 曲线拟合的方法矫正文字行的扭曲角度,实现了对书本版面信息的识别理解,但不能够矫 正单个字体的崎形。上述方法对识别单张图片中崎变较小的文字有较好的识别效果,但在 识别圆柱环面上的文字时,因为圆柱便面不便于画线,且圆柱面上图像边缘附近文字崎变 较大,决定了上述方法并不适用。
[0005] 目前,包括圆柱面在内的Ξ维曲面文字信息识别主要是编制条形码,利用扫描仪 识读条形码的方式间接识读曲面上文字信息。运种方法的优点是识别率极高,但也有如下 缺点:一是必须预先在圆柱面标贴上印制条形码,给生产单位带来一定负担;二是需要操作 人员手持扫描仪探头逐一对准圆柱面上的条形码扫描,大量的识别工作势必增加操作人员 的工作量。
[0006] 上述理论和方法在识别安瓶药品等圆柱表面物品文字时都存在不同的限制条件。 为满足此类物品很高的文字识别准确度要求,迫切地需要找到一种识别准确、快速、便捷地 识别圆柱体表面文字的系统及方法。
【发明内容】
[0007] 本发明所要解决的技术问题是克服了现有技术存在的必须依靠辅助措施而无法 直接识别圆柱面印刷体文字,W及对圆柱面印刷体文字识别理论欠缺的问题,提供了一种 能够识别圆柱表面文字识别系统及方法。
[000引一种圆柱表面文字识别系统,由系统主控制计算机、传送排列装置、图像采集与处 理装置和报错分炼装置组成;
[0009] 所述传送排列装置位于所述圆柱表面的文字识别系统的最前端,所述传送排列装 置中的运动控制器与系统主控制计算机相连接;
[0010] 所述图像采集与处理装置与系统主控制计算机连接构成局域网络;
[0011] 所述报错分炼装置与所述系统主控制计算机相连接;
[0012] 所述报错分炼装置中的报错控制器与图像集采与处理装置中的识别区位置传感 器相连接。
[0013] 技术方案中所述系统主控制计算机内置有识别控制软件和结构化查询语言S化医 用数据库;
[0014] 所述识别控制软件为用户提供人机交互界面,用户根据需要利用键盘、鼠标设置 系统参数;所述识别控制软件为图像采集与处理装置提供识别指令代码,根据图像处理返 回的识别结果指引报错分炼装置执行相应动作;
[0015] 所述结构化查询语言S化医用数据库系统用来存放和管理安瓶药品相关的识别数 据,包括与患者信息相对应的药品名称、国药准字批号、安瓶轮廓直径、图像裁剪窗口参数、 灰度图像二值化阔值、国药准字批号文字区域的行列像素范围,W上数据供所述识别控制 软件的识别指令代码调用。
[0016] 技术方案中所述传送排列装置还包括渐缩口闽口和传送带;
[0017] 所述渐缩口闽口由底板1、两块支座、两块形状对称的斜坡面闽口滑块、丝杠4、两 根圆柱型导轨和步进电机8组成;
[0018] 所述底板与两块支座固定连接;
[0019] 所述两根圆柱型导轨平行固定在两块支座上端;
[0020] 所述的丝杠4轴向固定在两块支座上端,并且与两根圆柱型导轨平行等高;
[0021] 两根圆柱型导轨的轴线与丝杠4轴线平行,丝杠4位于两根圆柱型导轨中间;
[0022] 所述步进电机8固定在支座9上端,步进电机8的转子与丝杠4做同轴刚性连接;
[0023] 所述的斜坡面闽口滑块各自的半圆柱开口导向面与两根圆柱型导轨相配合构成 滑动副,斜坡面闽口滑块的内螺纹同丝杠螺纹相配合构成螺旋传动副,斜坡面闽口滑块在 丝杠4转动W及两根圆柱型导轨导向作用下始终沿着导轨做相互靠近或者远离的方向移 动;斜坡面闽口滑块6活动安装在丝杠4右半段,斜坡面闽口滑块7活动安装在丝杠4左半段;
[0024] 两块形状对称的斜坡面闽口滑块活动安装在丝杠4和两根圆柱型导轨上;两块形 状对称的斜坡面闽口滑块沿着两根圆柱型导轨做反方向的移动;
[0025] 所述丝杠4的左半段与右半段旋向相反,相反的丝杠旋向使得丝杠在旋转时,两块 斜坡面闽口滑块相互靠近或者远离的方向移动;
[0026] 丝杠4在步进电机8驱动下做同步回转运动,受丝杠4的驱动,两块形状对称的斜坡 面闽口滑块沿着两根圆柱型导轨做平移运动,从而实现闽口开合;渐缩口最大开度由两块 支座间距所限制。
[0027] 技术方案中所述两块形状对称的斜坡面闽口滑块由直角Ξ棱柱和上端与丝杠4和 两根圆柱型导轨配合的长方体安装块组成;其中直角Ξ棱柱端面非直角边对应的棱柱面为 导向斜坡面;关于丝杠轴线垂直平分面对称安装的两块斜坡面闽口滑块安装好之后形成卿 趴口 Θ,从而引导安瓶药品运动到闽口 口处;直角Ξ棱柱的高度高于全部待识别安瓶的最大 高度,从而保证所有待识别安瓶的正常通过;长方体安装块开设一个内螺纹孔,用于与丝杠 4配合,长方体安装块在内螺纹孔的两侧还开设有半圆柱面开口,用于与两根圆柱型导轨配 厶 1=1 〇
[002引技术方案中所述传送带宽度值小于或等于150mm,长度为1000mm至1500mm,速度为 20mm/s至40mm/s;传送带表面光滑平整,允许安瓶能相对于传送带表面产生一定平移滑动; 在传送带的输送端到渐缩口闽口的范围内的传送带两侧设有隔离板。
[0029] 渐缩口闽口位于传送带输送端10cm至30cm处,容纳预先放置好的安瓶;渐缩口闽 口横跨在传送带上,并且与传动带间垂直间隙小于或等于5mm。
[0030] 技术方案中所述图像采集与处理装置还包括识别区位置传感器、图像采集相机 组、四通道图像采集卡、图像处理计算机;
[0031] 所述图像采集相机组由四个电荷禪合元件CCD相机组成,所述图像采集相机组W 四个电荷禪合元件CCD相机作为正方形的四个顶点排列在中屯、线两侧,电荷禪合元件CCD相 机镜头光屯、间的对角连线交点为识别区的中屯、点,在安瓶抵达识别中屯、点时,开始圆柱表 面图像的环绕采集;四台电荷禪合元件CCD相机四路图像数据通过一根电缆线经过图像传 感器与采集系统连接接口连接到四通道图像采集卡上,W实现数据的无损高速传输;
[0032] 所述识别区位置传感器正对识别中屯、点,用于监测安瓶是否抵达和离开识别区; 设定光导通时传感器输出为低电平,当检测到安瓶边缘抵达识别区中屯、点位置时,识别区 位置传感器输出上升沿电平,此时电荷禪合元件CCD相机被触发拍照;当检测安瓶边缘离开 识别中屯、点时,识别区位置传感器输出下降沿电平,终止相机拍照;识别区位置传感器通过 USB接口连接到图像处理计算机;
[0033] 所述四通道图像采集卡具有四通道图像采集功能,用于采集并编码电荷禪合元件 CCD相机所拍摄的视频图像,并将其传送到图像处理计算机;所述的编码还包含了图像压缩 的功能,将四台电荷禪合元件CCD相机所拍摄的每帖图像删减成1.5至2倍安瓶轮廓宽度值 的图像,裁剪参数通过前述识别控制软件输入设定;四通道图像采集卡通过周边元件扩展 接口扩展插槽PCI插槽安插在图像处理计算机主板上,W便数据快速读入内存;
[0034] 所述的图像处理计算机,用于处理图像数据;抽取各路视频图像的中间时刻的图 像作为识别有效图像,其余图像序列删除,去除图像的运动模糊,提取出安瓶轮廓特征信息 后,按照圆柱面展开算法,将安瓶轮廓范围内的图像展开成平面图像,再根据已录入的识别 文字区域相对于图像垂直方向上的位置,进一步快速找到并提取出安瓶标签上的一部分国 药准字批号;将四组不同角度图像中的所识别出的部分国药准字批号做拼接,将拼接结果 同
结构化查询语言S化医用数据库中预存信息做比较,据此得出药品是否正确的识别结果。
[0035] 技术方案中所述报错装置还包括报警器、指示灯和直流推力电磁铁;
[0036] 所述报警器,用于发生药品错误及系统故障时发出警报声;
[0037] 所述指示灯包括红、黄、绿Ξ种颜色,用于分别提示药品错误、系统故障、系统正常 且药品正确Ξ种工况;
[0038] 所述直流推力电磁铁的铁忍末段安装塑料推板,矩形塑料推板长度方向与传送带 平行;
[0039] 所述报错控制器是一块8051单片机简易控制器,用于根据接收到的识别结果控制 报警器、指示灯和推力电磁铁的动作;
[0040] 所述报错控制器在系统工作过程中不断地查询来自识别区位置传感器和来自系 统主控制计算机的信号,W判断系统工作状态;
[0041] 在8051单片机内预设定时器,该定时器W电荷禪合元件CCD相机拍照触发信号作 为计时起点,使该计时长度稍长于安瓶识别所耗时长;设计使推力电磁铁到识别区安瓶位 置传感器距离等于该时长与传送带速度的乘积;发生系统超时及药品判错时,单片机在定 时器计满时发出报警信号,并控制推力电磁铁能够顶掉错误或未被识别疑似错误的安瓶药 品。
[0042] -种圆柱表面文字识别系统的识别方法,包括W下步骤:
[0043] 1)围绕安瓶采集四张圆柱曲面图像A、B、C、D;
[0044] 2)裁剪图像A、B、C、DW去除图像边缘大部分多余的背景信息,再进行灰度变换和 二值化处理,得到图像A1、B1、C1、D1;
[0045] 3)设定一根长度为安瓶高度的1/2的竖直虚拟线段,使该线段在图像A1、B1、C1、D1 中自左向右自上而下移动,比对线段左右两侧的像点值是否全部或大部分发生越变,据此 确定出图像A1、B1、C1、D1中安瓶左右轮廓边界;
[0046] 4)依据步骤3)所求出的安瓶左右轮廓边界,根据小孔成像模型,计算安瓶直径;
[0047] 5)将图像41、81、(:1、01中安瓶左右轮廓边界范围内的像点按照圆柱面展平公式展 开得到图像A2、B2、C2、D2;
[0048] 具体的是分别将图像41、81、(:1、01的每列都切分成单列,每列像点在通过相应的 列像点横向加宽倍数ratio放大后再拼接到一起,即得到所需的圆柱面展开图像A2、B2、C2、 D2;
[0049] 6)在经过步骤5)展平后的图像42、82八2、02中捜寻"国药准"、"国药准字"或者"药 准字"Ξ种作为国药准字批号标识特征的字符组合,查询到任意上述字符组合后,记录"国 药准"、"国药准字"或者"药准字"Ξ种字符组合所在的图像42、82八2、02的像素行区间;在 该字符组的邻近右侧识别并记录W-位大写英文字母开头,后接数字的个数为C1的字符 串;
[0050] 7)根据步骤6)中的所记录的"国药准"、"国药准字"或者"药准字"立种字符组合所 在的图像A2、B2、C2、D2的像素行区间,依次在图像B2、C2、D2、A2中,从左侧查询"字"+9位字 符串、9位字符串或者部分字符串,记录该个数为C2的字符串;
[0051] 8)根据步骤6)查询到的字符结果,推断国药准字批号字符为"前C1位+未知的后 (9-ClMr ;
[0052] 根据步骤7)查询到的字符结果,推断国药准字批号字符为"未知的前(9-C2)位+后 C2 位";
[0053] 在前述两个都为9位的字符串当中的第(10-C2巧化1是重叠的位数,同时也作为校 验位;
[0054] 确定校验位正确后,所得出的"步骤6)中的第1到C1位字符+步骤7)中的第C1+C2-8 到第C2位字符"的字符串为最终所要识别的安瓶药品标签上的国药准字批号。
[0055] 所述确定安瓶直径,具体计算公式如下:
[0化6]
[0057] R为待求安瓶半径,L为识别区中屯、点到镜头焦点距离,η是安瓶左右轮廓间的横向 像素个数,S是像素点的几何尺寸,d是镜头焦距到相机成像面的距离。
[0058] 所述圆柱面展平公式如下:
[0064] 其中arc表示与距离安瓶轴线第η与n+1像素点相对应的微元圆弧长度,R表示安瓶 半径,η表示该像素点距离中屯、线上像素点的点数,S表示像素点的几何尺寸,L为识别区中 屯、点到镜头焦点距离,d是镜头焦距到相机成像面的距离,列像点横向加宽倍数ratio是将 图像中安瓶轴线两侧的列像点横向拉伸的倍数。
[0065] 与现有理论和技术相比本发明的有益效果是:
[0066] 1、本发明完善了圆柱体表面印刷体文字识别的理论算法;
[0067] 2、本发明无需借助辅助标识,能实现圆柱体表面印刷体文字识别;
[0068] 3、本发明能自动完成大批量的识别任务,简化操作步骤同时减轻人员工作量;
[0069] 4、本发明识别准确率高且识别速度较快;
[0070] 综上,本发明所述的圆柱表面文字识别系统及方法具有较高的实用价值和广阔的 应用前景,为安瓶(西林瓶)药品筛查等技术领域提供一种新的技术方案。
【附图说明】
[0071] 图1为本发明所述的圆柱表面文字识别系统的结构示意图;
[0072] 图2为本发明所述的圆柱表面文字识别系统的渐缩口闽口结构的轴测图;
[0073] 图3为本发明所述的渐缩口闽口中两斜坡面闽口滑块开口结构示意图;
[0074] 图4为本发明所述的圆柱表面的文字识别方法的步骤图;
[0075] 图5为本发明所述的圆柱表面的文字识别方法的圆柱面平面化展开原理图;
【具体实施方式】
[0076] 下面结合对准确性要求极高的安瓶药品识别为例作详细的描述:
[0077] 参阅图1,本发明所述的圆柱表面文字识别系统由系统主控制计算机、传送排列装 置、图像采集与处理装置和报错分炼装置组成;
[0078] 系统主控制计算机内置有识别控制软件和结构化查询语言SQL医用数据库。另外, 系统提供鼠标、键盘、显示器等常规人机交互设备和各种扩展接口。
[0079] 所述的识别控制软件为用户提供人机交互界面,用户可根据需要利用键盘、鼠标 等设置系统参数;另外识别控制软件为图像采集与处理装置提供识别指令代码,根据图像 处理返回的识别结果指引报错分炼装置执行相应动作。
[0080] 所述的结构化查询语言SQL医用数据库系统用来存放和管理安瓶药品相关的识别 数据,包括与患者信息相对应的药品名称,国药准字批号,安瓶轮廓直径,图像裁剪窗口参 数,灰度图像二值化阔值,国药准字批号文字区域的行列像素范围,W上数据可供识别控制 软件的识别指令代码调用。
[0081] 传送排列装置用于将安瓶药品按一定间距对正到传送带中屯、线上并将其W匀速 运送经过识别区。传送排列装置由运动控制器、渐缩口闽口和传送带组成;
[0082] 所述的运动控制器用于控制传送带电机的转速和渐缩口闽口的开闭控制。
[0083] 所述的渐缩口闽口用于将安瓶药品按一定间距对正到传送带中屯、线上并,W满足 后续识别程序对安瓶的位置要求。
[0084] 参阅图2,所述的渐缩口闽口由一块底板1、两块支座2;9、两块形状对称的斜坡面 闽口滑块6;7、特制的丝杠4、两根圆柱型导轨3;5和步进电机8组成;
[0085] 进一步地,所述渐缩口闽口的组成部分具有如下结构特征:
[0086] 1)底板1是一块矩形板片,作为整个渐缩口闽口的支撑件;
[0087] 2)两块支座的纵向视图为两块左右形状对称的L型弯板,支座高度大于斜坡滑块 的高度,运便于传送带从滑块下端通过。
[0088] 3)导轨是圆柱形导轨,用于斜坡面滑块的滑动导向;
[0089] 4)特制的丝杠4左半段左旋(或右旋),右半段右旋(或左旋);丝杠4转动可W带动 斜坡面滑块始终做相向或者远离的方向运动;
[0090] 5)斜坡面闽口滑块由直角Ξ棱柱和上端与丝杠和长方体形安装块组成。其中直角 Ξ棱柱端面非直角边对应的棱柱面为导向斜坡面;长方体形安装块上前后各有两个半圆柱 状开口导向面,另外,在长方体安装块中间各有两个螺纹通孔;直角Ξ棱柱的高度不能低于 全部待识别安瓶的最大高度,保证安瓶的正常通过。
[0091] 进一步地,所述渐缩口闽口的组成部分具有如下装配特征:
[0092] 所述底板1与两块支座固定连接;
[0093] 所述两根导轨固定且平行地安装在两块支座上端;
[0094] 所述丝杠4轴向固定在支座上端,并且与导轨平行等高并且位于两根导轨中间;丝 杠4应可转动;
[00M]所述步进电机8安装在支座9上端,步进电机8的转子与丝杠4做同轴刚性连接;丝 杠4
在步进电机8驱动下带动做同步回转运动。
[0096]所述的斜坡面滑块悬挂在丝杠和导轨上;斜坡面闽口滑块6活动安装在丝杠4右半 段,斜坡面闽口滑块7活动安装在丝杠4左半段;斜坡面闽口滑块各自的半圆柱开口导向面 与导轨相配合构成滑动副,斜坡面闽口滑块各自的内螺纹同丝杠螺纹相配合构成螺旋传动 畐IJ;斜坡面滑块关于丝杠4的中间横断面对称安装,并且保持斜坡面滑块的斜坡面形成一个 如图3所示的卿趴口 Θ;斜坡面闽口滑块在丝杠4转动W及两根圆柱型导轨导向作用下始终 沿着导轨做相互靠近或者远离的方向移动,实现渐缩口闽口的开合;渐缩口最大开度由支 座间距所限制;
[0097] 所述的渐缩口闽口根据安瓶信息录入和安瓶实际识别过程采用两种不同的工作 模式:
[0098] (1)安瓶信息录入模式
[0099] 由于预先不知道安瓶直径,所W在人工放置到传送带上的安瓶抵达闽口口处后, 两只闽口滑块在步进电机的驱动下需缓慢打开,结合传送带的驱动作用,实现将安瓶对中 到传送带中屯、线上。闽口达到最大开度后闭合闽口;
[0100] (2)安瓶信息识别模式
[0101] 根据结构化查询语言SQL数据库中预存的安瓶安瓶直径,通过步进电机控制该漏 斗状闽口的开度,使漏斗闽口的开度比该药品安瓶直径稍大O.lmm-0.5mm(具体参数可W通 过前述人机交互设备输入设定),运便于物体通过闽口筛选并在误差很小的情况下实现在 传送带上的对中。每次有安瓶通过闽口都要关闭闽口 1到2秒钟左右(具体参数可W通过前 述人机交互设备输入设定),防止安瓶密集排列影响后续电荷禪合元件CCD相机采集图像。 此外,利用渐缩口闽口的斜坡导向和闽口开度的限制作用,使直径小于等于目标值的安瓶 可W利用漏斗斜面的导向作用通过闽口,其中尺寸较小的安瓶将会在后续轮廓提取识别过 程被检出,尺寸正确的安瓶将会被对中到传送带中屯、线上,进入后续识别环节;安瓶尺寸明 显偏大的错误药品被阻挡在闽口之外。
[0102] 所述的传送带是将药品安瓶匀速缓慢运送通过识别区域的装置。传送带宽度值不 大于150mm,长度1000mm至150〇1111]1,速度2〇1]11]1/3至4〇1]11]1/3(具体参数可^通过前述人机交互 设备输入设定)。传送带表面要求光滑平整,应允许安瓶能相对于传送带表面产生一定平移 滑动。为防止安瓶脱落,在传送带的输送端到渐缩口闽口的范围内的传送带两侧安装有 30mm高的隔离板。
[0103] 渐缩口闽口位于传送带输送端10cm至30cm处,W容纳预先放置好的大量安瓶。渐 缩口闽口横跨在传送带上,并且与传动带间垂直间隙应不大于5mm。
[0104] 图像集采与处理装置用于采集药品安瓶图像,W及利用图像识别技术,从采集到 的图像中识别出目标文字。图像采集与处理装置由图像采集相机组、识别区位置传感器(反 射板式光学传感器)、四通道图像采集卡、图像处理计算机组成;
[0105] 所述的图像采集相机组由四个电荷禪合元件CCD相机组成(相机的分辨率不低于 800X400,帖率不低于100帖/秒),该装置W四个电荷禪合元件CCD相机作为正方形的四个顶 点排列在中屯、线两侧,电荷禪合元件CCD相机镜头光屯、间的对角连线交点即为识别区的中 屯、点,在安瓶抵达识别中屯、点时,开始圆柱表面图像的环绕采集。四台电荷禪合元件CCD相 机的四路图像数据通过一根统一的电缆线线经过图像传感器与采集系统连接接口 (Camlink接口)连接到四通道图像采集卡上,W实现数据的无损高速传输;
[0106] 所述的识别区位置传感器(型号为FR20RG1-PSM4的反射板式光学传感器)正对识 别中屯、点,用于监测安瓶是否抵达和离开识别区。设定光导通时识别区位置传感器输出为 低电平,运样当检测到安瓶边缘抵达识别区中屯、点位置时,识别区位置传感器输出上升沿 电平,此时电荷禪合元件cc时扣几被触发拍照;当检测安瓶边缘离开识别中屯、点时,识别区 位置传感器输出下降沿电平,终止电荷禪合元件CCD相机拍照。该识别区位置传感器通过 USB接口连接到图像处理计算机;
[0107] 所述的四通道图像采集卡具有四通道图像采集功能,用于采集并编码电荷禪合元 件CCD相机所拍摄的视频图像,并将其传送到图像处理计算机。为提高数据传输速度,所述 的编码还包含了图像压缩的功能。具体的是将四只电荷禪合元件CCD相机所拍摄的每帖图 像删减成1.5至2倍安瓶轮廓宽度值的图像,裁剪参数可W通过前述识别控制软件输入设 定。四通道图像采集卡通过周边元件扩展接口扩展插槽(PCI插槽)安插在图像处理计算机 主板上,W便数据快速读入内存;
[0108] 所述的图像处理计算机,用于处理图像数据。抽取各路视频图像的中间时刻的图 像作为识别有效图像(其余图像序列删除),去除图像的运动模糊,提取出安瓶轮廓特征信 息后,按照圆柱面展开算法,将安瓶轮廓范围内的图像展开成平面图像,再根据已录入的识 别文字区域相对于图像垂直方向上的位置,进一步快速找到并提取出安瓶标签上的一部分 国药准字批号。将四组不同角度图像中的所识别出的部分国药准字批号做拼接,将拼接结 果同结构化查询语言SQL医用数据库中预存信息做比较,据此得出药品是否正确的识别结 果。
[0109] 报错分炼装置由报错控制器、报警器、指示灯和直流推力电磁铁组成。
[0110] 报错分炼装置用于根据药品安瓶的识别结果执行并指示相应的处理动作。对于识 别正确的药品,绿色指示灯亮起,报警装置不做其它任何动作;对于错误识别的药品,红色 指示灯亮起,报警器响起,同时推力电磁铁将可疑药品从传送带上顶掉;对于识别超时的药 品,黄色指示灯亮起,报警器响起,同时推力电磁铁将可疑药品从传送带上顶掉;
[0111] 所述的报警器,用于发生药品错误及系统故障时发出警报声;
[0112] 所述的指示灯包括红、黄、绿Ξ种颜色,用于分别提示药品错误、系统故障、系统正 常且药品正确Ξ种工况;
[0113] 所述的直流推力电磁铁(型号Φ25/50Τυ需要提供不低于2N的推力,用于顶掉传 送带上被识别为错误和未能在规定时间内识别的药品。推力电磁铁铁忍末段安装100mm长 的矩形塑料推板,推板长度方向与传送带平行,用W增大摘掉安瓶的几率;
[0114] 所述的报错控制器是一块8051单片机简易控制器,用于根据接收到的识别结果控 制报警器、指示灯和推力电磁铁的动作。报错控制器在系统工作过程中不断地查询来自识 别区位置传感器和来自系统主控制计算机的信号,W判断系统工作状态。在8051单片机内 预设定时器,该定时器W电荷禪合元件CCD相机拍照触发信号作为计时起点,使该计时长度 稍长于安瓶识别所耗时长(需预先统计正常识别程序耗时)。设计使推力电磁铁到识别区安 瓶识别区位置传感器距离等于该时长与传送带速度的乘积。运样发生系统超时及药品判错 时,8051单片机都在定时器计满时发出报警信号,并控制推力电磁铁恰好能够顶掉错误或 未被识别疑似错误的安瓶药品。具体的将针对不同的识别结果输出如下操作指令:当发生 药品错误时,红灯亮起,推力电磁铁直接将安瓶从传送带上顶掉,报警器发出报警声A;当发 生系统故障或系统识别超时未响应任意一种情况时,黄灯亮起,推力电磁铁直接将安瓶从 传送带上顶掉,报警器发出报警声B(A、B不同);系统正常、药品正确时,绿灯常亮。W上报错 控制过程不影响前述渐缩口闽口和传送带的正常运行。
[0115] 前述的传送排列装置位于整个系统的最前端,当中的运动控制器通过一根USB数 据线与系统主控制计算机相连接;图像采集与处理装置与系统主控制计算机W普通网线连 接构成局域网络;报错分炼装置通过一根USB数据线同系统主控制计算机相连接。另外报错 控制器还通过一根数据线同图像集采与处理装置中的识别区位置传感器相连接。系统内所 有用电器使用同一个系统电源接口。
[0116] 所述的圆柱表面文字识别系统具有两种工作模式:信息录入识别模式和批量识别 模式。
[0117] 所述的信息录入模式具有W下工作环节:
[0118] (1)在识别控制软件中选择信息录入识别模式,在人机交互界面下可W输入传送 带转速、渐缩口闽口步进电机转速、渐缩口闽口最大开度、采集图像裁剪窗口、灰度图像二 值化阔值等参数W及包括药品名称和国药准字批号的信息,上述参数自动存入结构化查询 语言S化医用数据库。
[0119] (2)人工将单个安瓶放置到传送带上;传送带将安瓶运达渐缩口闽口口处后;两只 闽口滑块在步进电机的驱动下需缓慢打开,结合传送带的驱动作用,实现将安瓶对中到传 送带中屯、线上,闽口口达到最大开度后闭合。
[0120] (3)识别区位置传感器检测到安瓶进入识别中屯、区后,激发四只高清电荷禪合元 件CCD相机连续拍照;识别区位置传感器检测到安瓶离开识别中屯、区后,终止四只高清电荷 禪合元件CCD相机拍照;所四只电荷禪合元件CCD相机拍
摄图像经由四通道图像采集卡存储 至图像处理计算机。筛选各路图像序列的中间时刻图像作为有效图像,将其余图像删除。
[0121] (4)拾取出图像中(圆柱体)安瓶轮廓,计算安瓶直径;将安瓶轮廓范围内的图像展 开成平面图像,在四张展平图像中查找"国药准字"字符或部分字符,并定位该字符所处的 图像列区间;将所提取出的安瓶直径和国药准字所处的图像列区间值存入结构化查询语言 S化医用数据库,信息录入结束。
[0122] 所述的批量识别模式具有W下工作环节:
[0123] (1)在识别控制软件中选择批量识别模式,在人机交互界面下可W输入待识别药 品名称或者药品的国药准字批号,系统自动调取结构化查询语言SQL医用数据库中预存的 有关传送带转速、渐缩口闽口步进电机转速、渐缩口闽口开闭周期、采集图像裁剪窗口、灰 度图像二值化阔值、国药准字批号文字区域的行列像素范围等参数。
[0124] (2)人工将粗略筛选的大量安瓶放置到传送带上;传送带将安瓶运达渐缩口闽口 口处;两只闽口滑块在步进电机的驱动下周期性的打开与闭合,结合传送带的移动,使安瓶 药品保证安瓶保持一定相互间距的同时,顺利对中到传送带中屯、线上。
[0125] (3)识别区位置传感器检测到安瓶进入识别中屯、区后,激发四只高清电荷禪合元 件CCD相机连续拍照;识别区位置传感器检测到安瓶离开识别中屯、区后,终止四只高清电荷 禪合元件CCD相机拍照;所四只电荷禪合元件CCD相机拍摄图像经由四通道图像采集卡存储 至图像处理计算机。筛选各路图像序列的中间时刻图像作为有效图像,将其余图像删除。
[0126] (4)拾取出图像中(圆柱体)安瓶轮廓,计算安瓶直径,将此数据与预存安瓶直径值 做比较,如果差值大于一定阔值,则直接判定药品错误,报错分炼装置报警并将该安瓶剔除 掉,后续识别程序终止;如果安瓶直径匹配正确,则继续进行后续程序,即将安瓶轮廓范围 内的图像展开成平面图像,根据预存的国药准字批号文字区域的行列像素范围,在四张展 平图像中查找"国药准字"字符或部分字符,依次按照逆时针的顺序将上述字符进行拼接, 将所得字符串同结构化查询语言SQL数据库中预存的药品国药准字批号进行比较,如果正 确匹配,则继续后续的人工或自动药品配制环节;如果匹配错误,则报错分炼装置报警,并 将错误药品剔除掉。同批安瓶药品的所有安瓶药品识别均按照(3)、(4)步骤依次重复进行。
[0127] 本发明还提供了一种圆柱表面文字识别系统的识别方法下面结合实施例进行说 明。
[0128] 参阅图4,本
【发明内容】
所述的圆柱表面文字识别系统的识别方法,包括W下步骤:
[0129] 1)用四只电荷禪合元件CCD相机围绕安瓶采集四张圆柱曲面图像A、B、C、D。
[0130] 2)裁剪图像A、B、C、DW去除图像边缘大部分多余的背景信息,再进行灰度变换和 二值化处理,得到图像A1、B1、C1、D1;
[0131] 3)设定一根长度为安瓶高度的1/2的竖直虚拟线段,使该线段在图像A1、B1、C1、D1 中自左向右自上而下移动,比对线段左右两侧的像点值是否全部或大部分发生越变,据此 确定出图像A1、B1、C1、D1中安瓶左右轮廓边界;
[0132] 4)依据步骤3)所求出的安瓶左右轮廓边界,根据小孔成像模型,确定安瓶直径,具 体计算公式如下:参阅图5
[0133]
[0134] R为待求安瓶半径,L为识别区中屯、点(安瓶圆屯0到镜头焦点距离,η是安瓶左右轮 廓间的横向像素个数,S是像素点的几何尺寸,d是镜头焦距到电荷禪合元件CCD相机成像面 S的距离。
[0135] 5)将图像41、81、(:1、01中安瓶左右轮廓范围内的图像内容按照圆柱面展平公式展 开得到图像A2、B2、C2、D2,算法的原理图参阅图5,具体公式如下:
[0141]其中arc表示与距离安瓶轴线第η与n+1像素点相对应的微元圆弧长度,R表示安瓶 半径,η表示该像素点距离中屯、线上像素点的点数,S表示像素点的几何尺寸,L为识别区中 屯、点(安瓶轴线巧Ij镜头焦点距离,d是镜头焦距到电荷禪合元件CCD相机成像面的距离。列 像点横向加宽倍数ratio是将图像中安瓶轴线两侧的列像点横向加宽倍数。具体的是分别 将图像41、81、(:1、01的每列都切分成单列,每列像点在通过相应的列像点横向加宽倍数 rat io放大后再拼接到一起,即得到所需的圆柱面展开图像A2、B2、C2、D2;
[0142] 6)在经过步骤5)展平后的图像42、82八2、02中捜寻"国药准"、"国药准字"或者"药 准字"Ξ种作为国药准字批号标识特征的字符组合,查询到任意上述字符组合后,记录"国 药准"、"国药准字"或者"药准字"Ξ种字符组合所在的图像42、82八2、02的像素行区间;在 该字符组的邻近右侧识别并记录W-位大写英文字母开头,后接数字的个数为C1的字符 串。
[01创 7)根据步骤6)中的所记录的"国药准"、"国药准字"或者"药准字"立种字符组合所 在的图像A2、B2、C2、D2的像素行区间,再依次在图像B2、C2、D2、A2中,从左侧查询"字"+9位 字符串、9位字符串或者部分字符串,记录该个数为C2的字符串;
[0144] 8)根据步骤6)查询到的字符结果,推断国药准字批号字符为"前C1位+未知的后 (9-C1)位",根据步骤7)查询到的字符结果,推断国药准字批号字符为"未知的前(9-C2)位+ 后C2位"。在前述两个都为9位的字符串当中的第(10-C2)到C1是重叠的位数,同时也作为校 验位。确定校验位正确后,所得出的"步骤6)中的第1到C1位字符+步骤7)中的第C1+C2-8到 第C2位字符"的字符串即为最终所要识别的安瓶药品标签上的国药准字批号。
[0145] 本发明实施例提供的基于图像识别技术的安瓶药品识别系统及方法,克服了传统 人工配发药品过程中易发的药品识别易疲劳及错误率高的缺点,并且相比较于条形码技术 及射频识别技术而言具有更简单的操作和更高的费效比;利用自动传送排列装自动进行药 品排序依次进入识别区,应用图像采集与处理单元对药品安瓶的轮廓及标签信息进行动态 采集、处理、识别,通过将安瓶轮廓与安瓶标签图像特征信息依次同数据信息库进行匹配, 识别速度快,准确率高,具有较高的推广使用价值。
【主权项】
1. 一种圆柱表面文字识别系统,其特征在于:由系统主控制计算机、传送排列装置、图 像采集与处理装置和报错分拣装置组成; 所述传送排列装置位于所述圆柱表面的文字识别系统的最前端,所述传送排列装置中 的运动控制器与系统主控制计算机相连接; 所述图像采集与处理装置与系统主控制计算机连接构成局域网络; 所述报错分拣装置与所述系统主控制计算机相连接; 所述报错分拣装置中的报错控制器与图像集采与处理装置中的识别区位置传感器相 连接。2. 根据权利要求1所述的一种圆柱表面文字识别系统,其特征在于: 所述系统主控制计算机内置有识别控制软件和结构化查询语言SQL医用数据库; 所述识别控制软件为用户提供人机交互界面,用户根据需要利用键盘、鼠标设置系统 参数;所述识别控制软件为图像采集与处理装置提供识别指令代码,根据图像处理返回的 识别结果指引报错分拣装置执行相应动作; 所述结构化查询语言SQL医用数据库系统用来存放和管理安瓶药品相关的识别数据, 包括与患者信息相对应的药品名称、国药准字批号、安瓶轮廓直径、图像裁剪窗口参数、灰 度图像二值化阈值、国药准字批号文字区域的行列像素范围,以上数据供所述识别控制软 件的识别指令代码调用。3. 根据权利要求1所述的一种圆柱表面文字识别系统,其特征在于: 所述传送排列装置还包括渐缩口闸门和传送带; 所述渐缩口闸门由底板(1)、两块支座(2;9)、两块形状对称的斜坡面闸门滑块(6;7)、 丝杠(4)、两根圆柱型导轨(3;5)和步进电机(8)组成; 所述底板(1)与两块支座(2;9)固定连接; 所述两根圆柱型导轨(3;5)平行固定在两块支座(2;9)上端; 所述的丝杠(4)轴向固定在两块支座(2;9)上端,并且与两根圆柱型导轨(3;5)平行等 尚; 两根圆柱型导轨(3;5)的轴线与丝杠(4)轴线平行,丝杠(4)位于两根圆柱型导轨(3;5) 中间; 所述步进电机(8)固定在支座(9)上端,步进电机(8)的转子与丝杠(4)做同轴刚性连 接; 所述的斜坡面闸门滑块(6;7)各自的半圆柱开口导向面与两根圆柱型导轨(3;5)相配 合构成滑动副,斜坡面闸门滑块(6;7)的内螺纹同丝杠螺纹相配合构成螺旋传动副,斜坡面 闸门滑块(6;7)在丝杠(4)转动以及两根圆柱型导轨(3;5)导向作用下始终沿着导轨(3;5) 做相互靠近或者远离的方向移动;斜坡面闸门滑块(6)活动安装在丝杠(4)右半段,斜坡面 闸门滑块(7)活动安装在丝杠(4)左半段; 两块形状对称的斜坡面闸门滑块(6;7)活动安装在丝杠(4)和两根圆柱型导轨(
3;5) 上;两块形状对称的斜坡面闸门滑块(6;7)沿着两根圆柱型导轨(3;5)做反方向的移动; 所述丝杠(4)的左半段与右半段旋向相反,相反的丝杠旋向使得丝杠在旋转时,两块斜 坡面闸门滑块(6;7)相互靠近或者远离的方向移动; 丝杠(4)在步进电机(8)驱动下做同步回转运动,受丝杠(4)的驱动,两块形状对称的斜 坡面闸门滑块(6;7)沿着两根圆柱型导轨(3;5)做平移运动,从而实现闸门开合;渐缩口最 大开度由两块支座(2; IO)间距所限制。4. 根据权利要求3所述的一种圆柱表面文字识别系统,其特征在于: 所述两块形状对称的斜坡面闸门滑块(6;7)由直角三棱柱和上端与丝杠(4)和两根圆 柱型导轨(3;5)配合的长方体安装块组成;其中直角三棱柱端面非直角边对应的棱柱面为 导向斜坡面;关于丝杠轴线垂直平分面对称安装的两块斜坡面闸门滑块(6;7)安装好之后 形成喇叭口 Θ,从而引导安瓶药品运动到闸门口处;直角三棱柱的高度高于全部待识别安瓶 的最大高度,从而保证所有待识别安瓶的正常通过;长方体安装块开设一个内螺纹孔,用于 与丝杠(4)配合,长方体安装块在内螺纹孔的两侧还开设有半圆柱面开口,用于与两根圆柱 型导轨(3;5)配合。5. 根据权利要求3所述的一种圆柱表面文字识别系统,其特征在于: 所述传送带宽度值小于或等于150mm,长度为1000 mm至1500mm,速度为20mm/s至40mm/ S ;传送带表面光滑平整,允许安瓶能相对于传送带表面产生一定平移滑动;在传送带的输 送端到渐缩口闸门的范围内的传送带两侧设有隔离板。 渐缩口闸门位于传送带输送端IOcm至30cm处,容纳预先放置好的安瓶;渐缩口闸门横 跨在传送带上,并且与传动带间垂直间隙小于或等于5mm。6. 根据权利要求1所述的一种圆柱表面文字识别系统,其特征在于: 图像采集与处理装置还包括识别区位置传感器、图像采集相机组、四通道图像采集卡、 图像处理计算机; 所述图像采集相机组由四个电荷耦合元件CCD相机组成,所述图像采集相机组以四个 电荷耦合元件CCD相机作为正方形的四个顶点排列在中心线两侧,电荷耦合元件CCD相机镜 头光心间的对角连线交点为识别区的中心点,在安瓶抵达识别中心点时,开始圆柱表面图 像的环绕采集;四台电荷耦合元件CCD相机四路图像数据通过一根电缆线经过图像传感器 与采集系统连接接口连接到四通道图像采集卡上,以实现数据的无损高速传输; 所述识别区位置传感器正对识别中心点,用于监测安瓶是否抵达和离开识别区;设定 光导通时传感器输出为低电平,当检测到安瓶边缘抵达识别区中心点位置时,识别区位置 传感器输出上升沿电平,此时电荷耦合元件CCD相机被触发拍照;当检测安瓶边缘离开识别 中心点时,识别区位置传感器输出下降沿电平,终止相机拍照;识别区位置传感器通过USB 接口连接到图像处理计算机; 所述四通道图像采集卡具有四通道图像采集功能,用于采集并编码电荷耦合元件CCD 相机所拍摄的视频图像,并将其传送到图像处理计算机;所述的编码还包含了图像压缩的 功能,将四台电荷耦合元件CCD相机所拍摄的每帧图像删减成1.5至2倍安瓶轮廓宽度值的 图像,裁剪参数通过前述识别控制软件输入设定;四通道图像采集卡通过周边元件扩展接 口扩展插槽PCI插槽安插在图像处理计算机主板上,以便数据快速读入内存; 所述的图像处理计算机,用于处理图像数据;抽取各路视频图像的中间时刻的图像作 为识别有效图像,其余图像序列删除,去除图像的运动模糊,提取出安瓶轮廓特征信息后, 按照圆柱面展开算法,将安瓶轮廓范围内的图像展开成平面图像,再根据已录入的识别文 字区域相对于图像垂直方向上的位置,进一步快速找到并提取出安瓶标签上的一部分国药 准字批号;将四组不同角度图像中的所识别出的部分国药准字批号做拼接,将拼接结果同 结构化查询语言SQL医用数据库中预存信息做比较,据此得出药品是否正确的识别结果。7. 根据权利要求1所述的一种圆柱表面文字识别系统,其特征在于: 所述报错装置还包括报警器、指示灯和直流推力电磁铁; 所述报警器,用于发生药品错误及系统故障时发出警报声; 所述指示灯包括红、黄、绿三种颜色,用于分别提示药品错误、系统故障、系统正常且药 品正确三种工况; 所述直流推力电磁铁的铁芯末段安装塑料推板,矩形塑料推板长度方向与传送带平 行; 所述报错控制器是一块8051单片机简易控制器,用于根据接收到的识别结果控制报警 器、指示灯和推力电磁铁的动作; 所述报错控制器在系统工作过程中不断地查询来自识别区位置传感器和来自系统主 控制计算机的信号,以判断系统工作状态; 在8051单片机内预设定时器,该定时器以电荷耦合元件CCD相机拍照触发信号作为计 时起点,使该计时长度稍长于安瓶识别所耗时长;设计使推力电磁铁到识别区安瓶位置传 感器距离等于该时长与传送带速度的乘积;发生系统超时及药品判错时,单片机在定时器 计满时发出报警信号,并控制推力电磁铁能够顶掉错误或未被识别疑似错误的安瓶药品。8. -种如权利要求1所述的圆柱表面文字识别系统的识别方法,其特征在于,包括以下 步骤: 1) 围绕安瓶采集四张圆柱曲面图像A、B、C、D; 2) 裁剪图像A、B、C、D以去除图像边缘多余的背景信息,再进行灰度变换和二值化处理, 得到图像A1、B1、C1、D1; 3) 设定一根长度为安瓶高度的1/2的竖直虚拟线段,使该线段在图像Al、B1、C1、D1中自 左向右自上而下移动,比对线段左右两侧的像点值是否全部或大部分发生越变,据此确定 出图像六131、(:1、01中安瓶左右轮廓边界; 4) 依据步骤3)所求出的安瓶左右轮廓边界,根据小孔成像模型,计算安瓶直径; 5) 将图像六1、81、(:1、01中安瓶左右轮廓边界范围内的像点按照圆柱面展平公式展开得 到图像 A2、B2、C2、D2; 6) 在经过步骤5)展平后的图像六2、82、02、02中搜寻"国药准"、"国药准字"或者"药准 字"三种作为国药准字批号标识特征的字符组合,查询到任意上述字符组合后,记录"国药 准"、"国药准字"或者"药准字"三种字符组合所在的图像六2、82、02、02的像素行区间;在该 字符组的邻近右侧识别并记录以一位大写英文字母开头,后接数字的个数为Cl的字符串; 7) 根据步骤6)中的所记录的"国药准"、"国药准字"或者"药准字"三种字符组合所在的 图像A2、B2、C2、D2的像素行区间,依次在图像B2、C2、D2、A2中,从左侧查询"字" +9位字符串、 9位字符串或者部分字符串,记录该个数为C2的字符串; 8) 根据步骤6)查询到的字符结果,推断国药准字批号字符为"前Cl位+未知的后(9-C1) 位"; 根据步骤7)查询到的字符结果,推断国药准字批号字符为"未知的前(9-C2)位+后C2 位"; 在前述两个都为9位的字符串当中的第(I0-C2)到C1是重叠的位数,同时也作为校验 位; 确定校验位正确后,所得出的"步骤6)中的第1到Cl位字符+步骤7)中的第C1+C2-8到第 C2位字符"的字符串为最终所要识别的安瓶药品标签上的国药准字批号。9. 根据权利要求8所述的一种圆柱表面文字识别系统的识别方法,其特征在于: 所述确定安瓶直径,具体计算公式如下:R为待求安瓶半径,L为识别区中心点到镜头焦点距离,η是安瓶左右轮廓间的横向像素 个数,s是像素点的几何尺寸,d是镜头焦距到相机成像面的距离。10. 根据权利要求8所述的一种圆柱表面文字识别系统的识别方法,其特征在于: 所述圆柱面展平公式如下:其中arc表示与距离安瓶轴线第η与n+1像素点相对应的微元圆弧长度,R表示安瓶半 径,η表示该像素点距离中心线上像素点的点数,s表示像素点的几何尺寸,L为识别区中心 点到镜头焦点距离,d是镜头焦距到相机成像面的距离,列像点横向加宽倍数ratio是将图 像中安瓶轴线两侧的列像点横向拉伸的倍数。
【专利摘要】本发明属于文字识别技术领域,涉及圆柱表面文字识别系统及方法;克服现有技术存在的无法直接识别圆柱面印刷体文字,以及对圆柱面印刷体文字识别理论欠缺的问题;圆柱表面的文字识别系统,由系统主控制计算机、传送排列装置、图像采集与处理装置和报错分拣装置组成;圆柱表面文字识别方法,步骤如下:1)采集四张圆柱面图像;2)对图像做预处理,得到图像A1、B1、C1、D1;3)确定图像中圆柱体左右轮廓边界;4)计算圆柱体直径;5)对图像A1、B1、C1、D1做平面化展开,得到图像A2、B2、C2、D2;6)在A2、B2、C2、D2中查找前半段特征字符;7)在B2、C2、D2、A2中查找后半段相应的特征字符;8)拼接前后半段特征字符,识别结束。<!-- 2 -->
【IPC分类】G06K9/32, B65G47/28
【公开号】CN105488507
【申请号】CN201610044347
【发明人】巩明德, 张显明, 胡孔明
【申请人】吉林大学
【公开日】2016年4月13日
【申请日】2016年1月22日