一种双视角立体视觉引导的电力设备自主巡检方法

本发明属于图像处理，具体涉及一种双视角立体视觉引导的电力设备自主巡检方法。

背景技术：

1、随着智能化电网建设的发展，输电线路走廊的覆盖范围越来越广泛，需要对输电线路的离地高度作定期检查。

2、目前的离地高度检测方式主要采用的是单目相机拍摄电力线图像和地物图像之后进行图像处理，该种方式的缺陷主要在于，相机拍摄的电力线图像和地物图像都是平面图像，电力线图像和地物图像均不具备深度，因此需要将电力线图像和地物图像转换至世界坐标，但是，由于电力线图像和地物图像均采用单目相机拍摄，所以转换为世界坐标后存在位置不确定的情况，造成离地高度监测困难的情况。

技术实现思路

1、本发明的一种双视角立体视觉引导的电力设备自主巡检方法，主要是采用双目摄像机拍摄地物图像和电力线图像，经过合理地图像转换，让电力线和地物在世界坐标系下的坐标更加准确，简单化离地高度的监测过程。

2、为了实现上述目的，本发明的一种双视角立体视觉引导的电力设备自主巡检方法，包括以下步骤：

3、s1：在某一时段dt中，利用上双目摄像机的左右两个摄像头分别拍摄电力线图像；在左右两个摄像头拍摄的多张电力线图像中，分别选出最准确的电力线图像，记为p’left-best和p’right-best；

4、s2：在p’left-best和p’right-best的电力线图像中，分别找到一个像素值相等的点，该两个点组成“点对”，设共组成m电个“点对”；遍历所有的“点对”，获得各个“点对”中两个点的坐标，计算各个“点对”中两个点之间的距离，找到“点对”中两个点距离最小的“点对”，记该“点对”中的两个坐标为(xln,yln)和(xlm,ylm)，选择该“点对”中其中一个坐标，并将该坐标转换为世界坐标下的坐标，记为坐标一；

5、s3：在某一时段dt中，利用下双目摄像机的左右两个摄像头分别拍摄地物图像，在下双目摄像机的左右两个摄像头拍摄的多张地物中，分别选出最准确的地物图像，记为和

6、s4：利用特征点检测器superpoint得到和的关键点和描述符，再通过特征匹配方法superglue得到软部分分配矩阵，找到软部分分配矩阵中精度匹配点最高的两个点，将其中一个点在相机坐标下的坐标转换为三维坐标；

7、s5：将s4中的三维坐标，转换为世界坐标系下坐标，记为坐标二；获得坐标一和坐标二的z轴坐标差值绝对值，获得离地高度h离地。

8、进一步地，步骤s1包括以下步骤：

9、s1.1：对s1中左摄像头拍摄的多张电力线图像，以及右摄像头拍摄的多张电力线图像，分别输入到resnet18神经网络中，结合注意力模块，得到多张电力线的粗略检测结果；

10、具体包括以下步骤：

11、s1.1.1：对于左、右摄像头拍摄的任意一张电力线图像，获取电力线图像的图像特征x∈rc×h×w；

12、resnet18神经网络将电力线图像的图像特征x∈rc×h×w沿宽度维度和高度维度聚合；

13、分别在宽度和高度下进行编码，得到宽度和高度下的注意力图：xw∈rc×h×1和xh∈rc×1×w；

14、s1.1.2：将注意力图xw转置后与注意力图xh连接，然后进行卷积操作，获得融合后注意力图xf；

15、s1.1.3：将融合后注意力图xf压缩到原先电力线图像特征x∈rc×h×w相同的大小，得到压缩后注意力图x'f∈rc×h∈w；再采用多层感知器对x'f∈rc×h×w增强后非线性处理，得到增强注意力向量sf∈rc×(h×w)；沿高度维度将增强注意力向量sf划分成两个向量，分别记为sw∈rc×w和sh∈rc×w；将sw∈rc×w和sh∈rc×w卷积后再非线性处理，获得向量s'h和s'w；

16、s1.1.4：将向量s'h和s'w扩展到与原先电力线图像特征x∈rc×h×w相同的大小，并通过权重映射，通过残差方式输出特征xout；resnet18神经网络对输出特征xout解码，解码后得到电力线的粗略检测结果pc；

17、s1.2：采用金字塔优化模块prm，提取粗略检测结果pc的边缘并进行细化，将细化后的边缘与粗略检测结果pc进行比较，得到残差图p’e；再将残差图p’e结合粗略检测结果pc，得到边缘映射pe；同时提取pc的边界和区域并进行细化，将细化后的边界和区域图像与粗略检测结果pc比较，得到残差图p’d，残差图p’d结合pc得到细化结果pd；

18、将pc、pe和pd视为图像p，采用损失函数对pc、pe和pd监督，获得s1中电力线图像的总损失；

19、s1.3：循环s1-s3，分别获得左、右摄像头拍摄的所有电力线图像的总损失；

20、在左摄像头拍摄的所有电力线图像中找出总损失最小的电力线图像，记为p’left-best；

21、在右摄像头拍摄的所有电力线图像中找出总损失最小的电力线图像，记为p’right-best。

22、进一步地，步骤s2中包括以下步骤：

23、s2.1：将p’left-best和p’right-best均经过腐蚀和膨胀操作减薄到单像素宽度；

24、s2.2：计算(xln,yln)和(xlm,ylm)视差，公式为：

25、s2.3：将(xlm,ylm)转换为相机坐标系下的齐次坐标，公式为：

26、

27、其中，(x,y,z)表示(xlm,ylm)在相机坐标系下的齐次坐标，w表示齐次因子，f表示上双目摄相机焦距，(x0,y0)为上双目摄相机中左摄像头的原点坐标；b为上双目摄像机中左右两个摄像头之间的基线距离；相机坐标系下的三维坐标为：(xc,yc,zc)表示转换后的三维坐标；

28、s2.4：将转换为世界坐标下的坐标。

29、进一步地，步骤s3包括以下步骤：

30、s3.1：对s3中左摄像头拍摄的任意一张地物照片，以及右摄像头拍摄的任意一张地物照片，分别利用resnet18神经网络提取地物图像的多级特征，增强图像的高级特征；

31、具体包括以下步骤：

32、s3.1.1：resnet18神经网络对该地物图像提取多级特征，记为fm，m∈{1,2,3,4,5}；将f5输入全局模块中的空洞空间金字塔池模块提取多尺度特征f∈rh×w×c；

33、s3.1.2：通过组非局部模块将多尺度特征f∈rh×w×c分别嵌入到键、值和查询空间中；公式为：

34、fθ＝f×wθ，fφ＝f×wφ，fg＝f×wg

35、式中，×表示矩阵乘法算子；fθ,fφ,fg分别为f在键、值和查询空间中的嵌入结果，wθ、wφ和wg分别为f在fθ,fφ,fg上对应的嵌入向量；

36、将fθ、fφ和fg沿通道维度进行分组，设第k组的分组向量：

37、

38、式中，num_group表示分组数量；k∈{1,2,……，t}；c’表示通道总数；

39、s3.1.3：设ok∈rh×w×t是第k组的输出特征，将分组向量整合，得到整合向量o，公式为：

40、

41、式中，δ为非线性激活函数，cat[*,*]为连接操作；

42、s3.1.4：结合整合向量o和多尺度特征f，计算最终输出特征，公式为：

43、fglobal＝f+owc

44、式中，wc表示权重矩阵，通过随机初始化或预训练的方式得到初值；

45、s3.2：将最终输出特征fglobal输入局部模块，通过卷积块-最大池化-卷积块操作得到各信道的权值图m，然后经过上采样和激活函数处理，得到最终权重图m’，生成最终全局-局部模块增强后的高级特征fout，公式为：

46、

47、s3.3：将低级特征f2、f3和f4逐渐与高级特征fout融合，融合后进行解码，得到解码后的输出结果将发送到分类器模块，生成具有类数通道的特征fd；

48、s3.4：循环s3.1-s3.3，获得左摄像头拍摄所有地物图像的具有类数通道的特征；也获得右摄像头拍摄所有地物图像的具有类数通道的特征；

49、s3.5：依据二值交叉熵损失函数监督训练，找到左摄像头拍摄所有地物图像中类数通道的特征最多的地物图像，记为找到右摄像头拍摄所有地物图像中类数通道的特征最多的地物图像，记为

50、进一步地，步骤s4包括以下步骤：

51、s4.1：将和分别输入特征点检测器superpoint进行编码，编码后分别送入特征点解码器和描述符解码器，得到左右图像的关键点和以及对应的描述符

52、具体包括以下步骤：

53、s4.1.1：将压缩到压缩到再将softmax激活函数分别应用在65个通道维度上，删除非特征点，保留潜在具有目标信息的关键点，得到和最后经过亚像素卷积层重塑图像，输出概率图i'l'eft_best∈rh×w和i'r'ight_best∈rh×w；

54、s4.1.2：i'l'eft_best和i'r'ight_best的每一个像素值都以概率的形式表示，分别选出其中概率最大的像素点，并在和中找到对应像素点作为关键点和其中η＝{1,2,……,mleft},χ＝{1,2,……,nright}，mleft和nright为左右两个图像和的像素点总数；

55、s4.1.3：在描述符解码器中，将特征点解码器输出的i'l'eft_best∈rh×w和

56、i”right_best∈rh×w分别压缩到和再对bleft-best和bright-best进行上采样和l2范数归一化，生成关键点和对应的描述符

57、s4.2：将左右图像的关键点和以及对应的描述符作为输入，通过注意图神经网络，其中关键点和先经过关键点编码器合成pη，再采用多层感知器(mlp)分别将pη与描述符和整合，得到特征点的匹配描述子fia和fib；

58、s4.3：在最佳匹配层，根据fia和fib对地物图像和中的各个像素点的匹配程度进行打分，最终得到匹配得分矩阵si,j∈rm×n；

59、s4.4：采用辛克霍恩算法来最大化总分数，得到软部分分配矩阵p∈[0,1]m×n；公式如下：

60、p＝σi,jsi,jpi,j；

61、pi,j表示左图像中的第i个特征点与右图像中的第j个特征点在匹配得分矩阵si,j中对应位置的值；

62、s4.5：找到软部分分配矩阵p∈[0,1]m×n中匹配程度最高的两个点，分别记为选择点计算三维坐标，公式为：

63、

64、式中，(xi,yi,zi)表示的三维坐标；表示下双目摄相机的原点坐标；blow和flow分别表示下双目摄相机中基线距离和焦距。

65、有益效果：

66、本发明通过双视角立体视觉模块中上、下两个双目摄像机协作，来同步获取和处理来自两个视角的电力线图像与地物图像，识别并定位电力线和地面物体的位置，实现对电力线离地高度的自动检测和实时测量，判断输电线路走廊的安全性。

67、本发明所使用的金字塔优化模块充分对电力线图像边界和区域进行细化，在电力线粗检测结果的基础上融合了边界和区域细化结果，并加入损失函数进行监督，该方法能够检测到更多的高层语义线索，提高电力线的提取精度。

68、本发明所使用的特征点检测器和特征匹配方法属于轻量级算法，计算量小，操作简便，可行性强，并且在目标分类方面具有较高精度，能够有效分类地面物体，帮助实现电力线离地高度的实时检测。

技术特征：

1.一种双视角立体视觉引导的电力设备自主巡检方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种双视角立体视觉引导的电力设备自主巡检方法，其特征在于，步骤s1包括以下步骤：

3.根据权利要求2所述的一种双视角立体视觉引导的电力设备自主巡检方法，其特征在于，步骤s2中包括以下步骤：

4.根据权利要求3所述的一种双视角立体视觉引导的电力设备自主巡检方法，其特征在于，步骤s3包括以下步骤：

5.根据权利要求4所述的一种双视角立体视觉引导的电力设备自主巡检方法，其特征在于，步骤s4包括以下步骤：

技术总结
本发明的一种双视角立体视觉引导的电力设备自主巡检方法，属于图像处理技术领域，包括S1：上双目摄像机拍摄电力线图像中选出最准确电力线图像；S2：两个最准确的电力线图像中找到点对中两点距离最小的点对；选择该点并转换为世界坐标，记为坐标一；S3：下双目摄像机拍摄地物中选出最准确地物图像；S4：得到关键点和描述符后得到软部分分配矩阵，找到软部分分配矩阵中精度匹配点最高的两个点，将其中一点转换为三维坐标；S5：将三维坐标转换为世界坐标，记为坐标二；根据坐标一和坐标二获得离地高度。该方法采用双目摄像机对电力线图像和地物图像进行处理，能够让电力线和地物在世界坐标系下的坐标更加准确，简单化离地高度的监测过程。

技术研发人员：孟千翔,马云鹏,余志宏,周亚琴,黄雨,韩鑫宇,刘洋,张一帆
受保护的技术使用者：河海大学
技术研发日：
技术公布日：2024/9/23