基于语义分割及神经辐射场的绝缘子三维建模方法及系统与流程
本发明属于数字图像处理，更具体地，涉及一种基于语义分割及神经辐射场的绝缘子三维建模方法及系统。
背景技术：
1、绝缘子是电力系统重要的组成部分，其安全性及稳定性决定了电力系统的安全稳定的运行，针对绝缘子的三维重建、三维建模技术的研究也被大量提上日程。对绝缘子的三维建模可以为后期对绝缘子进行数字孪生打下基础。当前针对绝缘子的三维建模方法的研究较少，研究主要分为手动建模及自动建模两类，其中自动建模以最近兴起的神经辐射场技术居多。这类方法相较于手动建模及其他建模方法具有建模自动化程度高、所需数据集较少、容易实现等优点，但也容易受到拍摄时复杂的背景的干扰。
2、目前对绝缘子进行建模的方法，主要包括以下三种：
3、第一种是采用虚幻引擎、unity引擎等三维建模软件进行人工建模，根据设计图纸及实测参数进行绘制；第二种是采用激光雷达对绝缘子进行扫描，构建三维点云模型，通过对三维点云数据进行处理来构建三维模型；第三种是采用神经辐射场进行建模，通过对绝缘子采集多张图片，根据图片的图像信息及位姿信息进行物体场景的还原。
4、现有的对绝缘子进行三维重建的方法存在以下缺点：
5、1.采用传统建模进行三维重建的方法，建模速度较慢，且人力资源消耗大，很难做到快速精细建模，且对操作人员的技术要求较高。
6、2.采用激光点云建模，激光雷达的成本较高，且生成的点云容易出现漂移的情况，可靠性较低。
7、3.只采用神经辐射场技术进行建模的方法，易受背景的干扰，大量算力消耗在对背景的重建上，导致了大量的无意义算力损耗，效率较低且对重建使用的计算机性能要求较高。
8、现有技术文件1(cn115393410a)的不足之处在于，本发明与其显著区别在于本发明为利用语义分割技术实现图像背景剔除，解决神经辐射场由于背景干扰出现的建模精度交叉的问题，而现有技术文件1则是利用语义分割级神经辐射场技术实现对图像的深度估计问题；
9、现有技术文件2(cn116958446a)的不足之处在于，其为利用语义分割和神经辐射场实现少样本的三维重建，本发明与其显著区别在于本发明为利用语义分割技术实现神经辐射场的高精度建模，而技术文件2则是利用语义分割和神经辐射场技术解决三维重建样本少的问题；
10、现有技术文件3(cn117274596a)的不足之处在于，其为利用神经辐射场进行特征提取而后通过机器学习策略进行物品分割，旨在提高分割的准确率，本发明与其显著区别在于本发明着重于利用图像分割方法提升神经辐射场建模的精度而非利用神经辐射场提高图像分割的精度；
11、现有技术文件4(cn117058379a)的不足之处在于，其为利用神经辐射场卷积层改进点云语义分割方法，实现高精度的点云语义分割，本发明与其显著区别在于本发明着重于利用语义分割方法来从复杂图像中提取目标图像，从而提升神经辐射场建模的精度，而非利用神经辐射场提高图像语义分割的精度，同时本发明为针对图像领域的研究并非针对点云领域的发明。
12、绝缘子作为一类特定的识别对象，与通用的“语义分割+神经辐射场”存在明显区别，绝缘子由于拍摄时背景较为复杂，直接进行建模很容易出现背景干扰的建模精度的境况，进行针对绝缘子的分割后再建模可以有效地提升神经辐射场建模的精度。
技术实现思路
1、为解决现有技术中存在的不足，本发明提供一种基于语义分割及神经辐射场的绝缘子三维建模方法。
2、解决数字孪生场景下绝缘子高精度三维建模的需要，使用从多个角度拍摄的绝缘子图像，通过语义分割模型对图像中的绝缘子进行分割，提取出仅有绝缘子的图像，去除背景等影响，而后使用神经辐射场技术对图像进行三维重建，形成绝缘子的三维模型，适用于数字孪生场景下的绝缘子高精度建模。
3、本发明采用如下的技术方案。
4、本发明的第一方面提供了一种基于语义分割及神经辐射场的绝缘子三维建模方法，其特征在于，包括以下步骤：
5、步骤1，使用相机在不同位置和角度连续拍摄待建模绝缘子对象，获取多个角度的图像数据；
6、步骤2，将采集到的图像数据输入语义分割算法网络，提取绝缘子的轮廓，生成无背景的绝缘子图像；
7、步骤3，对步骤2得到的绝缘子图像进行特征提取，使用算法匹配特征点，计算相机位姿图和稀疏点云；
8、步骤4，将相机姿态、稀疏点云以及语义分割后的绝缘子图像输入神经辐射场网络，得到绝缘子三维模型。
9、优选地，步骤1中，所述拍摄待建模绝缘子对象包括使用相机于不同角度，同一水平面的角度环绕式对需要进行建模的绝缘子对象间隔15°拍摄24张图像，形成数据集。
10、优选地，步骤2具体包括：
11、将步骤1图像形成的数据集，投入已加载预训练权重的语义分割网络，对图像中的各个像素点进行分类，提取识别为绝缘子的聚集性像素点，勾勒轮廓，形成没有背景的单绝缘子图像。
12、优选地，所述语义分割算法网络的结构以输入图像为起点，经过深度卷积神经网络dcnn处理，抽取图像的关键特征；
13、在处理过程中，一支网络分支通过1×1卷积层，经过拼接concat操作，连接到3×3卷积层，进行上采样，用于提取和保留图像的全局信息；
14、另一支网络分支通过1×1卷积层和多个3×3卷积层以及图像池化image pooling操作，通过特征拼接concat将各层特征组合；
15、通过1×1卷积层处理后，再经过上采样操作，与上述分支的结果拼接concat，然后经过3×3卷积层进行处理，整个网络的输出经过上采样，形成语义分割后的图像。
16、优选地，步骤3具体包括：
17、步骤3.1，对图片进行特征提取，使用二进制鲁棒不变可扩展关键点算法，在不同的尺度空间上进行特征点查找，获得关键点；
18、步骤3.2，基于得到输入图像的特征点，计算图片中各个关键点的距离，小于设定的阈值则进行匹配；
19、步骤3.3，基于得到匹配特征点，将特征点与相机的参数输入sfm算法，计算得到稀疏点云及相机位姿图。
20、优选地，步骤3.1中，所述关键点是通过二进制鲁棒不变可扩展关键点算法在图像中检测到的显著点，特征点是基于关键点提取出的描述符用于匹配和识别，特征点包含关键点以及其周围的局部图像信息，关键点是特指算法检测到的位置，而特征点包含关键点的位置及特征描述。
21、步骤3.3中，所述每个匹配的特征点参数格式如下：
22、r(t)＝ro+trd
23、其中，ro表示给定光线始发地点，rd表示光线方向，t表示深度值。
24、优选地，步骤4中，基于步骤3得到的相机姿态及稀疏点云(x,y,z,σ)，输入到已加载预训练权重的全连接神经网络中，输出每个点的颜色(r,g,b)、及体素密度值σ。
25、优选地，所述全连接神经网络结构由九个全连接层组成，每一层通道数为128，且激活函数均为relu激活函数，在第五个全连接层通过条链，将输入数据拼接到第五个全连接层的输出，第九个全连接层，不设置激活函数，其输出为每个点的颜色和体素密度。
26、优选地，所述神经辐射场进行体素渲染，对光线进行均匀采样，得到n个采样点，将从近到远的累计透射率作为积分权重，得到体素渲染的结果，形成的三维建模图像，所述渲染图象c公式如下：
27、
28、
29、其中，δi表示采样点i与临近采样点的距离；σi表示采样点i处的体素密度；ti表示累计透射率，j表示第一个采样点到采样点i的所有采样点的索引。
30、本发明的第二方面提供了一种基于语义分割及神经辐射场的绝缘子三维建模系统，包括：图像处理模块、特征提取与稀疏重建模块、神经辐射场三维建模模块；
31、图像处理模块包括图像采集和语义分割，用于获取多角度的绝缘子图像并提取绝缘子的轮廓，去除背景干扰；
32、特征提取与稀疏重建模块进行特征提取和稀疏重建，得到相机位姿图和稀疏点云，为建模提供基础数据；
33、神经辐射场三维建模模块包括全连接神经网络和体素渲染，用于处理相机姿态、稀疏点云和语义分割后的图像，输出绝缘子三维模型。
34、与现有技术相比，本发明的有益效果至少包括：本发明提出的方法，可以去除对绝缘子三维建模时背景的干扰，有效地提高绝缘子三维建模的精度及速度；与传统手动建模方法相比，本发明采用神经辐射场技术，实现了更高效的三维建模过程，大大提升了建模速度；本发明避免了激光雷达的高成本，相对于采用激光点云建模的方法，降低了成本，提高了建模可行性；通过采用神经辐射场技术，本发明相对于仅采用该技术的方法，提高了对复杂背景的抗干扰能力，减少了无意义算力损耗。
技术特征：
1.一种基于语义分割及神经辐射场的绝缘子三维建模方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于语义分割及神经辐射场的绝缘子三维建模方法，其特征在于：
3.根据权利要求2所述的一种基于语义分割及神经辐射场的绝缘子三维建模方法，其特征在于：
4.根据权利要求3所述的一种基于语义分割及神经辐射场的绝缘子三维建模方法，其特征在于：
5.根据权利要求1所述的一种基于语义分割及神经辐射场的绝缘子三维建模方法，其特征在于：
6.根据权利要求1所述的一种基于语义分割及神经辐射场的绝缘子三维建模方法，其特征在于：
7.根据权利要求1所述的一种基于语义分割及神经辐射场的绝缘子三维建模方法，其特征在于：
8.根据权利要求7所述的一种基于语义分割及神经辐射场的绝缘子三维建模方法，其特征在于：
9.根据权利要求1所述的一种基于语义分割及神经辐射场的绝缘子三维建模方法，其特征在于：
10.一种基于语义分割及神经辐射场的绝缘子三维建模系统，包括：图像处理模块、特征提取与稀疏重建模块、神经辐射场三维建模模块；运行如权利要求1至9中任一项所述的一种基于语义分割及神经辐射场的绝缘子三维建模方法，其特征在于：
技术总结
一种基于语义分割及神经辐射场的绝缘子三维建模方法及系统，包括以下步骤：步骤1，在不同位置和角度连续拍摄待建模绝缘子对象，获取多个角度的图像数据；步骤2，将采集到的图像输入语义分割算法网络，提取绝缘子的轮廓，生成无背景的绝缘子图像；步骤3，利用Colmap软件对步骤2得到的图像进行特征提取，使用算法匹配特征点，计算相机位姿图和稀疏点云；步骤4，将相机姿态、稀疏点云以及语义分割后的绝缘子图像输入神经辐射场网络，得到绝缘子三维模型。本发明可以去除对绝缘子三维建模时背景的干扰，有效地提高绝缘子三维建模的精度及速度。
技术研发人员：李鸿泽,韩学春,高嵩,宋恒东,黄新宇,郭嵘,汪昱,潘灵敏,鲍奕,周俊,陈永祥,罗怡德,刘笑,白朴
受保护的技术使用者：国网江苏省电力有限公司超高压分公司
技术研发日：
技术公布日：2024/9/23