一种单相机手术导丝三维重建方法

本发明属于医疗，具体涉及一种单相机手术导丝三维重建方法。

背景技术：

1、在手术医疗领域，特别是介入式手术中，医生往往需要将导丝伸入患者的血管动脉，并沿血管不断推送导丝前进直至病灶处。这个过程中导丝需要经过狭窄曲折的血管通道，非常考验医生的操作手法。为了确定导丝在患者血管内的具体位置及导丝自身的弯曲形态，从而判断手术的进展与安全状况，医生往往通过dsa(减影血管造影)系统来判断观察导丝的位置与形态。由于dsa从上往下(以下定义为z轴)进行观察，所以大部分的dsa影像可以认为是一种单相机的观察定位系统。由于单个相机的观察定位存在维度信息的缺失，始终输出二维图像，比如导丝在z轴方向产生了弯曲，但图像并不能分清其弯曲方向是朝上弯还是朝下弯，目前最主流的解决办法是在x或y方向放置另一台dsa影像系统，同时生成两张图像，依靠计算机图像处理技术，提取同一时刻两张图片的特征信息，将二维信息转化为三维信息，从而实现导丝的三维空间重建，以供医生对手术过程中的导丝定位做出更好的判断，提高手术效率与安全性。

2、目前这种导丝的三维重建存在以下弊端：

3、一是需要至少两个维度的图像信息，而两台dsa系统所带来的成本是巨大的，无法普及；

4、二是利用两张图像进行三维重建，算法非常复杂，图片需要先进行预处理，然后再转换为空间坐标系，因此算力要求非常高，导致计算机无法实时响应，在手术过程中做不到非常高的实时性，可能会导致医生手术中无法及时判断，产生风险；

5、三是三维重建的定位精度不高，成像细节也不够精确，容易受图像成像质量的影响(图片噪点、图像分辨率、图像亮度等)。

6、总结下来，目前传统的导丝三维重建问题就是：成本高、实时性差、成像细节不精确，容易受干扰。

技术实现思路

1、为解决现有技术中存在的技术问题，本发明的目的在于提供一种单相机手术导丝三维重建方法。

2、为实现上述目的，达到上述技术效果，本发明采用的技术方案为：

3、一种单相机手术导丝三维重建方法，包括以下步骤：

4、1)布置三轴磁传感器阵列；

5、2)设置三轴磁传感器阵列采集信息的频率；

6、3)将摄像头模块正对于三轴磁传感器阵列固定放置，设置所述摄像头模块的采集频率；

7、4)预训练神经网络；

8、5)采用神经网络进行数据处理，获得导丝当前实时位姿信息。

9、进一步的，步骤1)中，所述三轴磁传感器阵列包括16个磁传感器，按照4×4的排布方式排布，相邻磁传感器之间相距3cm。

10、进一步的，布置三轴磁传感器阵列的步骤包括：

11、将三轴磁传感器阵列以相邻磁传感器之间相距3cm的距离排布在亚克力板上，再整体安置于底板上或手术台平面内。

12、进一步的，步骤2)中，设置三轴磁传感器阵列中的每个磁传感器以60hz的频率，以自身为中心，采集xyz三轴的磁场方向与磁场强度信息。

13、进一步的，步骤3)中，所述摄像头模块的采集频率与三轴磁传感器阵列中的每个磁传感器的采集频率一致，设置所述摄像头模块以每秒60张图片的速率进行图片采集。

14、进一步的，步骤4)中，训练神经网络的步骤包括：

15、数据集的收集：数据收集期间需要用到两组不同轴向的相机同步进行图像采集，在配置好的磁传感器阵列板上方平铺亚克力板并粘贴绿色纸张作为底色，利用透明胶固定导丝头部使其保持固定的角度；采集足量的数据与图片信息后，首先利用两张不同轴向的导丝位姿图片进行传统的三维重建计算，将导丝头部平均分为10个节点，计算得到10个点的三维空间坐标，并做好标记以备网络训练；

16、网络的训练：将收集到的数据集信息与其标注信息带入网络进行调参、训练与验证，使其最终能够通过磁传感器数据与单相机的图像信息的特征融合，输出导丝头部在三维空间下的10个点位坐标信息，再利用三维绘制软件还原导丝真实姿态。

17、进一步的，步骤5)中，采用神经网络进行数据处理，获得导丝当前实时位姿信息的步骤包括：

18、在研究/手术测试中，导丝首先伸入血管模型/病患血管内进行递送，此时开启上方摄像头模块/dsa影像，同时开启位于手术台下方的三轴磁传感器阵列，进行数据采集、传输；

19、通过时钟信号同步时序后，摄像头模块所拍摄的图像信息与磁传感器信息将会同步采集并传输至神经网络进行处理，判断导丝头部的位姿信息，并输出头部10个点位的三维坐标信息；

20、得出点位的三维坐标信息后，利用三维绘制软件形成点-线模型，优化得到导丝当前实时位姿信息。

21、进一步的，所述摄像头模块所拍摄的图像信息与磁传感器信息将会同步以每秒60组的速率采集并传输至神经网络，每一组数据包含一张导丝位姿二维图像以及48个磁场信息，统一输入至神经网络中后，首先通过神经网络对导丝位姿二维图像进行图像的预处理，将其转化为灰度图，并进行图像特征提取，之后将图像提取到的特征信息与磁传感器信息结合，共同建立空间区域集，根据神经网络得出的隶属度函数来判断导丝头部的位姿信息，并输出头部10个点位的三维坐标信息，之后利用三维绘制软件形成点-线模型，优化得到导丝当前实时位姿信息，输出至显示屏显示。

22、进一步的，所述导丝的头部设置有若干个磁珠，使导丝的头部具有磁性，若干个磁珠通过磁性连接形成条状结构并包覆于介质层内，所述介质层外表面固化形成亲水涂层。

23、进一步的，所述导丝采用以下步骤制备得到：

24、准备一个透明模具，竖直摆放；

25、将若干个磁珠放入透明模具内，由于透明模具的内径略大于磁珠的直径，磁珠之间将由于磁力互相连接形成条状结构；

26、将介质材料匀速注入透明模具内，透过透明模具观察介质材料的渗透情况，直至介质材料完全灌满透明模具且无气泡；

27、之后将透明模具固定至离心式搅拌机进行搅拌，使介质材料均匀渗入磁珠间隙；

28、离心搅拌20-40min，随后加热至70-90℃进行中温固化，加热40-50min后降低至常温进行脱膜取出，即可得到磁珠导丝，所述磁珠导丝包括介质层，介质层内设置有由若干个磁珠磁性连接形成的条状结构；

29、最后，将磁珠导丝浸泡至亲水涂层原液中，磁珠导丝表面完全浸泡，取出后用紫外线灯照射固化或加热固化，从而在介质层外表面固化形成亲水涂层，即可得到所需导丝。

30、与现有技术相比，本发明的有益效果为：

31、本发明公开了一种单相机手术导丝三维重建方法，所用导丝的头部带有磁性，通过设置三轴磁传感器阵列能够实时获得导丝头部随着形态变化而发生的磁场变化，通过摄像头模块采集导丝图像，模拟实际das影像图，实现图像+磁场数据的实时采集，利用神经网络融合图像提取到的特征信息与磁传感器信息，判断导丝头部的位姿信息，并输出头部10个点位的三维坐标信息，再利用三维绘制软件形成点-线模型，优化得到导丝当前实时位姿信息，并输出至显示屏显示，可以低成本地实现导丝的三维重建，仅需一台dsa影像系统，利用数据集训练神经网络，大大提高三维求解速度，运算速度快，实时性高，利用4×4的三轴磁传感器阵列能够同时采集48组导丝头部的磁场信息，相比传统三维重建方法，拥有更精确的细节表现，精准度更高，不易受干扰，适合进行工业化推广使用。

技术特征：

1.一种单相机手术导丝三维重建方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种单相机手术导丝三维重建方法，其特征在于，步骤1)中，所述三轴磁传感器阵列包括16个磁传感器，按照4×4的排布方式排布，相邻磁传感器之间相距3cm。

3.根据权利要求2所述的一种单相机手术导丝三维重建方法，其特征在于，布置三轴磁传感器阵列的步骤包括：

4.根据权利要求1所述的一种单相机手术导丝三维重建方法，其特征在于，步骤2)中，设置三轴磁传感器阵列中的每个磁传感器以60hz的频率，以自身为中心，采集xyz三轴的磁场方向与磁场强度信息。

5.根据权利要求1所述的一种单相机手术导丝三维重建方法，其特征在于，步骤3)中，所述摄像头模块的采集频率与三轴磁传感器阵列中的每个磁传感器的采集频率一致，设置所述摄像头模块以每秒60张图片的速率进行图片采集。

6.根据权利要求1所述的一种单相机手术导丝三维重建方法，其特征在于，步骤4)中，训练神经网络的步骤包括：

7.根据权利要求1所述的一种单相机手术导丝三维重建方法，其特征在于，步骤5)中，采用神经网络进行数据处理，获得导丝当前实时位姿信息的步骤包括：

8.根据权利要求7所述的一种单相机手术导丝三维重建方法，其特征在于，所述摄像头模块所拍摄的图像信息与磁传感器信息将会同步以每秒60组的速率采集并传输至神经网络，每一组数据包含一张导丝位姿二维图像以及48个磁场信息，统一输入至神经网络中后，首先通过神经网络对导丝位姿二维图像进行图像的预处理，将其转化为灰度图，并进行图像特征提取，之后将图像提取到的特征信息与磁传感器信息结合，共同建立空间区域集，根据神经网络得出的隶属度函数来判断导丝头部的位姿信息，并输出头部10个点位的三维坐标信息，之后利用三维绘制软件形成点-线模型，优化得到导丝当前实时位姿信息，输出至显示屏显示。

9.根据权利要求1所述的一种单相机手术导丝三维重建方法，其特征在于，所述导丝的头部设置有若干个磁珠，使导丝的头部具有磁性，若干个磁珠通过磁性连接形成条状结构并包覆于介质层内，所述介质层外表面固化形成亲水涂层。

10.根据权利要求9所述的一种单相机手术导丝三维重建方法，其特征在于，所述导丝采用以下步骤制备得到：

技术总结
本发明公开了一种单相机手术导丝三维重建方法，包括以下步骤：布置三轴磁传感器阵列；设置三轴磁传感器阵列采集信息的频率；将摄像头模块正对三轴磁传感器阵列固定放置并设置采集频率；训练神经网络；采用神经网络进行数据处理，获得导丝实时位姿信息。本发明通过设置三轴磁传感器阵列实时获得导丝头部随着形态变化而发生的磁场变化，通过摄像头模块采集导丝图像，利用神经网络融合图像提取到的特征信息与磁传感器信息，输出头部三维坐标信息，再利用三维绘制软件形成点‑线模型，优化得到导丝当前实时位姿信息，可低成本地实现导丝的三维重建，计算量小，运算速度快，实时性高，相比传统三维重建方法，拥有更精确的细节表现，精准度更高。

技术研发人员：魏巍,黄嘉敏,蒋文斌,杨栋,李佳倩
受保护的技术使用者：苏州科技大学
技术研发日：
技术公布日：2024/9/23