基于深度学习的多特征融合的动脉瘤识别方法及系统
本发明涉及图像识别，尤其涉及一种基于深度学习的多特征融合的动脉瘤识别方法及系统。
背景技术：
1、随着社会老龄化加剧和生活方式的改变，动脉瘤的发病率近年来呈现上升态势，老年人群是动脉瘤的高发人群，由于人口老龄化，动脉瘤患病人数在增加，肥胖、吸烟、高血压等危险因素的患病率升高导致动脉瘤发病风险加大。
2、传统检查由于医学影像设备的差异、患者体质的不同、扫描参数的变化等，都会导致获得的图像存在质量上的差异，而且病变形态及特征需要根据不同情况作出调整和改进，图像对比度不佳、噪声较多、分辨率不够等问题，也会影响到病灶的清晰度和边缘锐利程度，给动脉瘤的识别及检测带来挑战，传统的依赖专家经验的方法往往存在着主观性强、费时费力、准确率参差不齐等弊端，患者也会因此错过最佳治疗时机。
3、因此，亟需一种识别动脉瘤的技术方法，来对动脉瘤的早期筛查和精准诊断提供重要手段，为患者赢得更多的宝贵治疗时间。
技术实现思路
1、本发明实施例提供一种基于深度学习的多特征融合的动脉瘤识别方法，至少能够解决现有技术中部分问题。
2、本发明实施例的第一方面，
3、提供一种基于深度学习的多特征融合的动脉瘤识别方法，包括：
4、获取原始图像，通过预设的多尺度卷积神经网络中的多尺度特征提取模块提取所述原始图像中的多尺度特征图，对所述多尺度特征图进行全局平均池化生成特征描述符并确定分支权重，加权求和得到融合特征图，结合残差学习模块得到层次特征；
5、基于所述层次特征，通过预设的特征融合模型中的通道注意力模块进行全局平均池化和最大池化，得到通道描述符，确定所述通道描述符对应的通道权重并生成通道注意力特征图，生成所述通道注意力特征图对应的空间描述符并生成空间注意力特征图，结合门控机制和特征融合模块，得到模态特征；
6、基于所述模态特征，提取对应的语义级特征并重塑得到第一特征矩阵，基于所述第一特征矩阵生成注意力矩阵，将所述注意力矩阵应用于所述第一特征矩阵得到增强特征矩阵，选择不同模态并生成交互特征矩阵，结合低秩双线性池化得到融合特征，将所述融合特征添加至预先训练的回归森林模型，得到动脉瘤识别结果。
7、在一种可选的实施方式中，获取原始图像，通过预设的多尺度卷积神经网络中的多尺度特征提取模块提取所述原始图像中的多尺度特征图，对所述多尺度特征图进行全局平均池化生成特征描述符并确定分支权重，加权求和得到融合特征图，结合残差学习模块得到层次特征包括：
8、获取所述原始图像，基于所述多尺度卷积神经网络中的多尺度特征提取模块，设置多个卷积分支，其中，每个卷积分支包含多个个卷积层，对于第一个卷积层，通过卷积操作提取所述原始图像对应的特征图，对于每个非第一层卷积层，将上一卷积层输出的特征图作为输入，通过卷积运算得到当前卷积层对应的特征图，对于每个不同的卷积分支，使用不同尺度的卷积核进行特征提取，得到多尺度特征图；
9、对当前卷积分支对应的多尺度特征图进行全局平均池化得到当前卷积分支对应的特征描述符，将所有分支的特征描述符串联，通过全连接层和激活函数分别计算每个卷积分支的对应的分支权重，通过对每个卷积分支对应的多尺度特征图进行加权求和，得到融合特征图；
10、以所述特征图作为残差学习模块的初始输入，当前残差单元将上一残差单元的残差输出通过两个卷积层变换并与上一单元的残差输出相加，得到当前单元的残差输出，重复计算，得到层次特征。
11、在一种可选的实施方式中，对当前卷积分支对应的特征图进行全局平均池化得到当前卷积分支对应的特征描述符如下公式所示：
12、；
13、其中， g i表示第 i个卷积分支的特征描述符， h表示特征图高度， w表示特征图宽度，表示第 i个卷积分支中第 k个特征图在(m，n)处的值。
14、在一种可选的实施方式中，基于所述层次特征，通过预设的特征融合模型中的通道注意力模块进行全局平均池化和最大池化，得到通道描述符，确定所述通道描述符对应的通道权重并生成通道注意力特征图，生成所述通道注意力特征图对应的空间描述符并生成空间注意力特征图，结合门控机制和特征融合模块，得到模态特征包括：
15、通过所述特征融合模型中的通道注意力模块对当前注意力单元的接收到的层次特征进行全局平均池化和最大池化，得到平均通道描述符和最大通道描述符，通过全连接层和激活函数分别生成所述平均通道描述符和所述最大通道描述符对应的通道权重，将所述通道权重应用于所述融合特征图得到通道注意力特征图；
16、基于空间注意力模块对通道注意力特征图分别在通道维度上进行平均池化和最大池化，得到平均空间描述符和最大空间描述符，通过卷积层和激活函数生成空间权重，将所述空间权重应用于通道注意力特征图得到当前注意力单元对应的空间注意力特征图；
17、在通道注意力模块和空间注意力模块之间添加门控机制，调整所述空间注意力模块和所述通道注意力模块之间的交互，定义门控信号为通道注意力特征图在空间维度上的平均池化，通过门控单元调整空间注意力模块的输入；
18、结合特征融合模块，通过跨层级联和局部跳跃连接，融合所述通道注意力特征图和所述空间注意力特征图，得到模态特征。
19、在一种可选的实施方式中，通过门控单元调整空间注意力模块的输入如下公式所示：
20、；
21、其中，表示经过门控单元调整后，第 l层第 p个位置的空间注意力模块的输入特征，表示第 l层第 p个位置未经过调整的原始输入， θ表示激活函数，表示第 l层第 p个位置的门控权重矩阵，表示第 l层第 p个位置的门控信号。
22、在一种可选的实施方式中，基于所述模态特征，提取对应的语义级特征并重塑得到第一特征矩阵，基于所述第一特征矩阵生成注意力矩阵，将所述注意力矩阵应用于所述第一特征矩阵得到增强特征矩阵，选择不同模态并生成交互特征矩阵，结合低秩双线性池化得到融合特征，将所述融合特征添加至预先训练的回归森林模型，得到动脉瘤识别结果包括：
23、根据所述模态特征，对于当前模态，提取所述模态特征对应的语义级特征，并在空间维度上重塑为第一特征矩阵；
24、对当前模态对应的第一特征矩阵进行自注意力操作，得到注意力矩阵，将所述注意力矩阵应用于所述第一特征矩阵，得到增强特征矩阵；
25、随机选择两个不同的模态，对于每对模态的增强特征矩阵进行双线性池化，得到交互特征矩阵；
26、采用低秩双线性池化，将所述交互特征矩阵分解为两个低秩矩阵的乘积，并将所有成对交互特征矩阵在通道维度上拼接，得到融合特征，将所述融合特征输入至预先构建的回归森林模型中，得到动脉瘤识别结果。
27、在一种可选的实施方式中，所述方法还包括训练所述回归森林模型：
28、对所述融合特征进行预处理，基于所述融合特征随机生成训练特征，通过自助采样在所述训练特征中进行选择，生成训练子集，使用未被自助采样选择的训练特征进行组合，得到验证集；
29、初始化回归树，对于所述回归树，在每个节点，对于所述训练子集中的每个特征，计算适应度并选择两个具有最高适应度的训练特征分别作为左子节点和右子节点，重复选择直至达到预设的最大深度；
30、使用所述验证集对构建的回归树进行验证，若所述回归树的预测正确率大于预设的正确率阈值，则将当前回归树添加至所述回归森林模型，重复生成直至达到预设的最大数量，得到所述回归森林模型，对于每个输入特征，所述回归森林模型统计每个回归树的投票结果并进行输出，得到所述动脉瘤识别结果。
31、本发明实施例的第二方面，
32、提供一种基于深度学习的多特征融合的动脉瘤识别系统，包括：
33、第一单元，用于获取原始图像，通过多尺度特征提取模块提取所述原始图像中的多尺度特征图，对所述多尺度特征图进行全局平均池化生成特征描述符并确定分值权重，加权求和得到融合特征图，结合残差学习模块得到层次特征；
34、第二单元，用于基于所述层次特征，结合通道注意力模块进行全局平均池化和最大池化，得到通道描述符，确定所述通道描述符对应的通道权重并生成通道注意力特征图，生成所述通道注意力特征图对应的空间描述符并生成空间注意力特征图，结合门控机制和特征融合模块，得到模态特征；
35、第三单元，用于基于所述模态特征，提取对应的与以及特征并重塑得到第一特征矩阵，基于所述第一特征矩阵生成注意力矩阵，将所述注意力矩阵应用于所述第一特征矩阵得到增强特征矩阵，选择不同模态并生成交互特征矩阵，结合低秩双线性池化得到融合特征，将所述融合特征添加至预先训练的回归森林模型，得到动脉瘤识别结果。
36、本发明实施例的第三方面，
37、提供一种电子设备，包括：
38、处理器；
39、用于存储处理器可执行指令的存储器；
40、其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述所述的方法。
41、本发明实施例的第四方面，
42、提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前述所述的方法。
43、本方法在模态特征提取、注意力增强、模态间交互融合以及最终分类决策等环节，都采用了自适应性强、表达能力丰富的技术手段。多尺度特征融合和层次化语义特征学习确保了对底层到高层的模式进行了有效建模。通道/空间注意力机制和门控融合则从通道、空间和特征质量多方面增强了表示。双线性池化和低秩分解使不同模态间的特征得以充分交互和融合，挖掘了更丰富的模式线索。最后，集成的回归森林分类器能够自动学习最优的非线性决策策略，从而给出准确可靠的识别结果。
44、对这些技术措施的集成运用，充分体现了本方法的自适应性和高效性。模型在特征表示学习和分类决策两个关键环节，都具备了自主寻优的能力，能够最大限度地提取和利用输入数据蕴含的判据信息，形成了一套理论完备、应用价值显著的动脉瘤智能识别解决方案。本方法将深度学习自动特征抽取能力和集成分类器的鲁棒性优势融合，是动脉瘤诊疗智能化的有力推手。
技术特征：
1.基于深度学习的多特征融合的动脉瘤识别方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，获取原始图像，通过预设的多尺度卷积神经网络中的多尺度特征提取模块提取所述原始图像中的多尺度特征图，对所述多尺度特征图进行全局平均池化生成特征描述符并确定分支权重，加权求和得到融合特征图，结合残差学习模块得到层次特征包括：
3.根据权利要求2所述的方法，其特征在于，对当前卷积分支对应的特征图进行全局平均池化得到当前卷积分支对应的特征描述符如下公式所示：
4.根据权利要求1所述的方法，其特征在于，基于所述层次特征，通过预设的特征融合模型中的通道注意力模块进行全局平均池化和最大池化，得到通道描述符，确定所述通道描述符对应的通道权重并生成通道注意力特征图，生成所述通道注意力特征图对应的空间描述符并生成空间注意力特征图，结合门控机制和特征融合模块，得到模态特征包括：
5.根据权利要求4所述的方法，其特征在于，通过门控单元调整空间注意力模块的输入如下公式所示：
6.根据权利要求1所述的方法，其特征在于，基于所述模态特征，提取对应的语义级特征并重塑得到第一特征矩阵，基于所述第一特征矩阵生成注意力矩阵，将所述注意力矩阵应用于所述第一特征矩阵得到增强特征矩阵，选择不同模态并生成交互特征矩阵，结合低秩双线性池化得到融合特征，将所述融合特征添加至预先训练的回归森林模型，得到动脉瘤识别结果包括：
7.根据权利要求1所述的方法，其特征在于，所述方法还包括训练所述回归森林模型：
8.基于深度学习的多特征融合的动脉瘤识别系统，用于实现前述权利要求1-7中任一项所述的方法，其特征在于，包括：
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至7中任意一项所述的方法。
技术总结
本发明提供一种基于深度学习的多特征融合的动脉瘤识别方法及系统，涉及图像识别技术领域，包括获取原始图像，通过多尺度卷积神经网络提取多尺度特征图，进行全局平均池化生成特征描述符并确定分值权重，通过加权求和得到融合特征图，结合残差学习模块及通道注意力模块进行全局平均池化和最大池化，得到通道描述符并确定通道权重，生成通道注意力特征图，进而生成空间注意力特征图，结合门控机制和特征融合模块得到模态特征。通过获得第一特征矩阵及注意力矩阵，得到增强特征矩阵，进而生成交互特征矩阵，结合低秩双线性池化得到融合特征，将所述融合特征添加至预先训练的回归森林模型，得到动脉瘤识别结果。
技术研发人员：刘鹏,刘清源,贺红卫,李佑祥,吕明
受保护的技术使用者：首都医科大学附属北京天坛医院
技术研发日：
技术公布日：2024/9/23