本发明属于心脏磁共振影像自动诊断,具体为基于半监督学习的心脏磁共振影像自动诊断方法及系统。
背景技术:
1、在全球范围内,心血管疾病已经成为了主要的死亡原因,给世界公共卫生带来了重要的负担。在心血管疾病的诊断中,心脏功能分析始终起着至关重要的作用。心脏磁共振成像提供了高分辨率的图像且无辐射,它逐渐成为了心脏诊断手段中最常用的方式,被誉为心脏病诊断的“金标准”。
2、在传统的心脏图像分割方法中,主要是基于先验知识的方法。这些方法需要与专家进行交互完成,且具有一定的分割结果差异。由于需要规定心脏的基础信息(形状等),这类方法容易造成过拟合,且对于基础信息不属于规定范围的数据分割效果差。
3、基于深度学习的算法在心脏影像的自动分割上取得了令人满意的结果。然而,这类方法依赖于大量标记数据。为了避免这一问题,基于半监督学习的心脏图像分割方法成为了新的研究方向。半监督学习结合了监督学习和无监督学习的优点,无需外界交互,通过自动地利用未标记数据来提升学习性能。
4、自注意力机制使分割网络能够自适应地关注重要的部分,有效地提高了网络的性能。然而,这类机制在计算复杂度方面存在较大的问题。为了解决这一问题,相关研究提出了更高效的多尺度卷积注意力替代自注意力,取得了较好的效果。然而,这些方法仍然仅对空间上重要区域进行关注,缺少通道维度对重要对象的关注。
5、基于心脏图像的心脏自动诊断的方法主要为根据图像自动计算相关临床指标后进行疾病分类。但这些方法仍存在分割方法分割精度不足,对未标注数据依赖过大的问题。因此,将有效的方法结合,设计合理的半监督分割架构,在一定程度上克服心脏图像标注样本缺乏的问题,得到可靠的心脏图像分割结果,并进一步进行自动诊断,是当前技术研发的重要方向。
技术实现思路
1、本发明的目的是针对以上问题,提供一种基于半监督学习的心脏磁共振影像自动诊断方法,实现全自动的较高精度的心脏图像分割、临床指标计算、分类特征提取和疾病预测。
2、为实现以上目的,本发明采用的技术方案是:一种基于半监督学习的心脏磁共振影像自动诊断方法,包括以下步骤:
3、步骤1:获取心脏磁共振影像数据,包括舒张末期、收缩末期两个时相的图像标签以及部分人工标注的标签,对所述图像标签和人工标注的标签进行标准化处理;
4、步骤2:将步骤1处理后的影像数据划分为训练集和测试集并送入半监督分割网络;将所述训练集用于网络训练并进行交叉验证,根据验证结果微调超参数至最优模型,使用所述最优模型对测试集进行分割推理以得到标注后的影像;
5、步骤3:将分割推理结果送入特征提取模块进行逐病例特征提取,对所有特征在进行标准化处理后划分为训练集和测试集送入疾病预测分类器;将训练集数据用于分类器训练并进行交叉验证,根据验证结果微调超参数至最优模型,使用所述最优模型对测试集进行分类推理,得到疾病预测结果;
6、步骤4:根据步骤2获得的分割结果以及步骤3中的特征提取信息和分类推理结果进行诊断评估,以实现对疾病的预测。
7、在一些可能的实施例中,所述半监督分割网络包括编码器和解码器,所述解码器包括两个互补辅助解码器和主解码器,两个互补辅助解码器和主解码器共享一个编码器输出;
8、当存在训练图像标签时,利用所述主解码器和两个所述互补辅助解码器生成的概率映射图与人工标注的标签计算损失以进行监督损失;
9、当不存在训练图像标签时,所述主解码器和两个所述互补辅助解码器生成的概率映射图通过锐化函数形成伪标签;
10、将三个解码器的其中一个解码器生成的伪标签与其余两个解码器生成的概率映射图计算损失以进行无监督损失;
11、在一些可能的实施例中,编码器的前四个编码层均后接了一个通道优先卷积注意力模块。
12、在一些可能的实施例中,所述监督损失使用骰子损失;所述无监督损失使用伪标签和概率图间的均方误差。
13、在一些可能的实施例中,心脏结构分类特征包括体积特征、设计特征和额外特征;所述体积特征包括体积、质量以及射血分数的计算;
14、其中,体积的计算公式,如下:
15、v=∑i∑j∑kn×s
16、其中,n表示该层体素点的个数,s表示空间分辨率;
17、心室射血分数的计算公式,如下:
18、
19、其中,ved表示舒张末期心室容积,ves表示收缩末期心室容积;
20、心肌质量的计算公式,如下:
21、mmyo=vmyo×ρmyo
22、其中,vmyo表示心肌体积,ρmyo表示心肌密度;
23、额外特征包含数据集提供的每位病人的身高、体重以及计算出的人体体表面积,人体体表面积计算公式为:
24、
25、其中,height为患者的身高,weight为患者的体重;
26、设计特征为描述心肌壁厚度变化的特征,假设i和e分别是对应内部轮廓和外部轮廓像素的集合,心肌壁厚度由内轮廓i中的一个像素到外轮廓e中的任何一个像素的最短欧式距离的集合,心肌壁厚度在短轴sa切片中的计算公式为:
27、
28、其中,mat表示心肌壁厚度;sa表示短轴,d表示最短欧式距离;i是内轮廓,e是外轮廓。
29、在一些可能的实施例中,所述心脏结构的体积特征包括舒张末期左心室容积、收缩末期左心室容积、舒张末期右心室容积、收缩末期右心室容积、收缩末期心肌体积和心肌质量。
30、在一些可能的实施例中,所述疾病预测分类器为双层集成分类器,包括:
31、第一层通用分类器,使用所有分类特征对患者的心脏疾病进行多类别分类;
32、第二层专病分类器,使用部分与特定心脏疾病相关的分类特征对经第一层分类后的特定类别的患者进行二次分类;
33、所述第一层通用分类器由随机森林分类器和支持向量机分类器通过软投票机制集成;
34、所述第二层专病分类器为多层感知机分类器,用于对扩张型心肌病和陈旧性心肌梗塞进行进一步分类。
35、本发明还公开一种基于半监督学习的心脏磁共振影像自动诊断系统,包括:
36、数据获取模块:获取心脏磁共振影像数据,包括舒张末期、收缩末期两个时相的图像标签以及部分人工标注的标签,并对图像标签和人工标注的标签进行标准化处理;
37、半监督分割模块:将标准化处理后的影像数据划分为训练集和测试集,并送入半监督分割网络进行训练和推理;
38、特征提取模块:将分割推理结果送入该模块进行逐病例特征提取,并对所有特征进行特征标准化处理;
39、疾病预测模块:将标准化后的特征划分为训练集和测试集,送入疾病预测分类器进行训练和推理,得到疾病预测结果。
40、评估模块:根据半监督分割模块获得的分割结果以及特征提取模块中的特征提取信息和疾病预测模块中的分类推理结果进行诊断评估,以实现对疾病的预测。
41、本发明还公开了一种电子设备,包括存储器及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述电子设备执行上述的基于半监督学习的心脏磁共振影像自动诊断方法。
42、本发明还公开了一种计算机可读存储介质,其存储有计算机程序,所述计算机程序被处理器执行时实现上述述的基于半监督学习的心脏磁共振影像自动诊断方法。
43、本发明的有益效果:本发明基于通道先验的卷积注意力和基于互补一致性的半监督分割结构,提出一个半监督心脏图像自动分割与辅助诊断模型。该模型利用少量的标注数据,得到较高质量的分割结果,再重建和评估心脏结构的体积,从而计算出适合疾病鉴别的临床指标,分类特征提取和疾病预测。同时,本发明利用机器学习分类器设计了一个两层的集成分类器,通过分类器集成作为正则化和特征重要性平衡的一种手段,利用两层分类器来进一步优化分类精度。
1.一种基于半监督学习的心脏磁共振影像自动诊断方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的心脏磁共振影像自动诊断方法,其特征在于,所述步骤2中的半监督分割网络包括编码器和解码器,所述解码器包括两个互补辅助解码器和主解码器,两个互补辅助解码器和主解码器共享一个编码器输出;
3.根据权利要求2所述的心脏磁共振影像自动诊断方法,其特征在于,所述编码器的前四个编码层均后接了一个通道优先卷积注意力模块。
4.根据权利要求2所述的心脏磁共振影像自动诊断方法,其特征在于,所述监督损失使用骰子损失计算。
5.根据权利要求2所述的心脏磁共振影像自动诊断方法,其特征在于,所述无监督损失使用伪标签和概率图间的均方误差计算。
6.根据权利要求1所述的心脏磁共振影像自动诊断方法,其特征在于,步骤3中特征提取为重建心脏结构得到的心脏结构分类特征,所述心脏结构分类特征包括体积特征、设计特征和额外特征;
7.根据权利要求1所述的心脏磁共振影像自动诊断方法,其特征在于,所述步骤3中的疾病预测分类器采用双层集成分类器,所述双层集成分类器包括:
8.一种基于半监督学习的心脏磁共振影像自动诊断系统,其特征在于,包括: