一种超声内镜结构化报告自动生成系统
本发明涉及医学图像处理，特别是涉及一种超声内镜结构化报告自动生成系统。
背景技术：
1、本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。
2、不同于普通胃肠镜检查，超声内镜前端具有微型超声探头，可对消化道(包括胃肠等)管壁以及邻近的实质器官进行扫描，可更加详细地识别、检测病灶。随着平均寿命的延长，消化道肿瘤的鉴别变得更加依赖超声内镜检查。由于资金以及人员的限制，现仍难以普及这项技术。一方面，未来人口将会呈爆炸式增加，超声内镜医师数量无法与患者数量呈同步变化，目前超声内镜的诊断效率难以满足飞速增长的病例数量；另一方面，每一例患者的超声内镜检查将产生许多数据，手动输入诊断报告耗费人工以及时间，传统叙事型文本报告不够科学，难以满足超声内镜诊断质量管理和数据挖掘；更重要的是，不同超声内镜医师的观察习惯以及报告部位具有很大的人为差异，不规范的文本结构、缺乏全局性的结构扫描、甚至错误的描述用词，将会对临床诊断带来难以避免的矛盾和系统性缺陷。
3、虽然，已有许多诊断消化道内镜的结构化报告自动生成系统被研发并应用于临床，但大多基于普通白光、放大内镜、电子染色内镜等开发。相较于与其他消化内镜，超声内镜影像特点更为复杂，其关注的病灶部位和结构特征也相距甚远。
技术实现思路
1、为了解决现有技术的不足，本发明提供了一种超声内镜结构化报告自动生成系统，在超声内镜医师对病变部位进行影像采集时，可自动提取病灶部位超声内镜检查视频的关键图像和相关信息，得到规范的超声内镜结构化报告。
2、第一方面，本发明提供了一种超声内镜结构化报告自动生成系统；
3、一种超声内镜结构化报告自动生成系统，包括：
4、初步检查模块，用于获取内镜图像，通过部位识别模型和疑似病灶区域目标检查模型，得到所述内镜图像是否存在异常区域的结果，当存在异常区域时，提醒进行超声内镜检查；
5、图像分割模块，用于获取所述超声内镜检查过程中的超声图像，通过图像分割模型，在所述超声图像中分割出若干消化道结构；
6、文本生成模块，用于对每个消化道结构，通过文本描述模型，得到回声情况描述和边界情况描述；
7、病灶分割模块，用于基于连续若干帧所述超声图像，通过病灶分割模型，得到每帧所述超声图像的病灶区域，并判断所述病灶区域与每个消化道结构是否存在重叠；
8、报告生成模块，用于基于所述回声情况描述、边界情况描述和重叠情况，生成超声内镜报告。
9、进一步地，所述图像分割模块，还用于通过所述图像分割模型，在所述超声图像中分割出内镜在超声图像下的圆环区域，并基于所述圆环区域，检测所述超声图像是否有效。
10、进一步地，所述病灶分割模型，将连续若干帧所述超声图像作为输入，利用卷积神经网络提取所述超声图像的特征，将连续若干帧所述超声图像的特征结合为特征序列，将特征序列依次输入编码器和解码器，得到掩膜序列后，通过三维卷积，得到每帧超声图像的病灶区域。
11、进一步地，所述消化道结构包括：黏膜层、黏膜下层、固有肌层、浆膜层和浆膜外。
12、进一步地，所述回声情况描述为：无回声、低回声、等回声、高回声或混杂回声。
13、进一步地，所述边界情况描述为：边界清晰或边界不清晰。
14、第二方面，本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序，所述处理器执行所述程序时，执行以下步骤：
15、获取内镜图像，通过部位识别模型和疑似病灶区域目标检查模型，得到所述内镜图像是否存在异常区域的结果，当存在异常区域时，提醒进行超声内镜检查；
16、获取所述超声内镜检查过程中的超声图像，通过图像分割模型，在所述超声图像中分割出若干消化道结构；
17、对每个消化道结构，通过文本描述模型，得到回声情况描述和边界情况描述；
18、基于连续若干帧所述超声图像，通过病灶分割模型，得到每帧所述超声图像的病灶区域，并判断所述病灶区域与每个消化道结构是否存在重叠；
19、基于所述回声情况描述、边界情况描述和重叠情况，生成超声内镜报告。
20、进一步地，还包括：通过所述图像分割模型，在所述超声图像中分割出内镜在超声图像下的圆环区域，并基于所述圆环区域，检测所述超声图像是否有效。
21、第三方面，本发明还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行，该程序被处理器执行时，执行以下步骤：
22、获取内镜图像，通过部位识别模型和疑似病灶区域目标检查模型，得到所述内镜图像是否存在异常区域的结果，当存在异常区域时，提醒进行超声内镜检查；
23、获取所述超声内镜检查过程中的超声图像，通过图像分割模型，在所述超声图像中分割出若干消化道结构；
24、对每个消化道结构，通过文本描述模型，得到回声情况描述和边界情况描述；
25、基于连续若干帧所述超声图像，通过病灶分割模型，得到每帧所述超声图像的病灶区域，并判断所述病灶区域与每个消化道结构是否存在重叠；
26、基于所述回声情况描述、边界情况描述和重叠情况，生成超声内镜报告。
27、进一步地，还包括：通过所述图像分割模型，在所述超声图像中分割出内镜在超声图像下的圆环区域，并基于所述圆环区域，检测所述超声图像是否有效。
28、与现有技术相比，本发明的有益效果是：
29、本发明在超声内镜医师对病变部位进行影像采集时，可自动提取该病灶部位超声内镜检查视频的关键图像和相关信息，结合医学知识库，在对诊断信息分析整合后就可得到规范的超声内镜结构化报告。
30、本发明能够提高超声内镜报告的规范化，提高超声内镜医师工作效率，减少人工输入过程中的错误。
31、本发明附加方面的优点将在下面的描述中部分给出，或通过本发明的实践了解到。
技术特征：
1.一种超声内镜结构化报告自动生成系统，其特征是，包括：
2.如权利要求1所述的一种超声内镜结构化报告自动生成系统，其特征是，所述图像分割模块，还用于通过所述图像分割模型，在所述超声图像中分割出内镜在超声图像下的圆环区域，并基于所述圆环区域，检测所述超声图像是否有效。
3.如权利要求1所述的一种超声内镜结构化报告自动生成系统，其特征是，所述病灶分割模型，将连续若干帧所述超声图像作为输入，利用卷积神经网络提取所述超声图像的特征，将连续若干帧所述超声图像的特征结合为特征序列，将特征序列依次输入编码器和解码器，得到掩膜序列后，通过三维卷积，得到每帧超声图像的病灶区域。
4.如权利要求1所述的一种超声内镜结构化报告自动生成系统，其特征是，所述消化道结构包括：黏膜层、黏膜下层、固有肌层、浆膜层和浆膜外。
5.如权利要求1所述的一种超声内镜结构化报告自动生成系统，其特征是，所述回声情况描述为：无回声、低回声、等回声、高回声或混杂回声。
6.如权利要求1所述的一种超声内镜结构化报告自动生成系统，其特征是，所述边界情况描述为：边界清晰或边界不清晰。
7.一种电子设备，其特征是，包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序，所述处理器执行所述程序时，执行以下步骤：
8.如权利要求7所述的一种电子设备，其特征是，还包括：通过所述图像分割模型，在所述超声图像中分割出内镜在超声图像下的圆环区域，并基于所述圆环区域，检测所述超声图像是否有效。
9.一种存储介质，其特征是，其上存储有计算机程序，该程序被处理器执行，该程序被处理器执行时，执行以下步骤：
10.如权利要求9所述的一种存储介质，其特征是，还包括：通过所述图像分割模型，在所述超声图像中分割出内镜在超声图像下的圆环区域，并基于所述圆环区域，检测所述超声图像是否有效。
技术总结
本发明涉及医学图像处理技术领域，公开了一种超声内镜结构化报告自动生成系统，包括：初步检查模块，用于获取内镜图像，得到所述内镜图像是否存在异常区域的结果，当存在异常区域时，提醒进行超声内镜检查；图像分割模块，用于在超声图像中分割出若干消化道结构；文本生成模块，用于对每个消化道结构，通过文本描述模型，得到回声情况描述和边界情况描述；病灶分割模块，用于基于连续若干帧所述超声图像，得到每帧所述超声图像的病灶区域，并判断所述病灶区域与每个消化道结构是否存在重叠；报告生成模块，用于基于所述回声情况描述、边界情况描述和重叠情况，生成超声内镜报告。能够提高超声内镜报告的规范化，提高超声内镜医师工作效率。
技术研发人员：李真,钟宁,赵雨莎,张国明,许新彦,史珍珍,赖永航,王逸凡,王立梅,王鹏,李广超
受保护的技术使用者：山东大学齐鲁医院
技术研发日：
技术公布日：2024/9/23