一种基于文本情感特征和多级融合的多模态虚假新闻检测方法及系统
本发明涉及虚假新闻检测，具体为一种基于文本情感特征和多级融合的多模态虚假新闻检测方法及系统。
背景技术：
1、虚假新闻被定义为制造者故意编造的、并可以通过其他来源确认结果是虚假的新闻。如何验证社交媒体上发布的新闻的真实性，仍然是虚假新闻检测研究领域的一个挑战，针对这一重大挑战，已有大量研究报道，而现有研究大多将假新闻检测视为一种二元分类任务；
2、现有技术中的，公开号为cn117391051 b公开了一种融合情感的共同注意网络多模态虚假新闻检测方法，该方法包括如下步骤：首先将新闻数据集进行清洗筛选之后，输入到特征提取器和特征编码器中获取各种深层次多模态特征，接下来将各种深层次多模态特征输入到共同注意融合网络和注意力机制模块中进行特征融合，最后将所得最终特征输入到预测分类模块中对新闻进行分类和预测，通过对多模态信息由浅到深的特征提取提升了模型的性能、泛化能力和解释性，同时降低计算复杂度，并且利用共同注意融合网络以及注意力机制将多模态信息进行有效的融合以及在不同模态之间建立关联，使虚假新闻检测模型的分类和预测效果能够显著提升；
3、又如公开号为cn115982350a公开了基于多模态transformer的虚假新闻检测方法，包括通过视觉transformer图像特征提取器提取新闻中的图像特征，通过roberta文本特征提取器提取新闻中的文本特征，将提取后的图像特征和文本特征送入共同注意力模块进行多模态特征融合，将融合特征输入至虚假新闻检测器，以生成预测新闻是真假新闻的概率，同时通过meet与其他基线模型对虚假新闻检测的结果进行对比，使用视觉transfomer作为图像特征提取器，以相同的方式处理不同模态的输入，在虚假新闻检测任务中引入端到端预训练，并在twi tter数据集上与没有经过预训练的meet模型进行了对比分析，实验结果验证了端到端预训练方法的优越性，meet模型可以通过图像输入补充信息，有助于提升模型检测性能；
4、在逐渐成熟的信息技术背景下，虚假新闻的检测与识别变得尤为重要，虽然在多模态数据处理方面已有显著的技术突破，尤其是融合了文本、图像和视频等多模态信息的分析方法，但现有技术在处理和融合这些多模态数据时仍面临不少挑战，现有方法例如公开号为cn117391051b的技术，通过共同注意网络和注意力机制优化了特征融合，这确实提升了模型性能和解释性，但在情感连贯性和场景一致性分析上尚未能提供充分的解决方案；同样地，公开号为cn115982350a的方法虽然通过视觉transformer和roberta等先进技术取得了进步，但在处理复杂场景和生物表征数据方面，这些技术依然显示出边界；
5、对于含有新闻视频的虚假新闻叙述，为了抓住读者的兴趣，使虚假新闻看起来更客观和现实，在新闻内容中使用具有误导性的术语或事件引导读者产生消极或积极的情绪，而在多模态融合阶段大多融合方法忽略了不同模态间的信息交互，导致多模态特征融合不够充分，无法准确反映多模态特征；
6、本发明针对上述技术不足，提出了一种改进的基于文本情感特征和多级融合的多模态虚假新闻检测方法及系统，首先，本方法对现有技术中的特征提取和融合策略进行了优化，特别是在生物表征数据和场景一致性数据的使用上，提供了更为精细的分析途径；
7、如何通过整合生物表征数据和场景一致性数据，构建了一个校准调整模型，用于提升虚假新闻检测的准确性和鲁棒性，且该模型利用全连接网络进行微调，增强了系统在复杂场景下的性能，同时通过深入分析生物表征和情感连贯性，提供了一个全面且精确的检测框架，有效提高了系统的可靠性和实用性，是当下需要解决的技术问题；
8、在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
1、本发明的目的在于提供一种基于文本情感特征和多级融合的多模态虚假新闻检测方法及系统，以解决上述背景技术中提出的问题。
2、为实现上述目的，本发明提供如下技术方案：
3、一种基于文本情感特征和多级融合的多模态虚假新闻检测方法，具体步骤包括：
4、步骤s1，获取新闻的文本数据和图像数据，利用bert模型和vgg-19模型提取新闻数据的文本特征和图像特征；利用skep模型提取文本数据的情感极性特征；
5、步骤s2，利用协同注意力机制将文本特征和图像特征放入一级融合层进行融合，得到一级多模态特征；
6、步骤s3，利用拼接融合方法将一级多模态特征与文本情感极性特征进行二级融合，得到多模态特征；
7、步骤s4，利用全连接网络作为分类器对多模态特征进行分类，从而实现虚假新闻检测；
8、步骤s5、获取新闻视频数据中人物的生物表征数据和场景一致性数据，并进行特征提取，生物表征数据包括唇语匹配度、瞳孔变化量、眨眼频率、面部表情变化参数和语音情感特征参数；场景一致性数据包括场景转换频率、场景亮度变化值；
9、步骤s6、获取唇语匹配度、瞳孔变化量、眨眼频率后进行分析处理，生成第一评价指数，该指数用于对视频中人物的生物数据偏离度进行评价；
10、步骤s7、获取面部表情变化参数和语音情感特征参数后进行分析处理，生成情感连贯性系数，该系数用于对情感连贯性进行得分评价；
11、步骤s8、获取场景转换频率、场景亮度变化值后进行分析处理，生成第二评价指数，该指数用于对视频中人物的场景数据偏离度进行评价；
12、步骤s9、获取第一评价指数、第二评价指数和情感连贯性系数，构建校准调整模型，该模型用于对步骤s4中的虚假新闻检测结果进行校准微调。
13、进一步地，获取第一评价指数、第二评价指数和情感连贯性系数，构建校准调整模型，该模型用于对步骤s4中的虚假新闻检测结果进行校准微调，具体包括以下内容：
14、引入基于多级融合的融合函数ffusion和一个调整函数fadjust；
15、ffusion(e1,e2,c)＝w8·e1+w9·e2+w10·c
16、其中，w8、w9、w10分别是非负数权重因子，用于调整每个指数在融合结果中的影响力，各权重之和为1；
17、使用归一化函数对融合结果进行归一化处理，使其在一个预定的值域内：
18、
19、其中，fmin和fmax分别代表ffusion的最小值和最大值，而vmin和vmax分别代表归一化后的值域的最小值和最大值；
20、最后，应用一个校准调整函数fadjust对归一化后的融合结果进行调整，以得到最终的校准调整评分sadjusted：
21、sadjusted＝fadjust(fnorm)＝d1·log(d2·fnorm+1)
22、其中，d1和d2是调整参数，用于控制调整的幅度和方向；e1为第一评价指数，e2为第二评价指数，c为情感连贯性系数，fnorm为归一化后的融合结果，n为归一化函数；
23、通过设置vmin＝0和vmax＝10，确保sadjusted的值域为0到10；
24、sadjusted值越接近0，表示虚假新闻的可能性越低，sadjusted值越接近10，表示虚假新闻的可能性越高。
25、一种基于文本情感特征和多级融合的多模态虚假新闻检测系统，所述系统用于执行所述的基于文本情感特征和多级融合的多模态虚假新闻检测方法，包括：
26、数据预处理与特征提取模块：用于获取新闻的文本数据和图像数据，利用bert模型和vgg-19模型提取新闻数据的文本特征和图像特征；利用skep模型提取文本数据的情感极性特征；
27、一级多模态融合模块：用于利用协同注意力机制将文本特征和图像特征放入一级融合层进行融合，得到一级多模态特征；
28、二级多模态融合模块：用于利用拼接融合方法将一级多模态特征与文本情感极性特征进行二级融合，得到多模态特征；
29、虚假新闻检测模块：用于利用全连接网络作为分类器对多模态特征进行分类，从而实现虚假新闻检测；
30、生物与场景特征提取单元：用于获取新闻视频数据中人物的生物表征数据和场景一致性数据，并进行特征提取，生物表征数据包括唇语匹配度、瞳孔变化量、眨眼频率、面部表情变化参数和语音情感特征参数；场景一致性数据包括场景转换频率、场景亮度变化值；
31、生物数据评价单元：用于获取唇语匹配度、瞳孔变化量、眨眼频率后进行分析处理，生成第一评价指数，该指数用于对视频中人物的生物数据偏离度进行评价；
32、情感连贯性评价单元：用于获取面部表情变化参数和语音情感特征参数后进行分析处理，生成情感连贯性系数，该系数用于对情感连贯性进行得分评价；
33、场景数据评价单元：用于获取场景转换频率、场景亮度变化值后进行分析处理，生成第二评价指数，该指数用于对视频中人物的场景数据偏离度进行评价；
34、校准微调模型单元：用于获取第一评价指数、第二评价指数和情感连贯性系数，构建校准调整模型，该模型用于对步骤s4中的虚假新闻检测结果进行校准微调。
35、与现有技术相比，本发明的有益效果是：
36、1、通过bert模型和vgg-19模型提取文本和图像特征，通过skep模型提取文本数据中的情感特征，为多模态虚假新闻检测提供更完善的判断依据，然后使用协同注意力机制融合文本和图像特征，使两种模态信息产生交互，增强融合程度，最后使用拼接融合文本情感特征和文本图像多模态特征，多级融合可以防止高维表示支配其他低维表示；
37、2、通过结合唇语匹配度、瞳孔变化量、眨眼频率等生物表征数据，以及场景转换频率和场景亮度变化值等场景一致性数据，本发明能够更细致地刻画并评估新闻内容的真实性；
38、其次，本发明在处理多模态数据的策略上，提出了一个校准调整模型，该模型利用全连接网络作为分类器，对步骤s4中的虚假新闻检测结果进行校准微调，弥补了现有技术在复杂多变场景下的鲁棒性不足，不仅在多模态数据分析方面取得了创新，而且通过细致的生物特征和情感特征分析，为虚假新闻的检测提供了一种新的技术途径，这些改进有望显著提高虚假新闻检测的性能，特别是在应对日益精细化和复杂化的虚假新闻传播手段时，显示出本发明的实际应用价值和广阔的发展前景。
技术特征：
1.一种基于文本情感特征和多级融合的多模态虚假新闻检测方法，其特征在于，具体步骤包括：
2.根据权利要求1所述的一种基于文本情感特征和多级融合的多模态虚假新闻检测方法，其特征在于：所述获取新闻的文本数据和图像数据，利用bert模型和vgg-19模型提取新闻数据的文本特征和图像特征，利用skep模型提取文本数据的情感极性特征；具体包括以下内容：
3.根据权利要求2所述的一种基于文本情感特征和多级融合的多模态虚假新闻检测方法，其特征在于：所述利用协同注意力机制将文本特征和图像特征放入一级融合层进行融合，得到一级多模态特征，具体包括以下内容：
4.根据权利要求3所述的一种基于文本情感特征和多级融合的多模态虚假新闻检测方法，其特征在于：所述生物表征数据特征提取如下：
5.根据权利要求4所述的一种基于文本情感特征和多级融合的多模态虚假新闻检测方法，其特征在于：所述获取唇语匹配度、瞳孔变化量、眨眼频率后进行分析处理，生成第一评价指数，该指数用于对视频中人物的生物数据偏离度进行评价，具体包括以下内容：
6.根据权利要求5所述的一种基于文本情感特征和多级融合的多模态虚假新闻检测方法，其特征在于：所述获取面部表情变化参数和语音情感特征参数后进行分析处理，生成情感连贯性系数，该系数用于对情感连贯性进行得分评价，具体包括以下内容：
7.根据权利要求6所述的一种基于文本情感特征和多级融合的多模态虚假新闻检测方法，其特征在于：所述获取场景转换频率、场景亮度变化值后进行分析处理，生成第二评价指数，该指数用于对视频中人物的场景数据偏离度进行评价，具体包括以下内容：
8.根据权利要求7所述的一种基于文本情感特征和多级融合的多模态虚假新闻检测方法，其特征在于：获取第一评价指数、第二评价指数和情感连贯性系数，构建校准调整模型，该模型用于对步骤s4中的虚假新闻检测结果进行校准微调，具体包括以下内容：
9.根据权利要求8所述的一种基于文本情感特征和多级融合的多模态虚假新闻检测方法，其特征在于：将sadjusted值域((0,10))划分为三个区间：
10.一种基于文本情感特征和多级融合的多模态虚假新闻检测系统，其特征在于：所述系统用于执行权利要求1-9任意一项所述的基于文本情感特征和多级融合的多模态虚假新闻检测方法，包括：
技术总结
本发明提供一种基于文本情感特征和多级融合的多模态虚假新闻检测方法及系统，涉及虚假新闻检测技术领域，本发明通过结合BERT、VGG‑19和SKEP模型来提取文本、图像和情感特征；通过协同注意力机制，实现了文本和图像特征的深度融合，增强了不同模态之间的交互，进一步通过多级融合策略保证了综合特征的均衡表达；此外，本发明细致考虑了生物表征数据和场景一致性数据，以及通过全连接网络的校准调整模型，显著提升了虚假新闻检测的准确性和鲁棒性；为虚假新闻的检测提供了一种全面、精确的技术途径，有望显著提高对日益复杂化的虚假新闻传播手段的检测性能，具有重要的实际应用价值和发展前景。
技术研发人员：王晓强,夏旭,齐承睿
受保护的技术使用者：内蒙古工业大学
技术研发日：
技术公布日：2024/9/23