一种基于深度学习和功能性近红外光谱数据的第二语言学习中数学干扰识别方法、设备和介质

本发明涉及信息技术、数据挖掘和人工智能领域，具体涉及一种利用深度学习模型和功能性近红外光谱数据来检测识别英语作为第二语言学习过程中的数学干扰的方法、设备和介质。

背景技术：

1、英语作为全球最广泛使用的语言之一，在教育和国际交流中扮演着至关重要的角色。随着全球化的不断深入，英语教育已经成为非英语母语国家教育体系的重要组成部分。学习者不仅需要掌握基本的语言技能，还要能够运用英语进行复杂的认知活动，如数学逻辑推理。数学训练是否会为英语阅读增加认知负荷，一直是教育实践中亟待解释的谜题。然而，现有研究多集中于英语学习的行为观察层面，对于如何利用人工智能和神经科学技术深入理解学习过程中的数学干扰现象，以及如何通过数据驱动的方法提高英语学习效率，尚缺乏深入探索。

2、在英语学习领域，智能化的认知辅助工具的开发受到了广泛关注。目前具有代表性的国际化研究是high-level mathematical thinking for l2 phonologicalprocessing（hmt-l2pp），该研究针对中文为母语的学习者，收集了英语学习行为观测数据，揭示了高水平数学思维对中国人将英语作为第二语言学习时，语音处理活动受数学干扰的影响机制，揭示了第二语言习得与数学思维能力之间的紧密联系，涵盖了数学计算、逻辑推理和视觉理解等方面。英语阅读的流利度要求在言语产生和理解上的熟练，同时需要理解他人传递信息背后的逻辑结构。大脑的不同区域，如布洛卡区和韦尼克区，在语言处理中扮演着关键角色，而理解他人意图和预测则主要涉及颞顶交界区和内侧前额叶皮质，大量证据支持数学逻辑思考与言语活动及社会交往之间的密切关系。

3、尽管已有研究建立了语言学习与数学思维之间的联系，但当前的英语教育研究主要依赖行为分析，通过观察和问卷调查等手段来评估学习效果。这些方法虽然能够提供一定的信息，但对于揭示学习者在认知层面上的数学干扰现象，以及如何通过神经科学方法来优化学习策略，存在明显的局限性。此外，由于大脑活动的复杂性，单纯依赖行为分析难以全面理解学习过程中的内在机制。

4、为了克服这些局限性，本发明提出了一种基于深度学习模型和功能性近红外光谱数据（functional near-infrared spectroscopy,fnirs）的英语学习中数学干扰检测方法。fnirs作为一种新兴的神经影像技术，能够无创地测量大脑皮层的血氧活动，为研究大脑功能提供了一种有效的工具。结合本发明提出的注意力增强的长短时记忆网络（attention-augmented long short-term memory, ac-lstm）架构，不仅能够实时监测学习者的不同脑区通道的活动，还能够对数据进行分析和识别，从而揭示数学训练对英语学习者脑功能的具体影响。

技术实现思路

1、本发明所要解决的技术问题是，现有英语作为第二语言学习研究中，对学习者在认知层面上的大脑活动理解不足，尤其是在英语学习过程中数学干扰对学习效率的影响缺乏深入的神经科学证据。传统的研究方法主要依赖行为分析，未能充分揭示大脑内部的神经机制，特别是在处理语言和数学逻辑时大脑区域的活动和交互。为了克服这些限制，本发明提出了一种创新的检测方法，该方法通过功能性近红外光谱(fnirs)技术采集学习者在进行英语阅读和数学训练任务时的大脑活动数据，利用ac-lstm深度学习模型结合关联性分析算法，对学习过程中的数学干扰进行准确识别和量化分析，找出被激活的关键脑区，以及脑区之间的关联关系。

2、本发明通过下述技术方案实现：

3、本发明第一方面一种基于深度学习和功能性近红外光谱数据的第二语言学习中数学干扰识别方法，包括以下具体步骤：

4、s1、利用慧创nirsmart ii-3000a头帽分别获取学习者在纯英语阅读以及加入数学训练任务时的大脑互动数据，捕获头帽对应49个通道上的血液动力学信号，覆盖脑区包括了额叶、颞叶、顶叶和枕叶等，以实现对大脑整体功能的监测和分析；

5、s2、通过beer-lambert定律计算局部氧合血红蛋白(oxygenated hemoglobin,hbo)和脱氧血红蛋白(eoxygenated hemoglobin,hbr)浓度的变化,将原始fnirs信号提取并转换为结构化数据，以便于在深度学习模型中进行特征提取和分类;

6、s3、构建基于注意力增强的长短期记忆网络(ac-lstm)深度学习模型，该模型集成了lstm模块、多头注意力机制和分类器，通过融合注意力机制架构和时序特征，实现对英语学习者大脑中的数学干扰进行检测识别；

7、s4、通过梯度提升决策树(gradient boosting decision tree,gbdt)模型的网格搜索算法，从49个通道中识别出与数学干扰存在显著相关性的关键脑功能通道，并通过对比分析，可视化展示出这些通道在不同学习任务中的活动水平差异，从而揭示数学训练对英语学习者大脑特定区域活动的影响；

8、s5、将49个通道与23脑兴趣区域（roi,regions of interest）进行对应，利用关联规则方法量化不同脑区间的相互关系，并以图结构（graph）形式可视化表示，揭示数学干扰对纯英语学习组和数学训练组脑区活动模式的影响，分析关键脑区活动的变化幅度。

9、本发明根据英语学习活动前是否进行了数学思维训练，将英语学习者分为了两个组进行对照，即无干扰的纯英语阅读组和包含数学干扰组；使用nirsmart ii-3000a头帽获取英语学习者所有过程性的fnirs数据后，采用自主构建的ac-lstm深度网络架构，检测出英语学习过程中的数学干扰信号，并对三种不同的数学干扰进行分类；而后，使用网格搜索方法，迭代的将不同脑通道信号带入模型，搜索出受数学干扰最为明显的通道并完成可视化；最后，使用关联规则算法，依据23个脑区之间的关联支持度和置信度对关联性最强的脑区进行可视化分析，对英语学习任务中数学所导致的脑区动态变化进行可视化展示，从而为理解大脑在多任务处理中的资源分配和性能优化提供科学依据。

10、进一步地，所述用于检测英语学习过程中数学干扰的深度网络架构ac-lstm融合了lstm模块、transformer模块和分类模块；其中，transformer模块叠加在lstm模块之后，主要作用是通过注意力增强机制提升长短时记忆网络（lstm）对序列数据中关键信息的捕捉能力，该ac-lstm架构具体包括：

11、lstm模块包含了处理一维向量的存储单元，通过构建输入门(）、遗忘门(）和输出门(）机制调节信息流，使网络能够顺序处理输入序列，以学习复杂的时间关联。

12、所述输入门()根据当前输入和上一时间步的输出，以及遗忘门的权重，控制新信息的流入比例，生成新的状态；输入门主要功能在于，允许网络选择性地更新记忆单元的内容，保留与当前任务相关的信息；

13、所述遗忘门()根据当前输入和上一时间步的输出，确定哪些信息应该从记忆单元中丢弃，哪些应该保留，从而对先前状态进行筛选，确保网络不会受到无关信息的干扰；

14、所述输出门()根据更新后的状态决定每个时间步的输出值，并通过归一化处理控制信息的输出比例，确保网络的输出反映了当前状态最重要的脑信号时序信息。

15、进一步地，所述transformer模块包括了自注意力机制的集成单元、编码器-解码器单元、多头注意力单元、嵌入向量与序列转换单元、注意力归一化衰减提取单元，具体描述如下：

16、所述自注意力机制的集成单元，用于对lstm模块输出的一维时间序列中的所有信息进行处理，从而高效捕捉序列中的全局特征；

17、所述编码器-解码器单元由编码器和解码器两部分组成，编码器接收与学习者英语阅读能力相关的时序片段输入，解码器则负责将响应记录和注意力编码值进行线性变换，以生成选定的特征表示；

18、所述多头注意力单元，通过多头注意力机制并行处理多个子空间的输入参数，利用缩放点积函数计算值矩阵的加权和，增强模型对输入数据不同部分的重要性进行识别；

19、所述嵌入向量与序列转换单元，用于接受学习者的历史学习记录并转换为嵌入向量，通过编码器模块转换成查询矩阵、键矩阵和值矩阵，这些矩阵作为可训练的参数矩阵，用于后续的注意力计算和特征提取；

20、所述注意力归一化衰减提取单元，使用层归一化技术对特征矩阵进行标准化处理，确保数据遵循标准正态分布，通过解码器的线性变换，从历史数据中提取注意力衰减系数，这些系数随后被用于知识状态的计算模块，输出到最终的全连接分类模块。

21、进一步地，分类模块，通过softmax全连接神经网络对transformer模块的输出进行整合，用来对学习者当前时刻下的状态序列，是否包含数学干扰进行检测分类。

22、本发明第二方面一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现一种基于深度学习和功能性近红外光谱数据的第二语言学习中数学干扰识别方法。

23、本发明第三方面一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现一种基于深度学习和功能性近红外光谱数据的第二语言学习中数学干扰识别方法。

24、本发明与现有技术相比，具有如下的优点和有益效果：

25、1.根据是否经过数学训练，通过分组分别获取学习者在英语学习过程中的过程性数据，建立数学对英语学习干扰识别的专用数据集，结合深度学习和功能性近红外光谱数据，能够精准的识别出英语学习过程中的数学干扰。相比传统的基于行为观察的方法，本发明从人工智能和教育神经的交叉学科视角进数据挖掘，所采用的技术方案能够客观的反映出学习过程中的脑神经信号变化，为教育决策提供数据支撑。

26、2.本发明提出的用于数学认知残留识别的ac-lstm模型，通过结合transformer模型的自注意力机制和lstm的时序分析能力，能够有效的从fnirs数据中提取特征，并准确预测出学习者在英语学习过程中大脑内部的数学干扰状态。实验结果表明，ac-lstm模型在二分类任务中达到了99.8%的准确率，显著优于传统机器学习和其它深度学习模型。

27、3.ac-lstm模型在对英语学习者在不同数学干扰（代数、几何、量表）以及纯英语阅读任务中的大脑活动进行分类方面表现出优异性能。该模型利用lstm网络的时序分析能力和transformer模块的自注意力机制，有效地整合了时间序列特征和全局上下文信息，实现了对四类不同认知负荷状态的精确区分，准确率达到了75.9%。

28、4.本发明利用网格搜索策略和梯度提升决策树（gbdt）方法，高效筛选出与数学训练任务最相关的脑部通道特征，并通过关联规则分析揭示了数学干扰对大脑活动模式的影响，特别是对右脑布洛卡区（r-broca）的抑制作用和左脑布洛卡区（l-broca）的激活作用。此外，通过图结构可视化技术，展示了英语阅读活动在数学干扰前后大脑网络结构的变化，从而为理解大脑如何在多任务学习中分配资源和优化性能提供了新的视角。

技术特征：

1.一种基于深度学习和功能性近红外光谱数据的第二语言学习中数学干扰识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于深度学习和功能性近红外光谱数据的第二语言学习中数学干扰识别方法，其特征在于，所述fnirs设备为慧创落地式近红外脑功能成像头帽nirsmart ii-3000a，该设备用于采集学习者在进行英语阅读和数学任务时大脑皮层的血液动力学信号，包括氧合血红蛋白和脱氧血红蛋白的浓度变化。

3.根据权利要求1所述的一种基于深度学习和功能性近红外光谱数据的第二语言学习中数学干扰识别方法，其特征在于，所述通道数量为49个，对应于大脑皮层的23个不同区域，包括但不限于额叶、颞叶、顶叶和枕叶等，以实现对大脑整体功能的监测和分析。

4.根据权利要求1所述的一种基于深度学习和功能性近红外光谱数据的第二语言学习中数学干扰识别方法，其特征在于，使用ac-lstm深度学习模型进行数学干扰识别，所述ac-lstm模型具体包括：

5.根据权利要求4所述的ac-lstm深度学习模型，其特征在于，所述lstm模块为双向lstm模块，包括两个单向lstm模块，一个按正向时间序列编码输入特征，另一个按逆向编码，以利用时间相关性减轻信息不平衡。

6.根据权利要求1所述的一种基于深度学习和功能性近红外光谱数据的第二语言学习中数学干扰识别方法，其特征在于，所述关键脑功能通道筛选并可视化的数量为20个，这些通道与大脑皮层的特定区域相关联，包括但不限于右脑布洛卡区(r-broca)、左脑布洛卡区(l-broca)、左运动感觉区(l-motor sensory)和右运动感觉区(r-motor sensory)等，通过对比分析这些通道在不同学习任务中的活动水平差异，揭示数学训练对英语学习者大脑特定区域活动的影响。

7.根据权利要求1所述的一种基于深度学习和功能性近红外光谱数据的第二语言学习中数学干扰识别方法，其特征在于，所述脑兴趣区域的数量为23个，且每个区域对应于至少一个fnirs通道。

8.根据权利要求1所述的一种基于深度学习和功能性近红外光谱数据的第二语言学习中数学干扰识别方法，其特征在于，所述关联规则方法使用支持度和置信度两个超参数来控制强关联规则，具体的，将支持度和置信度的阈值分别设置为0.35和0.8，即同时高于这两个阈值的项集被定义为强关联规则，以保证规则的可靠性和有效性。

9.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1所述的一种基于深度学习和功能性近红外光谱数据的第二语言学习中数学干扰识别方法。

10.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1所述的一种基于深度学习和功能性近红外光谱数据的第二语言学习中数学干扰识别方法。

技术总结
本发明公开了一种基于深度学习和功能性近红外光谱数据的第二语言学习中数学干扰识别方法、设备和介质；利用功能性近红外光谱(fNIRS)技术采集学习者在英语阅读和数学任务时的大脑活动数据，并结合注意力增强的长短期记忆网络(AC‑LSTM)深度学习模型进行特征提取和分类，从而准确识别和量化学习过程中的数学干扰；通过梯度提升决策树(GBDT)模型的网格搜索算法筛选出与数学干扰显著相关的关键脑功能通道，并利用关联规则方法量化不同脑区间的相互关系，以图结构形式可视化表示，能够有效揭示数学干扰对英语学习脑区活动模式的影响，为开发个性化的教学策略和提高学习效率提供科学依据。

技术研发人员：梁智杰,杨娟,王玲,孙波,苏建宇,梁婷,吴祉豪,何浩
受保护的技术使用者：四川师范大学
技术研发日：
技术公布日：2024/9/23