基于内核仓库移动网络的轻量级变化检测系统及检测方法

本发明涉及遥感影像变化检测领域，具体是基于内核仓库移动网络的轻量级变化检测系统及检测方法。

背景技术：

1、遥感图像变化检测技术具有巨大的研究意义，被广泛应用于城市规划、灾害评估、生态系统监测、土地利用变化检测等领域。自动的变化检测技术能够能够节省大量的人工和时间成本，从而能极大地促进这些应用的发展。

2、目前，卷积神经网络(cnn)是变化检测领域的主流方法之一。cnn具有固有的局部特征，能够有效地从图像中提取局部特征。另外还有transformer，是由vaswani等人在2017年提出的。在计算机视觉领域，transformer的表现与cnn一样好，甚至更好。transformer是目前变化检测领域最常用的方法之一。

3、上述现有方法以及其他方法虽然都取得了令人满意的效果，但它们仍有一些问题需要解决：一个最具有挑战性的问题是模型参数量大、计算量高，这阻碍了这些方法在现实中的应用和推广，特别是在移动端的应用。现在也有一些轻量级的变化检测网络被提出来，但是轻量级网络和高检测精度往往是不可兼得的，因此检测效果并不理想。

技术实现思路

1、本发明的目的在于提供基于内核仓库移动网络的轻量级变化检测系统及检测方法，它能实现高精度、少参数量、低计算量的变化检测，使得轻量级网络和高检测精度在一定程度上能够兼得，检测效果更加理想，更加实用。

2、本发明为实现上述目的，通过以下技术方案实现：

3、基于内核仓库移动网络的轻量级变化检测系统，包括孪生结构的编码器、双向特征增强模块、双时相特征融合模块、与所述编码器对称的解码器，所述编码器由一个四层的轻量级网络组成，所述解码器具有四层结构，且每层包含一个卷积组块、一个基于内容相似性的特征混合组块和除第四层外的一个多特征融合组块，所述双时相特征融合模块用于融合双时相特征，所述双向特征增强模块用于提取上下文感知能力的特征。

4、进一步的，所述解码器的第一、第二和第三阶段由多特征融合组块(mff组块)、卷积组块(conv组块)和基于内容相似性的特征混合组块(cfm组块)组成，第四阶段由conv组块和cfm组块组成。

5、基于内核仓库移动网络的轻量级变化检测系统的检测方法，包括以下步骤：

6、s1.所述编码器输入由一对双时相图像x1和x2组成，编码器将对其进行特征提取，对于每个输入图像，网络将生成一组多尺度特征xt,1，xt,2，xt,3和xt,4，其中t∈{1,2}；

7、s2.通过所述双向特征增强模块处理步骤s1中编码器生成的特征xt,1，xt,2，xt,3和xt,4，得到{c1,1，c1,2，c1,2，c1,4}和{c2,1，c2,2，c2,3，c2,4}这两组输出；

8、s3.通过所述双时相特征融合模块对所述步骤s3中得到的两组输出特征进行合并操作，最终得到融合后的特征ci；

9、s4.通过所述解码器进行解码。

10、进一步的，所述步骤s2具体为：首先将每个尺度的特征输入到两个卷积层中，分别进行处理，具体过程如下：

11、ft，i＝conv1×1(xt，i)

12、st,i＝conv3×3(xt，i)

13、式中，i∈{1,2,3,4}表示阶段索引，conv1×1表示卷积核大小为1×1的卷积层，而conv3×3表示卷积核大小为3×3的卷积层，ft,i和st,i分别表示这两个卷积层的输出；

14、然后分别通过向上和向下的特征流向对特征st,1,st,2,st,3和st,4进行处理，除了起始特征之外，每个特征流向都为每个阶段得特征带来了新的信息，向上的特征流向向底层特征传递全面的语义信息，而向下的特征流向向高层特征传递局部的细节信息；向上特征流向的特征计算如下：

15、

16、式中，us为上采样操作，具体实现采用双线性差值法，concat指沿着通道维度进行特征拼接操作；向下特征流向的特征计算如下：

17、

18、其中，ds为下采样操作，具体采用最大池化方法实现，通过双向特征流向处理每层的特征后，双向特征增强模块将融合两个特征流向得到的特征和具体处理如下：

19、

20、最后，双向特征增强模块利用残差连接将特征ft,i逐点与pt,i进行相加，具体计算公式如下:

21、ct，i＝ft，i+pt，i

22、ct,1，ct,2，ct,3和ct,4即为双向特征增强模块的最终输出。

23、进一步的，所述步骤s3具体为：计算c1,i和c2,i之间的差值，在得到双时相特征的差值特征后，双时相特征融合模块利用两个卷积层对差值特征进行进一步处理，最终得到融合后的特征ci。

24、进一步的，所述步骤s4具体包括：多特征融合组块的操作过程、卷积组块的操作过程、基于内容相似性的特征混合组块的操作过程；

25、解码器的多特征融合组块：输入包含两个特征：一个是双时相特征融合模块对应阶段生成的特征ci，另一个是第(i+1)阶段生成并上采样的特征

26、ci首先经过3×3卷积处理，也分别通过3×3卷积和1×1卷积进行处理，具体操作为：

27、df1i＝conv3×3(ci)

28、

29、卷积过程结束后，使用通道拼接操作将得到的特征df1i和合并在一起，然后，使用3×3卷积来减少特征通道的数量，

30、

31、将融合后的特征通过残差连接添加到中，相加后的特征dfi是多特征融合组块的输出，

32、

33、进一步的，解码器的卷积组块用于提取局部特征，主要由两个卷积层和一个残差连接组成，卷积组块的具体实现公式如下：

34、dc1i＝conv3×3(dfi)

35、dc2i＝conv3×3(dc1i)

36、dci＝dc1i+dc2i。

37、进一步的，解码器的基于内容相似性的特征混合组块能够提取长期特征，与卷积组块互补，基于内容相似性的特征混合组块的工作流程为：

38、首先，基于内容相似性的特征混合组块使用相似性预测模块为每个令牌找到内容最相似的k个令牌n(dci)∈rb×h×w×k，同时基于内容相似性的特征混合组块利用一个1×1卷积对特征dci进行处理，

39、dm1i＝conv1×1(dci)

40、接着，基于内容相似性的特征混合组块使用一个特征混合模块根据n(dci)更新特征dm1i，特征混合模块根据n(dci)组成一个新的特征dm2i∈r(b×h×w)×c×k，并利用一个核大小为k的一维卷积处理特征dm2i，

41、dm3i＝conv1dk(dm2i)

42、随后，基于内容相似性的特征混合组块利用一个拼接操作将更新后的特征dm3i与dci在通道维度合并到一起，并利用一个1×1卷积进一步处理合并后的特征，

43、dm4i＝conv3×3(concat(dm3i,dci))

44、最后，基于内容相似性的特征混合组块利用一个残差连接将dm4i与dci进行逐点相加操作，

45、dmi＝dm4i+dci

46、dmi便是基于内容相似性的特征混合组块的最终输出。

47、对比现有技术，本发明的有益效果在于：

48、本发明提出了一个轻量级的变化检测网络，该网络主要是基于移动网络的，并且利用内核仓库卷积替换了移动网络中的静态卷积；还设置了一个双向特征增强模块，该模块包含两个特征流向，其中一个特征流向从网络的高层流向低层，使得每一层的特征都能感知到更高层的语义信息，另一个特征流向从网络的低层流向高层，使得每一层的特征都能感受到更低层的细节信息；设计了一个基于内容相似性的特征混合组块，该组块根据图像令牌之间的相似性，在全局空间范围内为每个令牌寻找内容相似的令牌，然后利用这些相似的令牌对其进行内容的更新，该组块能够不受空间距离的限制在相似的令牌之间建立关联，因而该组块具有提取长期特征的能力，使得本发明能实现高精度、少参数量、低计算量的变化检测，使得轻量级网络和高检测精度在一定程度上能够兼得，检测效果更加理想，更加实用。

技术特征：

1.基于内核仓库移动网络的轻量级变化检测系统，其特征在于：包括孪生结构的编码器、双向特征增强模块、双时相特征融合模块、与所述编码器对称的解码器，所述编码器由一个四层的轻量级网络组成，所述解码器具有四层结构，且每层包含一个卷积组块、一个基于内容相似性的特征混合组块和除第四层外的一个多特征融合组块，所述双时相特征融合模块用于融合双时相特征，所述双向特征增强模块用于提取上下文感知能力的特征。

2.根据权利要求1所述基于内核仓库移动网络的轻量级变化检测系统，其特征在于：所述解码器的第一、第二和第三阶段由多特征融合组块(mff组块)、卷积组块(conv组块)和基于内容相似性的特征混合组块(cfm组块)组成，第四阶段由conv组块和cfm组块组成。

3.根据权利要求1或2所述基于内核仓库移动网络的轻量级变化检测系统的检测方法，其特征在于：包括以下步骤：

4.根据权利要求3所述基于内核仓库移动网络的轻量级变化检测系统的检测方法，其特征在于：所述步骤s2具体为：首先将每个尺度的特征输入到两个卷积层中，分别进行处理，具体过程如下：

5.根据权利要求1所述基于内核仓库移动网络的轻量级变化检测系统的检测方法，其特征在于：所述步骤s3具体为：计算c1,i和c2,i之间的差值，在得到双时相特征的差值特征后，双时相特征融合模块利用两个卷积层对差值特征进行进一步处理，最终得到融合后的特征ci。

6.根据权利要求1所述基于内核仓库移动网络的轻量级变化检测系统的检测方法，其特征在于：所述步骤s4具体包括：多特征融合组块的操作过程、卷积组块的操作过程、基于内容相似性的特征混合组块的操作过程；

7.根据权利要求6所述基于内核仓库移动网络的轻量级变化检测系统的检测方法，其特征在于：解码器的卷积组块用于提取局部特征，主要由两个卷积层和一个残差连接组成，卷积组块的具体实现公式如下：

8.根据权利要求6所述基于内核仓库移动网络的轻量级变化检测系统的检测方法，其特征在于：解码器的基于内容相似性的特征混合组块能够提取长期特征，与卷积组块互补，基于内容相似性的特征混合组块的工作流程为：

技术总结
本发明公开了基于内核仓库移动网络的轻量级变化检测系统及检测方法。主要涉及遥感影像变化检测领域。包括孪生结构的编码器、双向特征增强模块、双时相特征融合模块、与所述编码器对称的解码器，所述编码器由一个四层的轻量级网络组成，所述解码器具有四层结构，且每层包含一个卷积组块、一个基于内容相似性的特征混合组块和除第四层外的一个多特征融合组块，所述双时相特征融合模块用于融合双时相特征，所述双向特征增强模块用于提取上下文感知能力的特征。本发明的有益效果在于：能实现高精度、少参数量、低计算量的变化检测，使得轻量级网络和高检测精度在一定程度上能够兼得，检测效果更加理想，更加实用。

技术研发人员：汪烈军,张翠
受保护的技术使用者：新疆大学
技术研发日：
技术公布日：2024/9/23