数据融合方法、装置、设备及存储介质与流程

本发明涉及数据融合，尤其涉及一种数据融合方法、装置、设备及存储介质。

背景技术：

1、物联网是一种将现实物理世界与网络虚拟世界相连接的技术，通过感知终端、网络和平台，实现对物理世界的感知、控制和智能化。物联网的海量设备产生了海量的多源异构数据，如传感器数据、图像数据、视频数据、文本数据、语音数据等，由于这些数据具有多样性、动态性、不确定性、不完整性、多源、结构不一致等特点，所以对于物联网数据的处理变得异常繁琐。

2、目前在对物联网数据进行处理之前，会直接对物联网数据进行收集，由此会导致大量无关或冗余的数据被纳入系统，使得对物联网数据的分析变得困难。

技术实现思路

1、本发明的主要目的在于提供一种数据融合方法、装置、设备及存储介质，旨在解决目前对物联网数据的处理方法使得对物联网数据的分析变得困难的问题。

2、为实现上述目的，本发明提供一种数据融合方法，所述方法包括：

3、获取感知数据；

4、将所述感知数据输入到预先构建的数据采集模型，得到关键数据，所述数据采集模型是基于机器学习模型训练得到的；

5、将所述关键数据输入到预先构建的数据处理模型，得到融合后的数据，所述数据处理模型是基于深度学习模型训练得到的。

6、可选地，所述获取感知数据的步骤之前包括：

7、获取样本数据；

8、基于预设的数据价值评估指标对所述样本数据进行标注，得到标注后的数据；

9、将所述标注后的数据输入所述机器学习模型进行训练，得到训练结果；

10、基于所述训练结果对所述机器学习模型进行模型评估和超参数调优，得到所述数据采集模型。

11、可选地，所述获取感知数据的步骤之前包括：

12、获取原始数据；

13、对所述原始数据进行预处理，得到预处理后的数据；

14、对所述预处理后的数据进行特征处理和转换，得到关键特征；

15、基于所述关键特征设计得到所述深度学习模型；

16、将所述预处理后的数据输入所述深度学习模型进行训练，得到训练结果；

17、基于所述训练结果优化所述深度学习模型的模型参数和/或最小化所述深度学习模型的损失函数；

18、对所述深度学习模型进行模型评估和超参数调优，得到所述数据处理模型。

19、可选地，所述将所述感知数据输入到预先构建的数据采集模型，得到关键数据的步骤之后包括：

20、将所述关键数据依照预先预测得到的数据传输路径进行传输，所述数据传输路径是基于预先构建的数据传输模型预测得到的；

21、所述将所述关键数据输入到预先构建的数据处理模型，得到融合后的数据的步骤包括：

22、将传输后的关键数据输入到所述预先构建的数据处理模型，得到所述融合后的数据。

23、可选地，所述将所述关键数据输入到预先构建的数据处理模型，得到融合后的数据的步骤之后包括：

24、基于预先构建的分布式账本模型存储所述融合后的数据，所述分布式账本模型是基于区块链构建得到的。

25、可选地，所述基于预先构建的分布式账本模型存储所述融合后的数据的步骤包括：

26、将所述融合后的数据存储于分布式存储系统中，得到存储数据；

27、使用智能合约技术定义所述存储数据的验证规则和访问权限；

28、使用区块链节点记录所述存储数据的变更历史。

29、可选地，所述将所述融合后的数据输入到预先构建的分布式账本模型进行存储的步骤之后包括：

30、通过预先构建的物联网应用模型对存储的数据进行分析、预测和挖掘中的至少一项，得到可应用的数据。

31、本发明实施例还提出一种数据融合装置，所述装置包括：

32、数据获取模块，用于获取感知数据；

33、数据采集模块，用于将所述感知数据输入到预先构建的数据采集模型，得到关键数据，所述数据采集模型是基于机器学习模型训练得到的；

34、数据处理模块，用于将所述关键数据输入到预先构建的数据处理模型，得到融合后的数据，所述数据处理模型是基于深度学习模型训练得到的。

35、本发明实施例还提出一种设备，所述设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据融合程序，所述数据融合程序被所述处理器执行时实现如上所述的数据融合方法。

36、本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有数据融合程序，所述数据融合程序被处理器执行时实现如上所述的数据融合方法。

37、本发明实施例提出的数据融合方法、装置、设备及存储介质，获取感知数据；将所述感知数据输入到预先构建的数据采集模型，得到关键数据，所述数据采集模型是基于机器学习模型训练得到的；将所述关键数据输入到预先构建的数据处理模型，得到融合后的数据，所述数据处理模型是基于深度学习模型训练得到的。本发明实施例在对感知数据进行采集的时候，将感知数据输入到预先构建的数据采集模型，进行数据的筛查和收集，得到关键数据，由此可以提高收集到的数据的质量，提高后续数据分析和决策的准确性和可靠性。并且，本发明实施例将关键数据输入到预先构建的数据处理模型进行融合，得到融合后的数据，对多源异构数据进行融合，可以简化对物联网数据的分析过程。

技术特征：

1.一种数据融合方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述获取感知数据的步骤之前包括：

3.根据权利要求1所述的方法，其特征在于，所述获取感知数据的步骤之前包括：

4.根据权利要求1所述的方法，其特征在于，所述将所述感知数据输入到预先构建的数据采集模型，得到关键数据的步骤之后包括：

5.根据权利要求1所述的方法，其特征在于，所述将所述关键数据输入到预先构建的数据处理模型，得到融合后的数据的步骤之后包括：

6.根据权利要求5所述的方法，其特征在于，所述基于预先构建的分布式账本模型存储所述融合后的数据的步骤包括：

7.根据权利要求5所述的方法，其特征在于，所述将所述融合后的数据输入到预先构建的分布式账本模型进行存储的步骤之后包括：

8.一种数据融合装置，其特征在于，所述装置包括：

9.一种数据融合设备，其特征在于，所述数据融合设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-7中任一项所述的数据融合方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的数据融合方法。

技术总结
本发明公开了一种数据融合方法、装置、设备及存储介质，涉及数据融合技术领域，其方法包括：获取感知数据；将所述感知数据输入到预先构建的数据采集模型，得到关键数据，所述数据采集模型是基于机器学习模型训练得到的；将所述关键数据输入到预先构建的数据处理模型，得到融合后的数据，所述数据处理模型是基于深度学习模型训练得到的。本发明能够简化对物联网数据的分析过程。

技术研发人员：阮建雄,马定熊,赖健鹏
受保护的技术使用者：深圳点链科技有限公司
技术研发日：
技术公布日：2024/9/23