一种智能采集多设备数据的方法及装置与流程

本技术涉及数据采集领域，特别是涉一种智能采集多设备数据的方法及装置。

背景技术：

1、工业产业大脑是一种对生产过程中的数据进行实时采集、分析和决策，通过整合和分析工业数据，支持工业企业创新、产业链优化和政府决策的智能系统，近年来，工业产业大脑系统的发展较快，并且在在推动产业数字化和数字产业化方面发挥了重要作用，并且将朝着技术创新、应用领域拓展进行持续发展。

2、工业产业大脑系统其技术实现架构主要包括数据采集与整合、数据存储与管理、数据分析与挖掘以及应用与服务四个层次。其中，数据采集与整合层是实现产业大脑的基础，负责从各种来源收集数据，包括企业内部数据、外部市场数据、政府公开数据等。并对数据进行清洗、标准化和整合等工作，再由产业大脑数据仓进行相关的分析及应用，工业产业大脑需要采集生产现场的相关制造数据，包括与各种自动化设备的连接，各种生产现场管理软件的连接等，现主要使用的数据采集手段和方法包括：传感器技术：利用各种传感器（如温度传感器、压力传感器、光电传感器等）直接采集生产现场的数据。自动化控制系统集成：通过与现有的自动化控制系统（如plc、dcs等）集成，获取生产线的实时运行数据。机器视觉系统：通过机器视觉系统采集图像和视频数据，用于产品质量检测、生产过程监控等。rfid和条形码技术：使用rfid标签或条形码标识产品、设备和人员，通过扫描设备自动采集相关信息。人工录入与数据接口：在某些情况下，仍然需要人工录入数据或使用数据接口从其他系统导入数据。

3、工业产业大脑系统在数据融合方面主要采用数据清洗、数据标准化等技术对数据进行预处理，再将清洗和标准化后的数据整合到一个统一的数据库或数据仓库中。从而实现提高数据质量，促进数据共享，支持决策分析等目标。其主要内容及实现技术包括：数据清洗：作为数据标准化的第一步，包括去除重复数据、处理缺失值和异常值等数据转换：将数据从一种格式或结构转化为另一种，如数据格式转换、数据编码转换等数据规范化：将数据转化为特定的规范和标准格式，如日期格式化、货币统一编码等数据映射和整合：建立数据之间的映射关系，将来自不同数据源的数据合并为一个统一的数据集数据质量管理：通过制定数据质量规则和指标，对数据进行评估、监控和改进。

4、但是，随着工业自动化和物联网技术的飞速发展，工业产业大脑作为新型的工业数据处理平台，面临着海量且多样化的数据采集与处理挑战。其中典型的问题就包括：

5、1.对数据多样性的处理不够灵活：工业产业大脑需要处理来自各种源的数据，包括自动化设备、物联网节点和信息化系统等。这些数据类型的差异导致了数据集成和分析的复杂性。而且在不同的应用场景中，数据源的特性（如更新频率、数据量大小、数据质量等）可能会有很大的差异。传统的数据采集策略往往采用固定的参数设置（如固定的采集频率），这可能会导致在某些情况下采集到的数据过多而浪费资源，或者数据更新过快而采集不及时，从而影响数据的实用性和处理效率、

6、2.数据清洗和融合效率较低：工业产业大脑需要处理的数据量呈指数级增长。传统的数据处理方法都是由现场的数据采集端采集完成后再发到产业大脑数据仓进行处理，当所有的现场端都将数据传送到产业大脑进行处理，必然导致产业大脑难以高效处理如此庞大的数据规模。同时数据源数据清洗和融合是确保数据质量的重要步骤，但传统方法往往需要大量的人工参与，效率低下，且容易受到个人经验的影响，导致数据处理的不一致性。

7、综上所述，工业产业大脑系统在数据采集、数据传输、数据处理方面均面临着压力和问题，其中典型的问题包括数据采集的目标数据多、类型乱、业务目标不明确；数据传输的数据量大、数据丢失现象经常发生；数据分析的数据处理量大、对服务器的处理压力过大等问题，如何提高工业产业大脑对多样化数据的采集和处理效率，降低人工成本、提升数据质量，从而帮助提升数据分析、决策的质量和速度是现有技术亟需解决的难题。

技术实现思路

1、本技术实施例提供了一种智能采集多设备数据的方法及装置，采用自适应数据采集策略对产业大脑需要对接的多样性源数据进行智能化的采集策略设定以适应不同的数据采集场景，并通过在工业现场进行智能化的数据清洗和融合，包括实现数据采集的异常检测与自动修复、数据质量评估、上下文相关的数据处理、交互式学习与优化，从而提高工业产业大脑对多样化数据的采集和处理效率、降低人工成本、提升数据质量，帮助提升数据分析、决策的质量和速度。

2、第一方面，本技术实施例提供了一种智能采集多设备数据的方法，所述方法包括：

3、设置至少一智能采集节点，所述智能采集节点接入工业现场的每一数据源节点，所述数据源节点使用初始采集策略采集工业设备的生产数据；

4、所述智能采集节点获取所述数据源节点实时采集的生产数据，并对生产数据进行清洗后上传至工业产业大脑进行数据分析，其中智能采集节点基于工业产业大脑进行数据分析时的数据应用情况、每一数据源节点在数据采集时的实时状态以及每一数据源节点的数据上下文信息为每一数据源节点分配更新的采集策略，使用更新的采集策略作为对应数据源节点的新的初始采集策略。

5、第二方面，本技术实施例提供了一种智能采集多设备数据的装置，包括：

6、设置模块，用于设置至少一智能采集节点，所述智能采集节点接入工业现场的每一数据源节点，所述数据源节点使用初始采集策略采集工业设备的生产数据；

7、更新模块，用于通过所述智能采集节点获取所述数据源节点实时采集的生产数据，并对生产数据进行清洗后上传至工业产业大脑进行数据分析，其中智能采集节点基于工业产业大脑进行数据分析时的数据应用情况、每一数据源节点在数据采集时的实时状态以及每一数据源节点的数据上下文信息为每一数据源节点分配更新的采集策略，使用更新的采集策略作为对应数据源节点的新的初始采集策略。

8、第三方面，本技术实施例提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行一种智能采集多设备数据的方法。

9、第四方面，本技术实施例提供了一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括一种智能采集多设备数据的方法。

10、本发明的主要贡献和创新点如下：

11、本技术实施例通过设置智能采集节点来根据工业现场的数据内容来自动生成采集策略匹配现场的需求，并根据工业现场每一数据源节点的实时数据采集情况、数据的应用情况以及数据的上下文情况来对不同数据源节点的采集策略进行自动更新，优化数据采集的效果和效率；本方案通过智能采集节点在工业现场对数据进行智能化的清洗会再存入数据库中，而不是把数据发送到工业产业大脑中进行处理，从而解决上传的数据质量不高、联网传输数据量大，后续数据分析效率低等问题。

12、本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。

技术特征：

1.一种智能采集多设备数据的方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种智能采集多设备数据的方法，其特征在于，所述数据源节点采集的工业设备的生产相关数据包括运行状态数据、操作指令数据、参数设置、传感器数据、故障与报警数据、维护与维修数据、能耗数据、产量与质量数据、生产数据、产能数据、进度数据、质量数据以及成本数据。

3.根据权利要求1所述的一种智能采集多设备数据的方法，其特征在于，在“所述数据源节点使用初始采集策略采集工业设备的生产数据”步骤中，基于每一数据源节点的数据类型、数据量以及数据更新频率来为每一数据源节点制定初始采集策略。

4.根据权利要求3所述的一种智能采集多设备数据的方法，其特征在于，所述智能采集节点基于每一数据源节点的数据类型、数据量以及数据更新频率进行智能分析从而生成针对于每一数据源节点的初始采集策略，在所述初始采集策略中明确每一数据源节点在进行数据采集时的采集参数，并将初始采集策略下发至对应的数据源节点。

5.根据权利要求1所述的一种智能采集多设备数据的方法，其特征在于，在“对生产数据进行清洗后上传至工业产业大脑进行数据分析”步骤中，对生产数据的清洗包括以下步骤：缺失值处理、异常值检测与处理、数据规范化/标准化、特征工程、时间序列数据的处理。

6.根据权利要求1所述的一种智能采集多设备数据的方法，其特征在于，在所述智能采集节点中构建数据库，将清洗后的数据存储在所述数据库中，基于数据库的数据共享接口将清洗后的数据提供给所述工业产业大脑。

7.根据权利要求1所述的一种智能采集多设备数据的方法，其特征在于，在“智能采集节点基于工业产业大脑进行数据分析时的数据应用情况、每一数据源节点在数据采集时的实时状态以及每一数据源节点的数据上下文信息为每一数据源节点分配更新的采集策略”步骤中，工业产业大脑进行数据分析时的数据应用情况为在进行数据分析时各种类数据的调用情况，每一数据源节点在数据采集时的实时状态包括数据的更新频率、变化幅度、数据完整性，每一数据源节点的数据上下文信息包括不同数据在不同时间段的重要程度、采集数据时的网络情况、存储空间、计算资源，所述智能采集节点基于工业产业大脑进行数据分析时的数据应用情况、每一数据源节点在数据采集时的实时状态以及每一数据源节点的数据上下文信息建立反馈机制，通过反馈机制将这些信息上报给数据采集优化模型，从而更新采集策略。

8.一种智能采集多设备数据的装置，其特征在于，包括：

9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1-7任一所述的一种智能采集多设备数据的方法。

10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括根据权利要求1-7任一所述的一种智能采集多设备数据的方法。

技术总结
本申请提出了一种智能采集多设备数据的方法及装置，包括以下步骤：设置至少一智能采集节点，所述智能采集节点接入工业现场的每一数据源节点；智能采集节点获取所述数据源节点实时采集的生产数据，并对生产数据进行清洗后上传至工业产业大脑进行数据分析，其中智能采集节点基于工业产业大脑进行数据分析时的数据应用情况、每一数据源节点在数据采集时的实时状态以及每一数据源节点的数据上下文信息为每一数据源节点分配更新的采集策略，使用更新的采集策略作为对应数据源节点的新的初始采集策略。本方案通过在实时生产过程中来分别为不同的数据源节点来分配合适的采集策略，从而大大减少对多样化数据的采集和处理效率并提升了数据质量。

技术研发人员：全华正,黄毅德,王旭,李传周
受保护的技术使用者：大唐智联科技（杭州）有限公司
技术研发日：
技术公布日：2024/9/23