数据的风险检测方法、装置和计算机设备与流程

本技术涉及大数据，特别是涉及一种数据的风险检测方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术：

1、随着大数据的不断发展，数据在使用过程中面临着多种问题，例如重复数据过多和乱码数据被存储等。因此，必须对这些问题数据进行有效检测。然而，由于数据量庞大且种类繁多，各维度的数据业务差异显著，这使得测试人员在进行数据问题检测时需要对各维度的业务有深入地了解。这便对测试人员的业务能力提出了极高的要求，导致测试的效率和质量往往难以满足数据检测的需求。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够数据的风险检测方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本技术提供了一种数据的风险检测方法。所述方法包括：

3、从目标数据库中获取目标数据；其中，所述目标数据包括业务数据和对应的时间标记；

4、统计所述目标数据中不同维度数据的数据量；其中，所述维度包括下述中的至少一个：单位时间内的新增数据的数据量、所述新增数据中重复数据的数据量、所述新增数据中有效数据的数据量、所述新增数据中的无效数据量、所述有效数据的总数据量和数据库中错误数据的数据量；所述有效数据包括符合预设的业务策略的数据；所述错误数据包括不符合数据策略的数据；

5、利用预设的不同维度的风险阈值，分别对所述不同维度数据的数据量进行对比，得到所述目标数据中不同维度数据的风险结果。

6、在其中一个实施例中，所述从目标数据库中获取目标数据之前，还包括：

7、从目标数据源获取初始业务数据和对应的时间标记；

8、利用预设的数据约束策略，对所述初始业务数据进行匹配，得到目标业务数据；

9、将所述目标业务数据和对应的时间标记，存储到所述目标数据库中。

10、在其中一个实施例中，所述统计所述目标数据中不同维度数据的数据量，包括：

11、利用所述时间标记，查找得到所述单位时间内的新增数据的数据量；

12、对所述新增数据进行匹配，得到所述新增数据中重复数据的数据量；

13、利用预设的业务策略，对所述新增数据进行匹配，得到所述新增数据中有效数据的数据量以及无效数据的数据量；

14、利用预设的数据策略，对所述新增数据进行匹配，得到所述新增数据中错误数据的数据量；

15、根据所述新增数据中有效数据的数据量以及历史有效数据的数据量，得到所述有效数据的总数据量。

16、在其中一个实施例中，所述对所述新增数据进行匹配，得到所述新增数据中重复数据的数据量，包括：

17、对所述新增数据进行重复匹配，得到所述新增数据中重复数据的第一数据量；

18、利用历史目标数据，对所述新增数据进行匹配，得到所述新增数据中重复数据的第二数据量；

19、根据所述第一数据量和所述第二数据量，确定所述新增数据中重复数据的数据量。

20、在其中一个实施例中，所述方法还包括：

21、在检测到不同维度数据存在风险的情况下，生成对应维度数据的第一风险信号；

22、在连续预设次数的单位时间内同一维度数据均存在风险的情况下，生成对应维度数据的第二风险信号。

23、在其中一个实施例中，在生成风险信号之后，包括：

24、利用预设的查找策略，对所述风险信号对应的维度数据进行查找，得到所述维度数据中的风险数据。

25、第二方面，本技术还提供了一种数据的风险检测装置。所述装置包括：

26、数据获取模块，用于从目标数据库中获取目标数据；其中，所述目标数据包括业务数据和对应的时间标记；

27、数据统计模块，用于统计所述目标数据中不同维度数据的数据量；其中，所述维度包括下述中的至少一个：单位时间内的新增数据的数据量、所述新增数据中重复数据的数据量、所述新增数据中有效数据的数据量、所述新增数据中的无效数据量、所述有效数据的总数据量和数据库中错误数据的数据量；所述有效数据包括符合预设的业务策略的数据；所述错误数据包括不符合数据策略的数据；

28、风险检测模块，用于利用预设的不同维度的风险阈值，分别对所述不同维度数据的数据量进行对比，得到所述目标数据中不同维度数据的风险结果。

29、在其中一个实施例中，所述数据获取模块，包括：

30、数据获取子模块，用于从目标数据源获取初始业务数据和对应的时间标记；

31、数据清洗子模块，用于利用预设的数据约束策略，对所述初始业务数据进行匹配，得到目标业务数据；

32、数据存储子模块，用于将所述目标业务数据和对应的时间标记，存储到所述目标数据库中。

33、在其中一个实施例中，所述数据统计模块还用于：

34、利用所述时间标记，查找得到所述单位时间内的新增数据的数据量；

35、对所述新增数据进行匹配，得到所述新增数据中重复数据的数据量；

36、利用预设的业务策略，对所述新增数据进行匹配，得到所述新增数据中有效数据的数据量以及无效数据的数据量；

37、利用预设的数据策略，对所述新增数据进行匹配，得到所述新增数据中错误数据的数据量；

38、根据所述新增数据中有效数据的数据量以及历史有效数据的数据量，得到所述有效数据的总数据量。

39、在其中一个实施例中，所述数据统计模块，包括：

40、第一重复子模块，用于对所述新增数据进行重复匹配，得到所述新增数据中重复数据的第一数据量；

41、第二重复子模块，用于利用历史目标数据，对所述新增数据进行匹配，得到所述新增数据中重复数据的第二数据量；

42、目标重复子模块根据所述第一数据量和所述第二数据量，确定所述新增数据中重复数据的数据量。

43、在其中一个实施例中，所述装置还包括：

44、风险信号生成模块，用于在检测到不同维度数据存在风险的情况下，生成对应维度数据的第一风险信号；

45、所述风险信号生成模块，还用于在连续预设次数的单位时间内同一维度数据均存在风险的情况下，生成对应维度数据的第二风险信号。

46、在其中一个实施例中，所述风险信号生成模块，包括：

47、风险数据查找子模块，用于利用预设的查找策略，对所述风险信号对应的维度数据进行查找，得到所述维度数据中的风险数据。

48、第三方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如本公开实施例任一项所述的数据的风险检测方法。

49、第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如本公开实施例任一项所述的数据的风险检测方法。

50、第五方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如本公开实施例任一项所述的数据的风险检测方法。

51、上述数据的风险检测方法、装置、计算机设备、存储介质和计算机程序产品，通过统计目标数据中不同维度数据的数据量，并利用不同维度的风险阈值与对应维度数据的数据量进行对比，得到各维度数据的风险结果。通过将目标数据分为不同维度的数据并统计数据量，多维度地对数据进行风险检测，提高了数据风险检测的准确性；同时，通过预设的各维度的风险阈值，自动化地对各维度数据进行检测，提高了数据风险检测的效率。同时，通过各维度数据的风险结果，使得测试人员可以仅了解单一维度的风险规则即可，极大地降低了测试人员业务能力的要求，进一步提高了数据风险检测的准确性。

技术特征：

1.一种数据的风险检测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述从目标数据库中获取目标数据之前，还包括：

3.根据权利要求1所述的方法，其特征在于，所述统计所述目标数据中不同维度数据的数据量，包括：

4.根据权利要求3所述的方法，其特征在于，所述对所述新增数据进行匹配，得到所述新增数据中重复数据的数据量，包括：

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

6.根据权利要求5所述的方法，其特征在于，在生成风险信号之后，包括：

7.一种数据的风险检测装置，其特征在于，所述装置包括：

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

技术总结
本申请涉及一种数据的风险检测方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：从目标数据库中获取目标数据；其中，所述目标数据包括业务数据和对应的时间标记；统计所述目标数据中不同维度数据的数据量；其中，所述维度包括下述中的至少一个：单位时间内的新增数据的数据量、所述新增数据中重复数据的数据量、所述新增数据中有效数据的数据量、新增数据中的无效数据量、有效数据的总数据量和数据库中错误数据的数据量；有效数据包括符合预设的业务策略的数据；利用预设的各维度的风险阈值，分别对所述各维度数据的数据量进行对比，得到所述目标数据中各维度数据的风险结果。采用本方法能够提高数据风险检测的效率。

技术研发人员：朱文豪,李俊
受保护的技术使用者：企查查科技股份有限公司
技术研发日：
技术公布日：2024/9/23