数据处理方法和装置、存储介质及电子设备与流程

本技术涉及数据处理、金融科技领域及其他相关，具体而言，涉及一种数据处理方法和装置、存储介质及电子设备。

背景技术：

1、随着计算机技术的不断发展和应用，在有限的计算资源下保证作业安稳而又快速的运行成为重中之重。在计算资源有限而作业数量众多的情况下，为了高效的利用计算资源，在作业调度时必须考虑到不同作业之间的优先级信息和被处理时间信息。合理地设置作业的优先级信息和被处理时间信息可以最大限度的减少作业等待时间，提高系统的可用性，避免作业出现堵塞或堆积等情况。传统方法中，通常根据人工经验确定作业的优先级信息和被处理时间信息，但在确定后无法判断作业的上述信息是否合理，进而导致作业的处理效率低下。

2、针对相关技术中基于人工经验来确定多个目标作业的优先级信息和被处理时间信息，导致对作业的处理效率比较低的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本技术的主要目的在于提供一种数据处理方法和装置、存储介质及电子设备，以解决相关技术中基于人工经验来确定多个目标作业的优先级信息和被处理时间信息，导致对作业的处理效率比较低的问题。

2、为了实现上述目的，根据本技术的一个方面，提供了一种数据处理方法。该方法包括：获取多个目标作业的初始作业信息，其中，所述初始作业信息至少包括：每个目标作业的初始优先级信息和初始被处理时间信息；依据层次聚类算法基于所述多个目标作业的初始作业信息，确定所述多个目标作业的第一聚类结果；依据所述第一聚类结果和多个历史作业的第二聚类结果，对所述多个目标作业的初始作业信息进行调整，得到目标作业信息；依据所述目标作业信息对所述多个目标作业进行处理，得到目标处理结果。

3、进一步地，在依据所述第一聚类结果和多个历史作业的第二聚类结果，对所述多个目标作业的初始作业信息进行调整，得到目标作业信息之前，所述方法还包括：获取所述多个历史作业的历史优先级信息和每个历史作业的被处理时间信息；依据每个历史作业的历史优先级信息进行分类，得到每个历史作业对应的优先级类别信息；依据每个历史作业的被处理时间信息和所述优先级类别信息进行计算，得到每个优先级类别信息中的历史作业对应的被处理时间平均值；通过均值漂移算法基于所述被处理时间平均值和每个历史作业的被处理时间信息对所述多个历史作业进行聚类处理，得到所述第二聚类结果。

4、进一步地，通过均值漂移算法基于所述被处理时间平均值和每个历史作业的被处理时间信息对所述多个历史作业进行聚类处理，得到所述第二聚类结果包括：依据所述被处理时间平均值，确定每个优先级类别信息中的历史作业对应的聚类中心；依据每个历史作业的被处理时间信息，确定每个优先级类别信息中的历史作业对应的聚类范围；通过所述均值漂移算法基于所述聚类中心和所述聚类范围对所述多个历史作业进行聚类处理，得到所述第二聚类结果。

5、进一步地，通过所述均值漂移算法基于所述聚类中心和所述聚类范围对所述多个历史作业进行聚类处理，得到所述第二聚类结果包括：通过所述均值漂移算法的核函数，计算每个历史作业到所述聚类中心的相似度，得到相似度；依据所述相似度，对所述聚类中心进行更新，得到更新后的聚类中心；在所述更新后的聚类中心满足预设条件的情况下，依据所述更新后的聚类中心和所述聚类范围对所述多个历史作业进行聚类处理，得到所述第二聚类结果。

6、进一步地，依据层次聚类算法基于所述多个目标作业的初始作业信息，确定所述多个目标作业的第一聚类结果包括：获取所述层次聚类算法的目标参数，其中，所述目标参数至少包括：枝平衡因子、叶平衡因子和空间阈值；依据所述层次聚类算法对所述初始作业信息进行计算，得到所述多个目标作业对应的聚类特征；依据所述聚类特征和所述目标参数，确定所述多个目标作业对应的聚类树；依据所述聚类树，确定所述多个目标作业的第一聚类结果。

7、进一步地，依据所述第一聚类结果和多个历史作业的第二聚类结果，对所述多个目标作业的初始作业信息进行调整，得到目标作业信息包括：对于每个目标作业，判断所述第二聚类结果对应的聚类边界信息中是否包括所述目标作业的第一聚类结果对应的聚类边界信息，得到判断结果；若所述判断结果表征所述第二聚类结果对应的聚类边界信息中不包括所述目标作业的第一聚类结果对应的聚类边界信息，则依据所述第二聚类结果对应的聚类边界信息得到所述目标作业的目标作业信息；若所述判断结果表征所述第二聚类结果对应的聚类边界信息中包括所述目标作业的第一聚类结果对应的聚类边界信息，则将所述目标作业的初始作业信息确定为所述目标作业信息。

8、进一步地，依据所述目标作业信息对所述多个目标作业进行处理，得到目标处理结果包括：依据所述目标作业信息，确定处理所述多个目标作业的目标服务器；依据所述目标服务器的目标数据格式，对所述多个目标作业进行格式转换，得到多个目标数据格式的目标作业；依据所述目标服务器对所述多个目标数据格式的目标作业进行处理，得到所述目标处理结果。

9、为了实现上述目的，根据本技术的另一方面，提供了一种数据处理装置。该装置包括：第一获取单元，用于获取多个目标作业的初始作业信息，其中，所述初始作业信息至少包括：每个目标作业的初始优先级信息和初始被处理时间信息；确定单元，用于依据层次聚类算法基于所述多个目标作业的初始作业信息，确定所述多个目标作业的第一聚类结果；调整单元，用于依据所述第一聚类结果和多个历史作业的第二聚类结果，对所述多个目标作业的初始作业信息进行调整，得到目标作业信息；处理单元，用于依据所述目标作业信息对所述多个目标作业进行处理，得到目标处理结果。

10、进一步地，所述装置还包括：第二获取单元，用于在依据所述第一聚类结果和多个历史作业的第二聚类结果，对所述多个目标作业的初始作业信息进行调整，得到目标作业信息之前，获取所述多个历史作业的历史优先级信息和每个历史作业的被处理时间信息；分类单元，用于依据每个历史作业的历史优先级信息进行分类，得到每个历史作业对应的优先级类别信息；计算单元，用于依据每个历史作业的被处理时间信息和所述优先级类别信息进行计算，得到每个优先级类别信息中的历史作业对应的被处理时间平均值；聚类单元，用于通过均值漂移算法基于所述被处理时间平均值和每个历史作业的被处理时间信息对所述多个历史作业进行聚类处理，得到所述第二聚类结果。

11、进一步地，聚类单元包括：第一确定模块，用于依据所述被处理时间平均值，确定每个优先级类别信息中的历史作业对应的聚类中心；第二确定模块，用于依据每个历史作业的被处理时间信息，确定每个优先级类别信息中的历史作业对应的聚类范围；聚类模块，用于通过所述均值漂移算法基于所述聚类中心和所述聚类范围对所述多个历史作业进行聚类处理，得到所述第二聚类结果。

12、进一步地，聚类模块包括：计算子模块，用于通过所述均值漂移算法的核函数，计算每个历史作业到所述聚类中心的相似度，得到相似度；更新子模块，用于依据所述相似度，对所述聚类中心进行更新，得到更新后的聚类中心；聚类子模块，用于在所述更新后的聚类中心满足预设条件的情况下，依据所述更新后的聚类中心和所述聚类范围对所述多个历史作业进行聚类处理，得到所述第二聚类结果。

13、进一步地，确定单元包括：获取模块，用于获取所述层次聚类算法的目标参数，其中，所述目标参数至少包括：枝平衡因子、叶平衡因子和空间阈值；计算模块，用于依据所述层次聚类算法对所述初始作业信息进行计算，得到所述多个目标作业对应的聚类特征；第三确定模块，用于依据所述聚类特征和所述目标参数，确定所述多个目标作业对应的聚类树；第四确定模块，用于依据所述聚类树，确定所述多个目标作业的第一聚类结果。

14、进一步地，调整单元包括：判断模块，用于对于每个目标作业，判断所述第二聚类结果对应的聚类边界信息中是否包括所述目标作业的第一聚类结果对应的聚类边界信息，得到判断结果；第五确定模块，用于若所述判断结果表征所述第二聚类结果对应的聚类边界信息中不包括所述目标作业的第一聚类结果对应的聚类边界信息，则依据所述第二聚类结果对应的聚类边界信息得到所述目标作业的目标作业信息；第六确定模块，用于若所述判断结果表征所述第二聚类结果对应的聚类边界信息中包括所述目标作业的第一聚类结果对应的聚类边界信息，则将所述目标作业的初始作业信息确定为所述目标作业信息。

15、进一步地，处理单元包括：第七确定模块，用于依据所述目标作业信息，确定处理所述多个目标作业的目标服务器；转换模块，用于依据所述目标服务器的目标数据格式，对所述多个目标作业进行格式转换，得到多个目标数据格式的目标作业；处理模块，用于依据所述目标服务器对所述多个目标数据格式的目标作业进行处理，得到所述目标处理结果。

16、为了实现上述目的，根据本技术的一方面，提供了一种计算机可读存储介质，所述存储介质存储程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述任意一项所述的数据处理方法。

17、为了实现上述目的，根据本技术的另一个方面，还提供了一种电子设备，电子设备包括一个或多个处理器和存储器，存储器用于存储一个或多个处理器实现上述任意一项所述的数据处理方法。

18、通过本技术，采用以下步骤：获取多个目标作业的初始作业信息，其中，初始作业信息至少包括：每个目标作业的初始优先级信息和初始被处理时间信息；依据层次聚类算法基于多个目标作业的初始作业信息，确定多个目标作业的第一聚类结果；依据第一聚类结果和多个历史作业的第二聚类结果，对多个目标作业的初始作业信息进行调整，得到目标作业信息；依据目标作业信息对多个目标作业进行处理，得到目标处理结果，通过本技术，解决了相关技术中基于人工经验来确定多个目标作业的优先级信息和被处理时间信息，导致对作业的处理效率比较低的问题。在本方案中，首先，通过作业调度系统或者作业管理系统，获取多个目标作业的初始优先级信息和初始被处理时间信息。然后，利用层次聚类算法对多个目标作业的初始作业信息进行聚类，将相似的目标作业归为一类，得到第一聚类结果。并根据第一聚类结果和多个历史作业的第二聚类结果对目标作业的初始作业信息进行优化和调整，以得到目标作业信息。通过层次聚类算法对多个目标作业进行聚类分析，并结合多个历史作业的第二聚类结果对多个目标作业的初始作业信息进行调整，以得到目标作业信息，避免了传统方法中根据人工经验来确定多个目标作业的作业信息而导致的优先级信息或被处理时间信息不合理等情况，进而达到了提高数据处理效率的效果。

技术特征：

1.一种数据处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，在依据所述第一聚类结果和多个历史作业的第二聚类结果，对所述多个目标作业的初始作业信息进行调整，得到目标作业信息之前，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，通过均值漂移算法基于所述被处理时间平均值和每个历史作业的被处理时间信息对所述多个历史作业进行聚类处理，得到所述第二聚类结果包括：

4.根据权利要求3所述的方法，其特征在于，通过所述均值漂移算法基于所述聚类中心和所述聚类范围对所述多个历史作业进行聚类处理，得到所述第二聚类结果包括：

5.根据权利要求1所述的方法，其特征在于，依据层次聚类算法基于所述多个目标作业的初始作业信息，确定所述多个目标作业的第一聚类结果包括：

6.根据权利要求1所述的方法，其特征在于，依据所述第一聚类结果和多个历史作业的第二聚类结果，对所述多个目标作业的初始作业信息进行调整，得到目标作业信息包括：

7.根据权利要求1所述的方法，其特征在于，依据所述目标作业信息对所述多个目标作业进行处理，得到目标处理结果包括：

8.一种数据处理装置，其特征在于，包括：

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质在设备执行权利要求1至7中任意一项所述的数据处理方法。

10.一种电子设备，其特征在于，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至7中任意一项所述的数据处理方法。

技术总结
本申请公开了一种数据处理方法和装置、存储介质及电子设备。涉及数据处理技术领域、金融科技领域及其他相关技术领域，该方法包括：获取多个目标作业的初始作业信息；依据层次聚类算法基于多个目标作业的初始作业信息，确定多个目标作业的第一聚类结果；依据第一聚类结果和多个历史作业的第二聚类结果，对多个目标作业的初始作业信息进行调整，得到目标作业信息；依据目标作业信息对多个目标作业进行处理，得到目标处理结果。通过本申请，解决了相关技术中基于人工经验来确定多个目标作业的优先级信息和被处理时间信息，导致对作业的处理效率比较低的问题。

技术研发人员：周奕飞
受保护的技术使用者：中国工商银行股份有限公司
技术研发日：
技术公布日：2024/9/23