一种数据模型的数据管理方法、装置、设备和存储介质与流程

本申请涉及数据处理，特别是涉及一种数据模型的数据管理方法、装置、计算机设备和存储介质。

背景技术：

1、互联网行业主要使用维度建模方法进行数据建模，维度建模是一种用于构建数据仓库的方法，它是基于主题的、面向业务的数据建模方法。维度建模的优点是简单易懂、易于维护和扩展，能够快速地响应业务需求。同时，维度建模还能够提高数据的可理解性和可用性，使得用户能够更加方便地进行数据分析和决策。

2、在实施过程中，常规的数据总体架构设计，主要是先根据数据域对数据进行划分，再按照维度建模理论构建总线矩阵，以抽象出业务过程和维度。总线矩阵的主要作用是帮助数据仓库设计人员理解业务过程和业务维度之间的关系，从而更好地设计数据仓库的数据模型。

3、传统在没有数据治理的约束下，数据质量往往不可控，这直接影响了维度建模得到的数据模型的准确性和可靠性。即，维度建模过程中，如果没有数据治理的约束，可能会出现数据冗余的情况，这将增加数据存储和管理的复杂性。此外，维度建模所依赖的数据源可能存在质量问题，如数据不准确、不完整或格式不一致，这将直接影响维度建模的效果和准确性。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种数据模型的数据管理方法、装置、计算机设备和存储介质，通过数据标准信息的被引用次数进行数据构建次数提示以减少数据重复构建，减少数据冗余，此外通过数据类型映射关系统一管理从数据库读取到的数据，以减少数据源的数据质量问题。

2、一种数据模型的数据管理方法，包括：在构建数据模型时，确定数据标准信息；根据数据标准信息生成数据类型映射关系以及数据质量规则，并将数据类型映射关系和数据质量规则与数据模型进行绑定；在数据模型发布时，根据数据标准信息的被引用次数进行数据构建次数提示；在数据模型发布时，从目标数据库读取数据并按照数据类型映射关系将读取到的数据进行转换后存储，以为数据模型运行提供数据支持；在数据模型发布后，根据数据质量规则对数据模型进行数据质量检查。

3、在其中一个实施例中，一种数据模型的数据管理方法还包括：根据受管控数据的关键词、关键词的关系以及正则关系生成受控词汇；根据数据安全标准信息为受控词汇配置安全等级；根据数据安全管理制度信息并基于安全等级为受控词汇配置数据处理方式；从目标数据库读取数据并按照数据类型映射关系将读取到的数据进行转换后存储，包括：若从目标数据库读取到的数据为受控词汇，则按照数据类型映射关系将读取到的数据进行转换后，再基于受控词汇的数据处理方式对转换后的受控词汇进行处理后存储。

4、在其中一个实施例中，一种数据模型的数据管理方法还包括：采集系统规范信息、业务标准信息以及数据管控信息；根据系统规范信息、业务标准信息以及数据管控信息生成数据标准信息和受管控数据。

5、在其中一个实施例中，根据数据标准信息的被引用次数进行数据构建次数提示，包括：在数据标准信息的被引用次数小于第一阈值次数时，展示是否需要重新构建的提示信息；在数据标准信息的被引用次数大于第二阈值次数时，进行人工介入提示；其中，第二阈值大于或等于第一阈值。

6、在其中一个实施例中，根据数据标准信息生成数据类型映射关系，包括：识别目标数据库的参数类型和数据类型；根据目标数据库的参数类型和数据类型和数据标准信息生成数据类型映射关系。

7、在其中一个实施例中，数据质量规则包括数据稳定性规则、数据完整性规则和数据唯一性规则，数据稳定性规则被配置为强规则或弱规则，数据完整性规则被配置为强规则或弱规则，数据唯一性规则被配置为强规则或弱规则；根据数据质量规则对数据模型进行数据质量检查，包括：在根据数据稳定性规则对数据模型进行数据质量检查的检查结果为数据不稳定时，若数据稳定性规则被配置为强规则时，则进行第一告警处理，若数据稳定性规则被配置为弱规则时，则进行第二告警处理；在根据数据完整性规则对数据模型进行数据质量检查的检查结果为数据不完整时，若数据完整性规则被配置为强规则时，则进行第一告警处理，若数据完整性规则被配置为弱规则时，则进行第二告警处理；在根据数据唯一性规则对数据模型进行数据质量检查的检查结果为数据不唯一时，若数据唯一性规则被配置为强规则时，则进行第一告警处理，若数据唯一性规则被配置为弱规则时，则进行第二告警处理；其中，第一告警处理的告警紧急度大于第二告警处理的告警紧急度。

8、在其中一个实施例中，数据标准信息包含数据相关描述信息以及数据约束性信息，根据数据标准信息生成数据质量规则，包括：根据数据相关描述信息以及数据约束性信息生成数据稳定性规则、数据完整性规则和数据唯一性规则。

9、一种数据模型的数据管理装置，包括：确定模块，用于在构建数据模型时，确定数据标准信息；生成模块，用于根据数据标准信息生成数据类型映射关系以及数据质量规则，并将数据类型映射关系和数据质量规则与数据模型进行绑定；提示模块，用于在数据模型发布时，根据数据标准信息的被引用次数进行数据构建次数提示；存储模块，用于在数据模型发布时，从目标数据库读取数据并按照数据类型映射关系将读取到的数据进行转换后存储，以为数据模型运行提供数据支持；质量检查模块，用于在数据模型发布后，根据数据质量规则对数据模型进行数据质量检查。

10、一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一实施例方法的步骤。

11、一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一实施例方法的步骤。

12、上述一种数据模型的数据管理方法、装置、计算机设备和存储介质，在构建数据模型时，确定数据标准信息；根据数据标准信息生成数据类型映射关系以及数据质量规则，并将数据类型映射关系和数据质量规则与数据模型进行绑定；在数据模型发布时，根据数据标准信息的被引用次数进行数据构建次数提示；在数据模型发布时，从目标数据库读取数据并按照数据类型映射关系将读取到的数据进行转换后存储，以为数据模型运行提供数据支持；在数据模型发布后，根据数据质量规则对数据模型进行数据质量检查。

13、因此，能够在数据模型引用到任一数据库的数据时，保证引用到的数据格式的统一和完整。以及，通过数据标准信息的被引用次数进行数据构建次数提示，减少数据重复构建，减少数据冗余。此外，在数据模型发布后，根据数据质量规则对数据模型进行数据质量检查，以确保数据模型的数据的准确性。

技术特征：

1.一种数据模型的数据管理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

4.根据权利要求1所述的方法，其特征在于，所述根据所述数据标准信息的被引用次数进行数据构建次数提示，包括：

5.根据权利要求1所述的方法，其特征在于，所述根据所述数据标准信息生成数据类型映射关系，包括：

6.根据权利要求1所述的方法，其特征在于，所述数据质量规则包括数据稳定性规则、数据完整性规则和数据唯一性规则，所述数据稳定性规则被配置为强规则或弱规则，所述数据完整性规则被配置为强规则或弱规则，所述数据唯一性规则被配置为强规则或弱规则；

7.根据权利要求6所述的方法，其特征在于，所述数据标准信息包含数据相关描述信息以及数据约束性信息，所述根据所述数据标准信息生成数据质量规则，包括：

8.一种数据模型的数据管理装置，其特征在于，所述装置包括：

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。

技术总结
本申请涉及一种数据模型的数据管理方法、装置、计算机设备和存储介质，包括：在构建数据模型时，确定数据标准信息；根据数据标准信息生成数据类型映射关系以及数据质量规则并与数据模型进行绑定；在数据模型发布时，根据数据标准信息的被引用次数进行数据构建次数提示；在数据模型发布时，从目标数据库读取数据并按照数据类型映射关系将读取到的数据进行转换后存储，以为数据模型运行提供数据支持；在数据模型发布后，根据数据质量规则对数据模型进行数据质量检查。上述通过数据标准信息的被引用次数进行数据构建次数提示以减少数据重复构建，减少数据冗余，通过数据类型映射关系统一管理从数据库读取的数据，以减少数据源的数据质量问题。

技术研发人员：苏冠群,唐敏
受保护的技术使用者：上海数禾信息科技有限公司
技术研发日：
技术公布日：2024/9/23