一种基于维度模型的电力数据分析方法及装置的制造方法
【技术领域】
[0001] 本发明涉及数据处理技术领域,特别涉及一种基于维度模型的电力数据分析方法 及装置。
【背景技术】
[0002] 目前,国家电网公司正在开展营配调贯通工程建设工作,实现以营配数据共享支 撑故障定位、停电范围定位、实时线损统计、业扩报装等业务,以营配信息集成推进营配业 务融合,建立面向客户的跨部门、跨专业的营配协同作业流程和服务机制,全面支撑95598 全业务上收,提升供电服务品质。
[0003] 随着营配调贯通项目建设的深入开展,当前营销业务应用系统、设备(资产)运维 精益管理系统PMS2.0的建设已初具规模,营销侧与生产侧设备的坐标、属性采集已初步完 成,针对现有站-线-变-户的空间数据、属性数据及逻辑关系的数据核查治理和及时性维护 还存在较大需求,目前电力企业急需一套规范、准确、安全、高效的数据质量核查工具,保证 营配调贯通数据的整体性、完整性、准确性和及时性,推进各业务系统的实用化,支撑公司 营配调一体化建设与智能电网的信息化建设。
[0004] 维度是营销及配电系统数据融合中数据组织的重要方式。目前,在营销及配电系 统数据融合中,在维度设计方面,维度一般与时间无关,这样会影响到业务人员对历史数据 的查询和分析。在营销及配电系统数据融合过程中,需要掌握数据维度的变化情况,并据此 进行分析处理。
[0005] 在营销及配电系统数据库中,事实表是系统间数据融合指标的基本表,用于存放 营销及配电业务指标事实数据,维度表是事实表的入口,通过维度表可对事实表中的事实 数据进行切割分析。在现有的数据库中,维度被处理成与时间无关的属性,可以被用来对数 据进行分类。
[0006] 在营销及配电系统数据融合中,部分维度会随时间改变,若维度表与时间无关,只 是在维度表中保留其当前属性值,这会直接影响到对事实表中初始数据和历史变化数据的 访问,该技术的缺点如下:
[0007] (1)评估角度相对单调,全面性不足。
[0008] (2)评价方法受主观意识影响较大。
[0009] (3)只对当前数据质量状况进行评价,而无历史数据情况的时间性比较,无法根据 数据维度属性的变动分析营销及配电系统数据治理情况。
【发明内容】
[0010] 为解决现有技术的问题,本发明提出一种基于维度模型的电力数据分析方法及装 置。
[0011] 为实现上述目的,本发明提供了一种基于维度模型的电力数据分析方法,包括:
[0012] 根据电力数据指标维度属性,利用融合之后的电力数据建立事实表;其中,所述事 实表包括综合指标以及综合指标的事实数据;所述综合指标包括变电站、产权属于供电公 司的线路、产权属于用户的线路产权属于供电公司的变压器、产权属于用户的变压器和计 量箱;
[0013] 利用所述事实表建立所述综合指标对应的渐变维度表和快变维度表;其中,所述 渐变维度表包括稳定属性数据和渐变属性数据;所述快变维度表包括综合指标的身份标识 号和快变属性数据;所述快变属性数据为综合指标的身份标识号对应的随时间变化的事实 数据,所述渐变属性数据为综合指标的身份标识号对应的随时间变化的电压等级数据和运 行状态数据;
[0014] 基于所述渐变维度表和快变维度表对电力数据进行分析。
[0015] 优选地,所述综合指标的事实数据包括核对进度指标数据、数据完整性指标数据、 数据一致性指标数据、数据重复性指标数据和数据不规则性指标数据。
[0016] 优选地,所述稳定属性数据包括综合指标标识和综合指标名称。
[0017] 优选地,所述渐变属性数据通过属性列或元组进行记录,结合所述稳定属性数据, 构成渐变维度表。
[0018] 优选地,所述快变属性数据以预设波段的方式进行转换,将操作型数据环境中的 值域进行分区,每一区值域对应的快变属性数据存放在一起,构成快变维度表。
[0019] 优选地,所述电力数据包括营销数据和配电数据。
[0020] 对应地,为实现上述目的,本发明还提供了一种基于维度模型的电力数据分析装 置,包括:
[0021] 数据质量事实表建立单元,用于根据融合之后的电力数据建立数据质量事实表; 其中,所述事实表包括综合指标以及综合指标的事实数据;所述综合指标包括变电站、产权 属于供电公司的线路、产权属于用户的线路产权属于供电公司的变压器、产权属于用户的 变压器和计量箱;
[0022] 维度表建立单元,用于利用所述事实表建立所述综合指标对应的渐变维度表和快 变维度表;其中,所述渐变维度表包括稳定属性数据和渐变属性数据;所述快变维度表包括 综合指标的身份标识号和快变属性数据;所述快变属性数据为综合指标的身份标识号对应 的随时间变化的事实数据,所述渐变属性数据为综合指标的身份标识号对应的随时间变化 的电压等级数据和运行状态数据;
[0023] 分析单元,用于基于所述渐变维度表和快变维度表对电力数据进行分析。
[0024] 上述技术方案具有如下有益效果:
[0025] 本技术方案可以有效降低维度的更新操作对整个数据库的影响。在变化的数据维 度表中保留了属性值的变化历史,可以从变电站、产权属于供电公司的线路、产权属于用户 的线路产权属于供电公司的变压器、产权属于用户的变压器和计量箱等维度对统计数据进 行全过程跟踪,便于对指标数据进行深层次挖掘和分析,提高了数据融合核查系统历史数 据的可溯性和利用率。同时,通过该维度模型设计技术,可以快速发现不同地市数据核查的 短板,便于业务人员找到核查工作的着力点,针对数据质量的薄弱环节及时调整阶段性数 据核查方案,从而提高数据核查和治理的效率。
【附图说明】
[0026] 为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本 发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以 根据这些附图获得其他的附图。
[0027] 图1为本发明提出的一种基于维度模型的电力数据分析方法流程图;
[0028] 图2为本发明提出的一种基于维度模型的电力数据分析装置框图;
[0029]图3为本实施例的技术方案的体系结构图;
[0030] 图4为本实施例数据库维度模型星型结构示意图;
[0031] 图5为本实施例变电站渐变维度表示意图。
【具体实施方式】
[0032]下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完 整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于 本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例,都属于本发明保护的范围。
[0033]本技术方案的工作原理:本技术方案将电力数据指标维度属性按照随时间变化的 规律将电力数据分为3类。第1类,不随时间变化,称为稳定维度;第2类,随时间缓慢变化,称 为渐变维度;第3类,随时间变化较快,称为快变维度。这3类维度属性需要采用不同的维度 模型设计技术,在数据库的维度模型设计过程中,一方面要充分利用大部分与时间无关的 维度属性建立稳定维度表,同时也要考虑某些随时间变化的维度属性,采用渐变维度和快 变维度来记录其维度属性随时间变化的历史,提供基于这两种可变维度的营销及配电数据 融合综合分析平台。
[0034]该项目的技术目标和技术特点是:
[0035] (1)对于渐变维度数据来说,当维度表中的数据发生变化时,为了记录其变化历 史,需要在维度表中加入新的属性列或元组来记录变化后的元组数据,这样可以根据维度 属性的变化历史来进行数据分析和治理。
[0036] (2)对于快变维度数据来说,可以采用"预设波段"的方法对电力数据进行转换,即 将该属性在操作型数据环境中的值域映射为一组数目较少的离散值。采用"预设波段"的方 法可以有效降低维度属性的变化频率,同时也有利于执行相关的分析操作。
[0037]基于上述工作原理,本发明提出一种基于维度模型的电力数据分析方法,如图1所 示。包括:
[0038]步骤S101):根据电力数据指标维度属性,利用融合之后的电力数据建立事实表; 其中,所述事实表包括综合指标以及综合指标的事实数据;所述综合指标包括变电站、产权 属于供电公司的线路、产权属于用户的线路产权属于供电公司的变压器、产权属于用户的 变压器和计量箱;所述综合指标的事实数据包括核对进度指标数据、数据完整性指标数据、 数据一致性指标数据、数据重复性指标数据和数据不规则性指标数据。
[0039]步骤S102):利用所述事实表建立所述综合指标对应的渐变维度表和快变维度表; 其中,所述渐变维度表包括稳定属性数据和渐变属性数据;所述快变维度表包括综合指标 的身份标识号和快变属性数据;所述快变属性数据为综合指标的身份标识号对应的随
时间 变化的事实数据,所述渐变属性数据为综合指标的身份标识号对应的随时间变化的电压等 级数据和运行状态数据;
[0040] 步骤S103):基于所述渐变维度表和快变维度表对电力数据进行分析。
[0041] 对应地,本发明还提出一种基于维度模型的电力数据分析装置,如图2所示。包括: [0042]数据质量事实表建立单元201,用于根据电力数据指标维度属性,利用融合之后的 电力数据建立数据质量事实表;其中,所述事实表包括综合指标以及综合指标的事实数据; 所述综合指标包括变电站、产权属于供电公司的线路、产权属于用户的线路产权属于供电 公司的变压器、产权属于用户的变压器和计量箱;
[0043]维度表建立单元202,用于利用所述事实表建立所述综合指标对应的渐变维度表 和快变维度表;其中,所述渐变维度表包括稳定属性数据和渐变属性数据;所述快变维度表 包括综合指标的身份标识号和快变属性数据;所述快变属性数据为综合指标的身份标识号 对应的随时间变化的事实数据,所述渐变属性数据为综合指标的身份标识号对应的随时间 变化的电压等级数据和运行状态数据;
[0044] 分析单元203,用于基于所述渐变维度表和快变维度表对电力数据进行分析。
[0045] 下面结合实施例对本技术方案进一步详细描述。
[0046] 本技术方案采用数据库+联机分析处理系统(0LAP),数据库实现营销及配电系统 主题数据的集成、存储和管理,0LAP实现对主题数据的多维度分析。数据库建立在原有的营 销业务应用系统数据库、设备(资产)运维精益管理系统数据库两个数据源基础上,如图3所 不。
[0047] 数据库维度模型采用的是星型结构,如图4所示,该模型包含一张事实表和六个维 度表。事实表用于表述关于数据质量这一主题,其粒度为每一地市考虑变电站、产权属于供 电公司的线路、产权属于用户的线路产权属于供电公司的变压器、产权属于用户的变压器 和计量箱在内的综合指标。由于各类设备的数据质量均会影响地市的综合指标,所以可从 变电站、产权属于供电公司的线路、产权属于用户的线路产权属于供电公司的变压器、产权 属于用户的变压器和计量箱六个维度来分析综合指标。反映综合指标的事实数据有:核对 进度指标数据、数据完整性指标数据、数据一致性指标数据、数据重复性指标数据、数据不 规则性指标数据。在数据库的维度模型中,事实表与维度表之间是通过关键字建立联系的。 维度表中的关键字采用关键字,如用户编号、设备编码、变电站标识等。新元组与旧元组具 有相同的关键字,在渐变维度表中,关键字是由系统定义并赋值的维度值,用于标识维度表 中的元组,在事实表中使用相应的关键字建立事实表与渐变维度表之间的联系。
[0048] 1、渐变维度方案
[0049]在渐变维度表中,当一个元组的属性发生变化时,可在渐变维度表中增加带有相 同关键字以及新属性值的元组,并保留维度表中旧数据的更新历史。事实表中的新元组将 使用的关键字与历史数据仍然使用的关键字相同,因此不需要修改事实表。在渐变维度表 中,每个关键字代表在特定时间跨度内建立的唯一属性概况,渐变维度表完整地记录了维 度属性的变化历史。以变电站维度表为例,其中包含了 3类属性:稳定维度属性,如变电站标 识、变电站名称;渐变维度属性,如电压等级、运行状态;快变维度属性,如核对进度、数据完 整性、数据一致性、数据重复性、数据不规则性。去掉快变属性,将其它属性组合成一个渐变 维度表--变电站渐变维度表,如图5所示。当该维度表中的渐变属性发生变化时,如电压 等级由原来的35kV转为llOkV,则在该维度表中增加一个新维度元组来反映新的等压等级 属性值。其中的变压器标识不变,代表的是同一变电站,但不同的变电站ID则表示在不同时 期该变电站维度属性的概况。在根据变电站渐变维度表中的属性所进行的数据质量查询分 析中,若在电压等级属性上给出约束条件,那么我们就可以准确地对不同电压等级进行区 分,比较出数据质量与电压等级的关系;若在变电站标识属性上给出约束条件,则会获取同 一变电站的所有数据用于分析,这样可以得到同一变电站数据质量的历史变化情况。同样, 可以分析出运行状态与数据质量的关系。
[0050] 2、快变维度方案
[0051 ]将图4变电站维度表中变化频率较快的属性抽取出来可以组成一个独立的快变维 度表,如图5所示,将其中的各属性以"波段"加以区分。将变电站快变维度表直接与数据质 量事实表相连,其维度表中的"波段"如表1所示。这种设计方案的效果同渐变维度一样,也 可做到在事实表中跟踪快变维度表中任一属性的变化情况,并且避免了由于属性的快速变 化造成整个维度表的膨胀。通过快变维度表可以得到变电站核对进度、数据完整性、数据一 致性、数据重复性及数据不规则性对数据质量产生的影响。
[0052] 表 1
[0053]
[0054]通过0LAP技术进行多维的数据质量分析,对于保证数据质量,合理安排数据治理 进度,提高营销及配电系统数据融合效率等都有着重要的意义。
[0055]以上所述的【具体实施方式】,对本发明的目的、技术方案和有益效果进行了进一步 详细说明,所应理解的是,以上所述仅为本发明的【具体实施方式】而已,并不用于限定本发明 的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含 在本发明的保护范围之内。
【主权项】
1. 一种基于维度模型的电力数据分析方法,其特征在于,包括: 根据电力数据指标维度属性,利用融合之后的电力数据建立事实表;其中,所述事实表 包括综合指标以及综合指标的事实数据;所述综合指标包括变电站、产权属于供电公司的 线路、产权属于用户的线路产权属于供电公司的变压器、产权属于用户的变压器和计量箱; 利用所述事实表建立所述综合指标对应的渐变维度表和快变维度表;其中,所述渐变 维度表包括稳定属性数据和渐变属性数据;所述快变维度表包括综合指标的身份标识号和 快变属性数据;所述快变属性数据为综合指标的身份标识号对应的随时间变化的事实数 据,所述渐变属性数据为综合指标的身份标识号对应的随时间变化的电压等级数据和运行 状态数据; 基于所述渐变维度表和快变维度表对电力数据进行分析。2. 如权利要求1所述的方法,其特征在于,所述综合指标的事实数据包括核对进度指标 数据、数据完整性指标数据、数据一致性指标数据、数据重复性指标数据和数据不规则性指 标数据。3. 如权利要求1所述的方法,其特征在于,所述稳定属性包括综合指标标识和综合指标 名称。4. 如权利要求1所述的方法,其特征在于,所述渐变属性数据通过属性列或元组进行记 录,结合所述稳定属性数据,构成渐变维度表。5. 如权利要求1所述的方法,其特征在于,所述快变属性数据以预设波段的方式进行转 换,将操作型数据环境中的值域进行分区,每一区值域对应的快变属性数据存放在一起,构 成快变维度表。6. 如权利要求1~5任一权利要求所述的方法,其特征在于,所述电力数据包括营销数 据和配电数据。7. -种基于维度模型的电力数据分析装置,其特征在于,包括: 数据质量事实表建立单元,用于根据电力数据指标维度属性,利用融合之后的电力数 据建立数据质量事实表;其中,所述事实表包括综合指标以及综合指标的事实数据;所述综 合指标包括变电站、产权属于供电公司的线路、产权属于用户的线路产权属于供电公司的 变压器、产权属于用户的变压器和计量箱; 维度表建立单元,用于利用所述事实表建立所述综合指标对应的渐变维度表和快变维 度表;其中,所述渐变维度表包括稳定属性数据和渐变属性数据;所述快变维度表包括综合 指标的身份标识号和快变属性数据;所述快变属性数据为综合指标的身份标识号对应的随 时间变化的事实数据,所述渐变属性数据为综合指标的身份标识号对应的随时间变化的电 压等级数据和运行状态数据; 分析单元,用于基于所述渐变维度表和快变维度表对电力数据进行分析。
【专利摘要】本发明涉及一种基于维度模型的电力数据分析方法及装置,其中,方法包括:根据融合之后的电力数据建立事实表;事实表包括综合指标以及综合指标的事实数据;综合指标包括变电站、产权属于供电公司的线路、产权属于用户的线路产权属于供电公司的变压器、产权属于用户的变压器和计量箱;利用事实表建立综合指标对应的渐变维度表和快变维度表;渐变维度表包括稳定属性数据和渐变属性数据;快变维度表包括综合指标的身份标识号和快变属性数据;快变属性数据为综合指标的身份标识号对应的随时间变化的事实数据,渐变属性数据为综合指标的身份标识号对应的随时间变化的电压等级数据和运行状态数据;基于渐变维度表和快变维度表对电力数据进行分析。
【IPC分类】G06Q50/06, G06Q10/06
【公开号】CN105488632
【申请号】CN201510923014
【发明人】王鹏伍, 周国鹏, 方茂益, 孙志杰, 张艳丽
【申请人】国家电网公司, 国网冀北电力有限公司电力科学研究院, 华北电力科学研究院有限责任公司
【公开日】2016年4月13日
【申请日】2015年12月14日