基于OLAP的集成数据仓库技术在EMS中的应用 EMS集成
摘要:随着电力行业的高速发展,EMS在电力生产管理过程中所需要处理的数据容量迅速膨胀。电力企业亟待建立一套高效准确的信息分析系统。本文提出一种融合各个异构数据源的集成数据仓库设计方案并在此基础上讨论了OLAP的概念、属性及其在EMS支撑平台上的应用。其应用领域包括系统状态监控、经济运行和故障模式分析等方面。
关键词:能量管理系统 数据仓库 联机分析处理 数据挖掘
引言
随着电力系统规模的日益庞大和电网商业化运营工作的深入开展, 能量管理系统(EMS),作为电力企业实施管理、控制操作的支撑软件平台,必须有效地解决好生产管理过程中产生的大量数据信息处理问题。传统数据库系统的查询检索机制远远不能满足实际的需要。新一代的EMS产品普遍采用了最新的计算机网络通信技术和集成数据仓库技术,以期实现安全、高效、灵活的管控功能。近年来,国际上数据处理领域涌现出的各种可视化数据流处理技术在电力工业领域得到了越来越广泛的关注。其中,支持在线事务处理的OLAP(online analytical processing)就是这一技术群体中有着鲜明特色的一种应用技术,它使得运行人员和管理人员能够方便地多角度地对原始数据进行转化提取,对数据本质内容进行快速、深入地交互操作。
1 电力信息模型构建
电力系统是一个复杂的网状体系结构,由数量繁多的电力对象实体构成,大到整个电网、发电厂、变电站,小到变压器、开关、电容器。各个对象类之间通常存在着复杂的相关性,如概括关系、关联关系和聚合关系等。随着SCADA、EMS、DMS等应用领域中集成系统的开发和维护的复杂性日益提高,基于电力信息模型的集成数据仓库技术越来越受到人们的重视。面向对象的电力系统信息模型构建是整个认知管理体系的基础。电力系统的信息建模对象不仅包括网络结构、组成实体,而且还应体现出实体间的内在关联模型和各种信息流管理模型。主要包含以下方面:(1)系统结构(主要是电网的拓扑结构)和组成元部件状态、属性、动作特性。(2)电网、设备实时运行状态变量,包括各个元件、各个网络、各个节点(可以是非物理的虚拟节点)的打标测量值以及无法直接量测得到的估计状态值。(3)系统参数、定值管理。(4)故障、报警信息管理。包括录波远传信息、各个设备在线监测系统的报警信息。(5)经济决策、市场运营中的交易、管理信息。
2 集成数据仓库设计
数据仓库是面向主题的,集成的,时变的和非易失的有组织的数据集合[1]。它支持管理和决策过程。数据仓库最根本的特点是物理地存放数据,而且这些数据并非是最新的、专有的,而是来源于其它的数据库。数据仓库的建立并不是要取代原有的数据库,而是建立一个较全面、完善的信息应用平台,用于支持高层决策分析。它是数据库技术的一种新的应用。集成数据仓库的设计应满足以下几点要求:
(1)支持面向主题和对象的多层次分析。电力信息模型描述的对象实体不仅自身结构复杂,而且对象间存在着复杂的交互关系。可以按照事务和处理任务建立相关主题。通过公共键码进行各种综合级、细节级和多粒度的数据操作。
(2)分布式体系结构和标准化访问机制。用于集成的数据库之间往往是异构的,数据仓中的数据是对原有的分散的数据库数据抽取、清理、加工、汇总而得。必须消除数据中的不一致性,提供标准的SQL访问语言接口,实现异构数据库之间的开放式互联。
(3)良好的稳定性和较高的安全性。电力过程信息通常需要实时更新,而查询操作需要调用大量历史信息。数据仓库应对关键数据安排带有时间元的定期刷新和加载操作。同时,应提供数据库的快速恢复和自启动能力、数据的快速拷贝备份以及数据访问的授权功能,以满足电力系统安全可靠运行的要求。
(4)灵活的配置方式和简便的维护性能。用户可按需进行数据类型、数据范围并可自定义事件触发功能。
考虑到商用关系型数据库的强大的数据访问、操作管理功能,同时满足面向电力系统对象的实时响应性,新一代的EMS数据仓库通常采用商用数据库如SYBASE、ORACLE、SYQSERVER等和基于内存映射的实时数据库的有机集成。充分发挥商用库的功能和实时库的效率。图2为EMS的集成数据仓库系统框图。集成数据仓库的建立成为实现数据的统一分发和访问共享的集散中心。它为EMS的各项高级应用如潮流分布、故障计算、无功优化以及经济运行等功能模块提供了便利的数据支持。同时也使得管理人员进行OLAP(在线分析处理)操作、深度数据挖掘和内在知识发现成为可能。
3 OLAP技术
3.1 OLAP概念
OLAP(的概念最早是由关系数据库之父E.F.Codd于1993年提出的[2]。可以把OLAP定义为“关于数据的创建、管理、分析和报表生成的交互处理”。传统的联机事务处理(OLTP)可以较好地完成日常的业务处理,但要对数据进行深层探索,尤其要对主题进行多角度、多层次分析则显得力不从心,OLAP的设计思想体现在对数据进行多视角解剖,响应用户的各种查询、分析要求,进行辅助决策。正好能够实现以上目标。OLAP系统具有快速性,可分析性,多维性和信息性。
(1)快速性:用户对OLAP的快速反应能力有很高的要求。系统应能在数秒内对用户的大部分分析要求做出反应。这种对速度的要求一般并不容易实现,因为所处理的数据量非常巨大,且要根据用户的特殊需求进行特殊计算。这个问题一般是从数据的存储及数据的事先计算入手解决。(2)分析性:OLAP系统应就处理与应用有关的任何逻辑分析和统计分析。(3)多维性:多维性是OLAP的关键属性。系统必须提供对数据的多维视图和分析包括对层次维和多重层次维的完全支持,多维分析是OLAP的灵魂。(4)信息性:不论数据量有多大,也不管数据存储在何处,OLAP系统应能及时获得信息,并能管理大容量信息。
3.2 OLAP操作
OLAP对以多维形式组织起来的数据采取切片、切块、旋转等各种分析动作,以求剖析数据,使最终用户能从多个角度、多侧面地观察数据库中的数据,从而深入地了解包含在数据中的信息、内涵。多维分析方式迎合了人的思维模式,因此减少了混淆,并且降低了出现错误解释的可能性。多维分析的基本动作有:
(1)切片:多维数据集中数据的一个子集,由维度的成员限制一个或多个维度来指定。(2)切块:是在切片基础上,进一步确定各个维成员的区间得到的片段体。(3)钻取:检索详细数据,多维数据集单元中的数据根据它们进行汇总。
4 OLAP在EMS中的应用
4.1 电力系统状态监控
电力系统的运行状态可分为稳定和不稳定两种。利用OLAP可视化图形显示技术可以对电力系统运行状态进行在线监测,并给出系统可能存在的安全隐患。图3给出了母线电压结果的可视化分析棒图。用户在窗体的右侧的“选择查看项”栏中,可以选择要查看的项目,包括:潮流计算、有功功率(发电机)、无功功率(发电机)、变压器变比、补偿容量、线路容量。在“图形操作”栏中操作可以对图形进行操作,包括:(1)图形三维控制。(2)图形旋转。(3)图形缩放。(4)图形恢复。
4.2 电力系统的经济运行
调度运行在电力系统中运行中始终处于核心地位。它需要对EMS平台上的大量信息进行实时分析,做出对应调控决策。在引入电力市场机制后,调试中心在保证系统安全性和稳定性运行的基础上,还要考虑系统运行的经济性能。如各投资者的经济利益以及如何制定合理的电价。这将进一步增加调度运行的复杂性。OLAP技术可以帮助调度人员更快更准确地把握电力市场的用户特征,判断消费群体的下一步消费行为。在对用户负荷特性充分了解的基础上,对其行为分门别类管理,在保证系统安全稳定运行的前提下,制定出更有竞争力的供电策略。
作为OLAP技术应用的初级阶段,Windows办公自动化软件包中的Excel提供了See-through 数据透视表功能,可以实现一些简单地互动OLAP展现。通过Excel数据透视表服务,用户可以创建相关的查询透视表、交叉表以及OLAP立方。比如,从时间维角度观察数据时,可以从日期、月份、季度和年等不同层
次来对数据进行钻取分析。图4 从不同的维度对客户的售电情况建立OLAP分析。
4.3 电力故障模式分析
电力系统在长期运行过程中积累了丰富的故障处理信息。对这些故障信息进行深度挖掘和综合分析将有助于管理运行人员更好地找出数据中蕴藏的许多潜在的重要影响因素和关联信息。提炼出常见故障模式并对尚未发生故障的部件进行重点预维护,实现可靠的安全管理。
5 结语
数据仓库是传统的数据库技术的进一步发展,其目的是集成不同异构数据源的数据和信息。EMS中数据仓库的建立为电力系统的各项高级功能实现提供了便利的数据支持。在此基础上的OLAP工具应用有效地帮助调度人员进行数据分析并做出综合决策。同时应该看到,数据仓库和OLAP的理论和应用尚于初级阶段,还有很大的技术提升空间。电力数据仓库的建立不是一朝一夕之事,需要各级电力部门不断的进行实践和总结以及各个标准组织的协调配合,长期反复建设才能逐步完善。
参考文献
[1].W.H.Inmon 著,王志海等译.数据仓库[M].北京:机械工业出版社,2000.
[2] E.F.Codd, S.B.Codd, C.T.Sally. Providing OLAP to users analysis[N].PC world, sep.1993.
[3].于之虹,郭志忠.数据挖掘与电力系统[J].电网技术,2001,25(8):58-62.
[4].赵春凤,刘群.电力生产系统OLAP与数据挖掘技术的实现[J].哈尔滨工程大学学报,2002,23(3):82-86.
本文为全文原貌 未安装PDF浏览器用户请先下载安装 原版全文