基于数据库信息资源开发的几种新技术 什么是信息资源数据库

　　随着各类信息系统与数据库的建立，在过去若干年的时间里都积累了海量的、不同形式存储的各类数据。这些数据十分繁杂，仅仅依靠目前数据库的查询检索机制和数据处理方法，已经远远不能满足现实的需要。数据中隐藏的深层次的丰富资源没有得到充分地发掘和利用。人们迫切地需求把数据变成知识，把知识变成决策，把决策变成利润(财富)。使之有效地在管理和决策中发挥作用，是急需解决的问题。而且，随着信息化的不断深入发展，信息资源开发利用，已成为当前信息化的核心任务之一。那么如何开发信息资源? 在新技术环境下有什么工具和方法呢?本文简单地介绍几种基于数据库信息资源开发的新技术，以起到抛砖引玉的作用。
　　
　　1 数据仓库技术
　　
　　传统数据库系统作为数据管理手段，从它的诞生开始，就主要用于事务处理。经过数十年的发展，在这些数据库中已保存了大量的日常业务数据。对这些数据仅仅进行简单的统计报表、检索查询类的浅层面处理已经远远不能满足需要，必须把分析型数据从事务处理环境中提取出来。按照决策支持系统处理的需要进行重新组织，建立单独的分析处理环境。数据仓库正是为了构建这种新的分析处理环境，而出现的一种高度集中的数据存储和组织技术。数据仓库的数据来源于其它数据库，并非取消原有数据库，它的目标是为各种不同的决策提供更全面、更有效的数据支持。
　　数据仓库是支持管理决策过程、面向主题、集成的、稳定的时变的数据集合。它将大量用于事务处理的传统数据库进行数据的清理、抽取和转换，并按决策主题的需要进行重新组织。数据仓库的逻辑结构可分为近期基本数据层、历史数据层和综合数据层，其中综合数据是为决策服务的。数据仓库中数据的物理存储形式，有多维数据库组织形式和基于关系数据库组织形式两种。前者的数据组织以空间超立方体形式存在，后者由关系型事实表和维表组成。这种高度集中的数据为各种不同决策需求提供了有用的分析基础和有效的支持平台。
　　
　　2 联机分析处理(OLAP)技术
　　
　　联机分析处理(OLAP)，是在联机事务处理(OLTP)基础上发展起来的一种共享多维信息的快速分析技术。这与数据库中多维数据组织正好形成相互结合、相互补充的关系。数据仓库侧重于存储和管理面向决策主题的数据；而OLAP则侧重于数据仓库中数据分析，并将其转换成辅助决策信息。二者相辅相成，共同完成决策支持或满足特定的查询以及报表需求。
　　OLAP技术中比较典型的应用，是对多维数据进行交互式查询和数据分析。 交互式操作有多种，主要包括: 切片(即根据维的限定作投影、选择等数据库操作)，旋转(即将表格的横、纵坐标交换)和钻取(即根据维的层次提升所关心的数据或降低观察层次) 等。它便于使用者从不同角度提取有关数据，并给出数据的多维逻辑视图。OLAP技术还能够利用分析过程，对数据进行深入分析和加工。例如：关键指标数据常常用代数方程进行处理，更复杂的分析则需要建立模型进行计算。
　　
　　3 决策支持系统(DSS)、专家系统(ES)
　　
　　决策支持系统(DSS)是在管理信息系统(MIS)基础上发展起来的。MIS是利用数据库技术实现各级管理者的管理业务，在计算机上进行各种事务处理工作，DSS是要为各级管理者提供辅助决策的能力。
　　决策支持系统主要是以模型库系统为主体，通过定量分析进行辅助决策。其模型库中的模型，已经由数学模型扩大到数据处理模型及图形模型等多种形式，可以概括为广义模型。决策支持系统的本质是将多个广义模型有机地组合起来，对数据库中的数据进行处理而形成决策问题大模型。决策支持系统的辅助决策能力从运筹学、管理科学的单模型辅助决策发展到多模型综合决策，使辅助决策能力上了一个新台阶。
　　20世纪90年代，决策支持系统与专家系统(ES)结合，形成了智能决策支持系统(Intelligent DSS) 。专家系统是定性分析辅助决策，它和以定量分析辅助决策的决策支持系统结合，进一步提高了辅助决策能力。智能决策，是决策支持系统发展的又一个新阶段。而群决策支持系统(GDSS)，则有利于克服个人决策中的主观失误。为提高群决策的高效率，产生了多目标决策理论、主从决策理论、协商谈判系统和冲突分析等。
　　
　　4 数据挖掘(DM)
　　
　　数据挖掘(DM)，是为解决数据量的爆炸性增长与开发利用困难的矛盾应运而生的，是用于开发信息资源的一种新的数据处理技术。数据挖掘通常又称数据库中的知识发现(KDD)，可自动或方便地进行模式提取。数据挖掘是指从大型数据库或数据仓库中存储的大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的，但又是潜在有用的信息和知识的过程。提取的知识一般可表示为概念、规则、规律、模式等形式。
　　由此可见，数据挖掘技术的特点:
　　
　　(1) 数据源必须是真实的、大量的、含噪声的。
　　(2) 发现的是用户感兴趣的知识。
　　(3) 发现的知识要可接受、可理解、可运用，最好能用自然语言表达发现结果。
　　(4) 并不是要求发现放之四海而皆准的知识，也不是要去发现崭新的自然科学定理和纯数学公式，更不是什么机器定理证明，所有发现的知识都是相对的，是有特定前提和约束条件、面向特定领域的。
　　(5) 挖掘的结果是潜在的、未知的、多样性的(发现的知识可以是多种形式的) 。
　　(6) 挖掘方法是不确定的。数据挖掘方面没有所谓最好的技术或通用的技术，问题不是某一种方法比另一种方法更好，而是哪一种更适合所要解决的问题。
　　(7) 数据挖掘支持在线数据存取。
　　(8) 技术的综合性。DM从多个学科汲取营养，涉及到数据库技术、人工智能、机器学习、神经网络、模式识别、归纳推理、统计学等多个领域。
　　数据挖掘与传统的数据仓库、联机分析处理(OLAP)、决策支持系统和专家系统的数据处理技术区别是：数据仓库，侧重于存储和管理面向决策主题的数据；OLAP则侧重于数据仓库中的数据分析，并将其转换成辅助决策信息；决策支持系统和专家系统，是定性和定量的辅助决策支持；而数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息应具有先前未知、有效和实用三个特征。先前未知的信息是指该信息是预先未曾预料到的，即数据挖掘是要发现那些不能靠直觉发现的信息或知识，甚至是违背直觉的信息或知识，挖掘出的信息越是出乎意料，就可能越有价值。在商业应用中最典型的例子就是，美国一家连锁店通过数据挖掘发现了小孩尿布和啤酒之间有着惊人的联系。由此可见，数据挖掘是更深层次上的数据处理技术。
　　数据仓库、OLAP、 决策支持系统和专家系统及数据挖掘共同构成基于数据库的信息资源开发技术支撑体系。如果将上述几项技术集成起来，可以有效地提高决策支持能力。这表现在以下几个方面:
　　
　　(1) 数据仓库技术，实现对决策主题数据的存储和综合。
　　(2) OLAP对数据进行综合、统计和多维分析。
　　(3) DM对数据库和数据仓库中的知识进行挖掘、发现，并利用这些有价值的知识进行预测分析辅助决策。
　　(4) DSS的模型库，实现多个广义模型的组合辅助决策。
　　(5) ES系统利用知识推理进行定性分析。
　　它们集成的综合决策支持系统，可以相互补充、相互依赖，发挥各自的优势，实现更为有效的决策支持。由此可见，利用基于数据库的这些新技术，从大规模数据集合中挖掘深层信息。发现有用的知识，是新技术环境下开发利用信息资源所必须掌握的十分重要的工具。
　　
　　
　　――――――――――――
　　作者简介:刘劲松（1953-），男，现为高级工程师。主要研究方向：信息技术及其应用。