数据仓库优化
『壹』 数据库性能优化有哪些措施
1、调整数据结构的设计。这一部分在开发信息系统之前完成,程序员需要考虑是否使用ORACLE数据库的分区功能,对于经常访问的数据库表是否需要建立索引等。
2、调整应用程序结构设计。这一部分也是在开发信息系统之前完成,程序员在这一步需要考虑应用程序使用什么样的体系结构,是使用传统的Client/Server两层体系结构,还是使用Browser/Web/Database的三层体系结构。不同的应用程序体系结构要求的数据库资源是不同的。
3、调整数据库SQL语句。应用程序的执行最终将归结为数据库中的SQL语句执行,因此SQL语句的执行效率最终决定了ORACLE数据库的性能。ORACLE公司推荐使用ORACLE语句优化器(Oracle Optimizer)和行锁管理器(row-level manager)来调整优化SQL语句。
4、调整服务器内存分配。内存分配是在信息系统运行过程中优化配置的,数据库管理员可以根据数据库运行状况调整数据库系统全局区(SGA区)的数据缓冲区、日志缓冲区和共享池的大小;还可以调整程序全局区(PGA区)的大小。需要注意的是,SGA区不是越大越好,SGA区过大会占用操作系统使用的内存而引起虚拟内存的页面交换,这样反而会降低系统。
5、调整硬盘I/O,这一步是在信息系统开发之前完成的。数据库管理员可以将组成同一个表空间的数据文件放在不同的硬盘上,做到硬盘之间I/O负载均衡。
6、调整操作系统参数,例如:运行在UNIX操作系统上的ORACLE数据库,可以调整UNIX数据缓冲池的大小,每个进程所能使用的内存大小等参数。
数据库(Database)是按照数据结构来组织、存储和管理数据的仓库,它产生于距今六十多年前,随着信息技术和市场的发展,特别是二十世纪九十年代以后,数据管理不再仅仅是存储和管理数据,而转变成用户所需要的各种数据管理的方式。数据库有很多种类型,从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据库系统都在各个方面得到了广泛的应用。
在信息化社会,充分有效地管理和利用各类信息资源,是进行科学研究和决策管理的前提条件。数据库技术是管理信息系统、办公自动化系统、决策支持系统等各类信息系统的核心部分,是进行科学研究和决策管理的重要技术手段。
在经济管理的日常工作中,常常需要把某些相关的数据放进这样的“仓库”,并根据管理的需要进行相应的处理。
例如,企业或事业单位的人事部门常常要把本单位职工的基本情况(职工号、姓名、年龄、性别、籍贯、工资、简历等)存放在表中,这张表就可以看成是一个数据库。有了这个"数据仓库"我们就可以根据需要随时查询某职工的基本情况,也可以查询工资在某个范围内的职工人数等等。这些工作如果都能在计算机上自动进行,那我们的人事管理就可以达到极高的水平。此外,在财务管理、仓库管理、生产管理中也需要建立众多的这种"数据库",使其可以利用计算机实现财务、仓库、生产的自动化管理。
(1)数据仓库优化扩展阅读
数据库,简单来说是本身可视为电子化的文件柜--存储电子文件的处所,用户可以对文件中的数据进行新增、截取、更新、删除等操作。
数据库指的是以一定方式储存在一起、能为多个用户共享、具有尽可能小的冗余度的特点、是与应用程序彼此独立的数据集合。
在经济管理的日常工作中,常常需要把某些相关的数据放进这样的"仓库",并根据管理的需要进行相应的处理。
例如,企业或事业单位的人事部门常常要把本单位职工的基本情况(职工号、姓名、年龄、性别、籍贯、工资、简历等)存放在表中,这张表就可以看成是一个数据库。有了这个"数据仓库"我们就可以根据需要随时查询某职工的基本情况,也可以查询工资在某个范围内的职工人数等等。这些工作如果都能在计算机上自动进行,那我们的人事管理就可以达到极高的水平。此外,在财务管理、仓库管理、生产管理中也需要建立众多的这种"数据库",使其可以利用计算机实现财务、仓库、生产的自动化管理。
『贰』 如何确保不同系统数据的一致性
源系统通常会相互交换数据,然后修改或传输这些数据。在许多报表系统中,最难完成的任务之一就是保持非规范化数据的一致性和同步性。 我们通常使用一个中央数据仓库确定特定数据元素的唯一可靠数据源。如果多个源系统拥有相同的数据副本,数据仓库中存储的单个数据表现可以作为真实性的判断。另一个相关问题是过载问题。例如,如果有三个系统,每个系统都保存订单信息,一个作为订单处理系统,第二个负责连接合作伙伴供应商,第三个是支付帐号系统。每一个系统都拥有日期输入域,但是每一个域都不相同,而且每一个数据点都非常重要。用户必须确定他们需要的各个数据点,使数据在各个报表中保持一致。大多数组织都会使用多个报表系统,它们拥有不同的数据处理方式。有一些需要详细的交易数据,其他系统则需要汇总数据。从一个数据源获得数据,有利于保证不同系统的数据一致性,以及减少数据混乱和报表错误问题。 拥有一个中央信息源也有利于简化新报表的创建过程。由于数据位于一个位置,而且数据相关性已经完全确定,所以报表的创建会更简单一些。高效地确定目标知识库报表数据,有利于加快新报表项目的完成和降低其成本。 当然,从这个数据源创建的报表越多,对服务的要求就越高。与只包含小规模数据的小型独立系统相比,这种系统需要缓存数据,快速响应查询,其要求是完全不一样的。实现唯一企业数据源的效率还需要对数据仓库进行优化,使之能够支持更大的数据量要求。 注:虽然拥有唯一一个真实数据源有很多好处,但是其实现难度也很大。人们偏向于保存自己的本地数据。创建一个中央数据仓库,保存大规模的统一数据,会迫使人们交出“自己的”数据——以换取一个更大范围的整体组织数据视图,以及了解其他部门的交互。 这些报表需求也迫使系统提到创建报表信息的速度。将源系统的数据移动到数据仓库,以及准备数据时进行的ETL和分析处理,都有利于确定数据仓库的容量和性能需求。 中央企业数据能够高数据查找速度和简化数据查找过程。它有利于简化新报表的创建过程和降低其成本。它能够优化交流和减少错误。 通过建立统一且简单的唯一数据源,公司可以获得许多的好处。随着业务的增长和发展,系统本身也会变大,成为一种大型数据仓库。