❶ 企业数字化转型如何进行数据资源规划

个人曾就这个问题咨询过中大咨询的专家,专家给出以下几点建议:
1、统一信息资源模式,强化数据标准建设
以业务为导向,建立统一的企业数据架构。依托企业主数据管理(MDM)和数据资源规划(IRP),强化数据标准化建设,实现信息资源模式的统一。企业主数据管理,就是将企业的多个业务系统中整合最核心的、最需要共享的数据(主数据),集中进行数据的清洗和丰富,并且以服务的方式把统一的、完整的、准确的、具有权威性的主数据分发给企业内需要使用这些数据的应用。围绕流程再造,从业务到数据,构建企业数据架构基线,建立数据架构管理机制。

2、推进结构化和非结构化数据的融合发
推进结构化和非结构化数据的融合式发展,将超文本、超媒体数据模型和面向对象数据模型进行融合,构建适合结构化和非结构数据统一组织和管理的数据模型。

3、积极部署大数据应用,驱动信息资源的有效利用
加大大数据技术的应用部署力度,综合运用云计算、分布式计算、数据交换、数据仓库、数据挖掘以及非结构化的数据处理等多层次的大数据技术搭建大数据平台。

4、重视数据安全管理,确保大数据生态圈信息安全
在信息资源整合过程中以数据安全管理为前提,与上下游企业以及安全管理机构、评测机构等第三方机构开展广泛合作,从企业管理制度、流程和技术手段等多方面协作确保大数据生态圈的数据信息安全。

❷ 石油勘探开发数据资源规划方法研究

文必龙 计秉玉

(中国石化石油勘探开发研究院信息技术研究所,北京 100083)

摘 要 当前的各种IT规划方法和软件工程方法在指导石油企业进行数据资源规划时,需要结合石油勘探开发数据资源管理的特点进行具体化。本文分析了石油勘探开发数据资源管理方面的现状及特点,提出了基于业务驱动的石油勘探开发数据资源规划方法,给出了构建勘探开发业务模型、数据资源目录的方法,以及数据中心的总体架构,为石油勘探开发数据资源规划提供了完整的方法论。

关键词 数据资源 业务驱动 业务模型 数据中心

Research on Method of Petroleum Exploration and Proction

Data Resource Planning Based on Business-driven

WEN Bilong,JI Bingyu

(Dep.of Information Technology,Exploration and Proction Research

Institute,SINOPEC,Beijing 100083,China)

Abstract To guide data resource planning,the IT planning methods and software engineering theory need to be specified according the features of petroleum data resource management.The features in petroleum exploration and proction data resource management are analyzed,and a method of data resource planning based on business-driven is put forward,that presents the approaches how to build petroleum exploration and proction business model and data resource catalogs,and architecture of data centre.These provide a complete methodology to plan petroleum exploration and proction data resource.

Key words data resource;business-driven;business model;data centre

在油气勘探开发综合研究过程中,需要从海内外油田收集大量的数据,同时综合研究成果中包含了大量的数据,如各种图表、报告。为了管理和应用这些数据,各研究部门纷纷开展了与项目研究相关的数据资料管理系统的建设,但由于缺少统一的规划,在数据资源的建设和管理中存在以下问题:数据库建设 “小、散、杂”,难以管理;数据分散存储,数据之间的逻辑关联度低,不能集成共享;数据收集困难;缺少专门的数据服务机制,数据应用困难。因此,有必要对油气勘探开发综合研究的勘探开发数据资源进行统一规划,即开展数据管理与应用需求分析,从总体上设计数据中心建设方案。

数据资源规划(Data Resource Planning,DRP)的方法主要是基于软件工程理论和IT战略规划的各种方法论。目前多数国际知名的IT咨询公司均采用企业架构(Enterprise Architecture,EA)这一先进理论方法,例如TOGAF企业架构框架,制定具有自身特点的IT规划编制方法论,并在企业规划咨询项目中应用,取得了良好效果[1]。针对数据资源,高复先在信息工程方法论的基础上,总结出了一套信息资源规划(Information Resource Planning,IRP)方法[2]。IRP方法以面向主题数据库的总体数据规划方法为基础,按照一定的方法步骤、遵循相关标准规范、利用有效的软件支持工具进行各职能域的信息需求和数据流分析,制定信息资源管理基础标准,建立全域和各职能域的信息系统框架——功能模型、数据模型和系统体系结构模型。

本文根据EA理论和IRP方法,结合油气勘探开发综合研究的特点,提出了一套基于业务驱动的勘探开发数据资源规划方法。

1 数据规划的基本思想

数据资源规划是采用科学合理的方法,对企业生产经营过程中产生和使用的数据的相关内容、标准、技术、软件、人员、支撑条件等进行全面梳理、优化和设计,提出全面的数据资源采集、传输、存储、应用、管理的解决方案,以便企业提高数据的共享程度,降低数据采集、管理、应用的成本,发挥数据资源的最大价值。

数据资源规划的目的是优化企业数据管理质量。这包括提高数据共享程度,降低数据采集、管理、应用的成本,提升数据资源的价值等。其中,首先要向企业不同层级提供相关的信息。对决策层,提供的信息包括:有哪些数据资产,还要投资建设哪些,数据投资效果如何,是否有重复建设;对管理层,提供的信息包括:数据保存在哪里,谁在管理,哪些人在使用,数据质量如何;对执行层,提供的信息包括:有什么数据,数据在哪里,如何获取数据,如何提交成果;对信息服务部门,提供的信息包括:业务部门需要什么数据,如何使用这些数据。

数据资源规划的目标是提出一个数据资源建设解决方案。通过实施方案,可以建立企业数据中心及配套的建设和管理体系,达到数据资源规划的目的。数据资源规划的内容包括梳理数据需求,即数据内容;设计数据相关标准,包括数据元标准、数据采集标准、数据管理标准、数据代码标准等等;设计数据建设和管理的技术方案;数据管理和服务的软件体系架构;数据建设的组织架构和配套制度等。

数据资源规划的过程如图1所示。如果把数据中心的建设作为一个完整的软件工程项目,数据资源规划位于需求分析阶段和概要设计阶段。在项目实施中,还需要进一步根据规划的各项方案进行详细设计、系统开发、系统测试和运行维护。

在数据资源需求分析阶段,通过调研,梳理当前勘探开发综合研究的业务范围、研究活动、已经建立的数据库及数据内容、应用软件及部署情况。根据调用情况建立业务模型,用规范化的方式描述各项研究活动及每项活动的数据需求,并对数据流进行分析,形成统一的数据资源目录。需求分析阶段最终成果是需求分析报告,核心内容由一组规范组成,包括业务模型、数据资源目录、数据元目录、数据流规范。

概要设计阶段主要任务是依据数据需求进行方案设计,形成数据资源建设方案,具体包括:综合数据库建设方案、综合研究数据服务与管理平台建设方案、数据中心运维体系。形成数据模型、数据服务功能、数据管理功能、数据汇交管理流程、数据管理与服务组织架构等总体架构,并形成数据中心建设的项目框架。通过数据资源建设方案明确了数据如何存储,如何控制数据质量,数据如何建设,数据如何管理,数据如何获取、提交、应用等问题。

图1 数据资源规划过程

图2 数据资源规划的成果及其之间的关系

在项目实施阶段,还需要根据数据资源建设方案,对每一个项目进行详细设计和开发。

数据资源规划的成果包括数据资源需求分析报告和数据中心建设方案。需求分析报告中,包含了业务模型、数据资源目录和数据元目录,数据中心建设方案包括数据库和数据模型在内的数据库建设方案、数据服务与管理平台、数据中心运行维护体系。

图2给出了这些成果及其之间的关系。业务模型中的每一个业务活动使用和产生的每一类数据都应在数据资源目录中进行注册,数据资源目录中的每一类数据都要用一个或多个数据元进行描述。数据库中的数据实例应该归类到数据资源目录中,数据元与数据模型之间要建立映射关系。根据上述关系,应用软件或用户可以根据业务活动利用数据服务与管理平台非常方便地从数据中心获取需要的数据。

2 基于6W的业务模型

业务模型(Business Model)是一种通过定义组成活动及活动之间逻辑关系来描述企业经营生产过程的模型。勘探开发业务建模就是要将石油勘探开发生命周期中涉及的业务抽象为一个完整的业务功能结构,建立勘探开发业务模型。建立此模型,在系统地、本质地、概括地把握勘探开发功能结构的同时,还要建立勘探开发业的数据模型、知识模型、软件模型等与功能相关的信息模型。

业务分析与建模过程从形式上可分为4个阶段:一是业务领域划分;二是分业务领域建模;三是业务模型集成;四是业务模型标准化。

业务模型采用 “业务域-业务分类-业务活动” 3层结构。将石油勘探开发涉及的所有业务划分为多个业务域,每个业务域建立多级业务分类,每个分类中定义一个或多项最基本的业务活动。

业务域(Business Domain)是对企业中的一些主要业务活动领域的抽象,而不是现有机构部门的照搬。对油田业务域的划分可以依据某一主题进行。业务领域的划分原则是:(1)根据专业划分业务领域;(2)根据油气田勘探、开发生命周期划分业务领域;(3)根据油气田勘探、开发管理阶段划分管理业务域。业务领域的划分参照以上3种原则进行划分,尽量符合油气田勘探、开发管理约定俗成的管理习惯,做到不同业务域间的业务不重复,并保证能覆盖所有的勘探、开发业务。根据以上原则,油气勘探开发业务领域可划分为“物化探”、“井筒工程”、“分析化验”、“综合研究”、“油气生产”、“地面工程” 等六大业务领域。

业务是由一系列业务活动组成的,对业务活动的描述按照 “6W” 的模式进行[3],即活动是由谁(Who)发起的、在什么时间(When)发起的、在哪里(Where)发起的、为什么(Why)要发起这个活动、在这个活动中都涉及了哪些(Which)对象、这些对象的特性是什么(What)。采用业务单元定义了参与业务活动的基本元素以及元素之间的关系。一个业务单元包括以下8类元素:1个业务活动,该活动作用的1个业务对象,实施该活动的组织机构,1组结果对象(输出),1组参与对象(输入),业务规则,相关对象的特性,对象之间的关系。业务单元的结构如图3所示。

业务单元中,“特性” 定义了业务活动需要的数据、业务活动相关的知识,是数据规划中梳理的重点;“参与对象” 包括各种人员、软件、数据、设施、材料、方法等;“作用对象” 包括区块、油藏、井、层位、油田、企业等;“结果对象” 可以是油井等油田实物对象,也可以是文档、方法、研究成果等技术性对象。

基于6W的业务模型的建模通过在统一的业务域分类架构下对单一业务活动的业务单元进行描述,没有进行专门的业务流程梳理,但由于业务单位中描述了业务活动参与对象与结果对象,即定义了活动的输入与输出,以这些对象为中介,因此很容易自动形成业务流、数据流、知识流等各种流程。

业务活动与数据之间的关系可以用 “CUR” 矩阵描述。矩阵中,行对应业务活动,列对应数据元。如果业务活动中创建了某一项数据则行列对应的值标识为 “C”(Create),如果业务活动对数据进行了更新则标识为 “U”(Update),如果业务活动引用了某一项数据则标识为 “R”(Read)。通过CUR矩阵,可以检查某一数据是否有唯一的创建源头,保证数据源头的唯一性。根据CUR关系,可以自动形成数据流。

图3 业务单元的结构

3 勘探开发数据资源目录

勘探开发数据资源目录是对油田企业、勘探开发研究院或中国石化整体已有和需要数据的分类与组织方式描述。数据资源目录描述了企业需要什么数据、有什么数据、数据在哪里、谁在管理数据、哪些人在使用、哪些应用软件在使用等信息。数据资源目录既是一个数据建设单位的数据分类与数据组织规范,也是数据中心进行数据管理与服务平台的核心元数据,同时也是用户建设和使用数据的依据。

数据资源目录的分类模式是多维的,可以从不同角度进行分类。常用的维度包括:

(1)按业务对象组织。包括区块、油藏、井、层位、油田、企业等,除对象本身的基础数据(如井基础信息)即通常所说的静态数据外,还包括该对象的各种动态数据(如井的日报数据)。

(2)按业务活动组织。根据业务模型的 “业务域-业务分类-业务活动” 3层结构进行分类,每一个业务都有一组按 “CUR” 标识的数据。

(3)按特性组织。按数据或知识本身的特性进行分类,如长度、密度、渗透率等。

(4)按项目组织。一个项目使用和产生的数据有哪些。

(5)按单位组织。一个部门使用、产生、管理的数据有哪些。

数据资源目录的各个维度是相互关联的,对象、活动、特性、项目、单位之间的关系如图4所示。

除建立分类目录外,数据资源目录还包括数据实例,因此需要将数据分类与数据库中的实例关联起来,明确标识出每一类包括哪些实例。分类与实例关联的方式主要采用数据集进行定义,通过数据实例的标识符、标识条件确定数据集中的实例[4]。数据资源分类在数据需求分析阶段完成,分类与数据实例的关联在数据中心运行期间形成。

数据资源目录中数据分为两级:逻辑数据实体和属性。从技术角度,逻辑数据实体的本质就是数据视图,一个数据视图是一个虚数据表,每一个数据视图由多个属性组成,其中至少包括一个关键字。实体的属性用数据元进行描述。数据元是不必要再分的基本数据单元[5]。当前可直接参照中国石化石油勘探开发数据元字典[6]

4 数据中心的总体架构

不同企业数据中心的架构会有所不同[7]。本文以中国石化石油勘探开发研究院的数据中心为例,说明数据中心建设方案。数据中心包括综合研究勘探开发数据库、数据服务与管理平台、数据中心运维体系,如图5所示。

图4 数据资源分类维度之间的关系

图5 综合研究勘探开发数据中心

勘探开发数据库包括元数据和专业数据。元数据是以数据资源目录为核心,描述了专业的分类、目录、结构、使用动态等信息。外购数据库、地理信息数据库由于来源于外部,自带有成熟的管理软件,属于公共数据,独立于具体的项目研究。由于地震数据和测井数据有专门的格式,由专门的软件进行管理,但要与项目数据进行关联。项目资料与成果主要以文件形式保存,对共享程度较高的数据需要从半结构化的文件形式转换为结构化数据,数据之间相互关联,实现数据的集成。综合研究应用软件有自己内部的项目数据库,通过数据桥技术可以实现在线数据访问。数据通道用于实现石油勘探开发研究院数据中心与中国石化各级数据中心的互联。

综合研究数据服务与管理平台的主要功能包括:GIS研究目标查询、地震剖面显示、测井曲线显示、资料查询、资料搜索、资料提交、资料下载、系统管理、数据发布等。

数据中心运维体系包括运维管理组织机构、数据资料上交管理、数据服务管理3个部分。运维管理队伍的职能包括数据库系统管理、数据服务支持、数据质量控制等。数据资料上交管理按照数据流和数据生命周期,对各环节进行规范管理,包括:外部数据申请、数据采集、原始资料上交、个人/项目组资料管理、成果上交、数据流程调整(数据资料目录注册与注销)、安全与权限、审核与验收等内容。数据服务管理通过数据服务管理制度,规范数据服务行为,建立数据服务技术规范,通过数据应用服务接口规范,为应用系统提供标准的服务接口。

5 结论

数据资源规划方法提出了一套适合石油勘探开发领域开展数据资源建设的方法论。从勘探开发业务需求出发,通过梳理业务流程,建立业务模型,并梳理与业务相关的数据,建立数据资源目录,在此基础上提出完成的数据中心建设方案,从人员组织、数据建设、服务平台构建及运维管理进行规划。数据资源规划方法成功应用于中国石化油气勘探开发数据模型标准建设,开发了中国石化业务模型(Sinopec Business Model,SPBM),定义了物化探、井筒工程、分析化验、综合研究、开发生产、地面工程六大业务域,包括1237个业务活动,对每一个与业务活动相关的数据项进行了梳理。进一步的研究工作将把数据资源规划方法应用于中国石化石油勘探开发研究院数据资源建设,通过研究院业务进行调研,结合SPBM,建立综合研究数据资源目录,设计数据中心建设方案。针对中国石化石油勘探开发研究院综合研究的数据资源规划成果可进一步推广应用于石油行业各石油公司的综合研究数据资源建设。

参考文献

[1]金涛,郑树泉,李名敏,等.企业架构驱动的IT规划方法研究[J].计算机应用与软件,2009,26(12):164~166.

[2]高复先.信息资源规划——信息化建设基础工程[M].北京:清华大学出版社,2002.

[3]肖波,景帅,吴建军,马承杰.模型驱动技术在油田企业数据中心中的应用研究[J].大庆石油学院学报,2012,36(1):78~82.

[4]时贵英,文必龙.基于数据元的数据集成技术研究[J].科学技术与工程,2011,11(18):4223 ~4227.

[5]Wen Bilong,Zhang Li.Defining semantics for data element with semantic tree[C].Proceedings of 2008 International Symposium on Information Science and Engineering,2008.12:524~527.

[6]文必龙,肖波,陈新荣.石油勘探开发数据元管理技术[J].大庆石油学院学报,2012,36(1):83~87.

[7]李剑峰,肖波,段鸿杰.中国石化油田企业数据中心总体框架设计[J].大庆石油学院学报,2012,36(1):73~76.

❸ 数据规划的内容

总体规划的目的不应该是包括一切的完整的设计,而应该是提出一个稳定的基础结构,其中各个的模块设计可以被连接起来。那种综合的、包括一切的设计太复杂,众多部门的相互影响,数不清的变化都纠缠在一起,实现的代价也很高。而这种基础结构,
应该是管理上所需要的一组最小数目的模块,并能保证系统的扩充和互用。在良好网络结构和稳定数据模型的基础上,用户就有了使用他们所需要的信息资源的自由。
总体规划的内容应当在如下三个层次上进行:
战略的业务规划
大多数企业都有战略的业务规划,而且所有企业都应有这样的规划。战略业务规划描述企业的基本目标、发展战略和企业的指标。现在的政策和技术发展能改变企业的各个方面,在某些情况下改变企业的业务类型,改变制造方法,改变服务,改变信息流和决策的制定,并由此影响管理结构,影响产品的竞争机会。
战略的信息技术规划
企业计算机应用的发展需要加以规划,这样才能使数据库和办公自动化得到健康的发展。如果没有规划,系统的不一致性问题就会越来越多,就象杂草长满花园一样,与杂草不同的是,这些不一致性要想在系统中根除是极为困难的。
战略的数据规划
一个企业中有许多数据实体和它们的属性,可以与应用项目和系统相互独立地加以定义。管理、知识、技术的变化常常超出我们的认识,但是数据模型如果经过严格的分析和管理,可以保持稳定。通过总体数据规划所得到的数据模型将是富有生命力的,在长达数年之内,它们可以仅有微小的调整和增加,就可适用于多种类型的系统和数据库。

❹ 大数据时代下,得数据者是如何得天下的

现在很多企业都渐渐意识到数据的开发和利用在企业发展过程中的重要性。而实现数据资产变现,是需要企业自身进行合理有效的数据资源规划,梳理清楚企业自身的“数据家底“,从而掌握企业当前数据资源的详实状况,明确企业的数据种类、未来可能获取的数据种类,以及这些数据的数据量、数据质量、数据用途等等。
数据资源梳理:即企业需要梳理清楚:数据来自谁,用在何处,如何存储?一般而言,业内会从三个维度,来对数据资源进行分类管理,数据产生主体、数据来源、存储形式等。
数据资源规划实施:企业在数据资源规划与获取的过程中,除了需要企业内部提供有效的组织保障,包括数据管理人员、数据分析人员和业务使用人员之间的紧密协作,而且还需要全面的对整个企业或政府部门组织需求分析调研,这样才可有效帮助企业理清数据资源家底,明确数据资源获取与使用的方式方法。
数据资源可视化:在数据中台理念下,我们所指的数据资源规划和获取一定是企业全局性的考量和行为。“牵一发而动全身”这必然会牵扯到各部门和各层级组织架构的利益。
如果能将现有数据资源梳理结果进行可视化呈现,让各子公司、各部门、各业务需求方都可以清晰了解自身数据资源现状,以及要满足自身数据应用需求,还需要获取哪些数据资源,还需要增加多少量的数据存储空间,还需要补充哪些外部数据,现有数据质量又如何,则可以大规模提高企业数据资源利用的效率。
数据资源分析报告:企业以前对自身数据资源的认识是模糊的,企业需要一份完整详备的数据资源分析报告,指导后续数据治理和数据资产管理平台的建设,最终服务于企业数据应用场景。为了满足客户的这一需求痛点,袋鼠云便将数据资源分析报告作为“数据资源规划与获取服务”的交付产出物之一。

❺ 数据规划的总体数据规划

总体数据规划的方法有很多,有自顶向下的,有自底向上的。全局规划需要一个人来全面掌握,如数据资源的工作或整个信息系统的规划工作。信息资源规划员必须听取高层管理者的意见,而高层管理者必须签字批准信息规划员所做的规划,若不做到这两点,所作出的规划经常会出现争论不休,使规划不能付诸实现。
全部规划工作应由数据规划小组来完成。小组成员由高层管理人员与数据处理管理人员组成。信息系统的最终用户,是指那些直接使用计算机应用系统的各层管理人员,包括最高层、高层管理人员、中层管理人员和基层管理人员。这些人员中要抽出一部分人在总体数据规划期间代表所在的部门参加工作,称为用户分析员。用户分析员的人数应适合企业的规模,并能覆盖全部业务职能区域。用户分析员既是规划工作的具体参加者,又是数据规划小组与广大管理人员的联系者,因此,应注意选择有经验的、素质好的人员,否则将影响所在部门的分析规划工作,也影响全局工作。
用户分析员要经过培训,学会识别企业过程、分析业务活动和数据模型工作。用户分析员完成所在部门的有关分析工作后,数据规划小组进行综合,完成全企业的业务模型和信息结构规划。代表各业务职能区域的用户分析员除了发挥自己的知识与经验外,在规划分析过程中要经常与其他管理人员打交道,其中包括对负责人的调查访问,同他们讨论问题,整理并反映他们的意见和见解,然后通过一定的图表或其它文档资料的形式反映给数据规划小组。
值得提出的是,不论是数据规划小组,还是用户分析员,都必须保证在数据规划期内能持续地参加实际工作,绝不要任何只挂名而不实干的人员。如果没有决心组建这样的工作班子,这说明暂不具备进行总体数据规划的条件,就不要开始这项工作。总体数据规划成功与否的关键在于企业最高层领导的全力支持和高层管理干部的亲自参加。如果领导班子意见尚不一致,又没有高层管理人员参加实际工作,只交给一些中低层管理人员或请外单位来搞总体规划,是注定要失败的。任何一位打算用计算机为企业带来效益的企业家,应该对总体数据规划有战略的眼光,有决心、有魄力抓好这项对企业计算机有深远影响的大事。