A. 大数据系统体系建设规划包括哪些内容是什么

大数据系统体系建设规划包括的内容是:强化大数据技术产品研发,深化版工业大权数据创新应用,促进行业大数据应用发展,加快大数据产业主体培育,推进大数据标准体系建设,完善大数据产业支撑体系,提升大数据安全保障能力。

指以数据生产、采集、存储、加工、分析、服务为主,进行的相关经济活动称为大数据产业,目前我国的大数据产业体系已初具雏形,大数据系统体系的发展建设有利于全面提升我国大数据的资源掌控、技术支撑和价值挖掘各方面的能力,加快我国称为数据强国的步伐,同时有利支撑着我国成为制造强国、网络强国的建设工作。

(1)系统建设思路扩展阅读

大数据系统体系建设规划发展原则:

创新驱动、应用引领、开放共享、统筹协调、安全规范。

大数据系统体系建设规划发展目标:

技术产品先进可控、应用能力显著增强、生态体系繁荣发展、支撑能力不断增强、数据安全保障有力。

B. 系统建设简述

(一)设计开发基本思想和原则

海南省农用地分等研究工作涉及大量的空间地理数据和属性数据以及其他基础数据,为保证农用地分等数据质量和成果的可靠性,提高工作效率和节约工作成本,设计开发相关的系列信息系统。

1.基本思路

设计和开发需求不断完善,既要保证软硬件的可靠性,又要兼顾未来系统的升级扩展和继承性;既要考虑数据源的多样性和兼容性,更要保证其适时更新;系统具有良好的稳定性、继承性、可重复性、可扩充性、易操作性和易维护性。

2.设计开发原则

(1)遵循规程与技术创新兼顾的原则。既要遵循国家颁布的相关技术规程,又要跟踪当代高新技术的发展,合理应用各种先进技术成果和相关理论方法,在思路上、方法上有所创新,提高系统开发的技术水平和先进性。

(2)面向对象的原则。面向对象方法通过对具有相同或类似属性的实体进行抽象,对实体和实体操作进行封装而形成类。利用类的封装性、继承性、多态性进行模块设计。

(3)模块化设计原则。采用软件工程开发中的结构化和模块化相结合的方法,根据工作要求,自上而下,对系统进行功能解析与模块划分,在调查用户需求的基础上,明晰系统模块,建立最底层次的“积木块”,通过连接形成面向应用的“上层模块”。

(4)一致性原则。以现有的技术规程为基础,力求标准化、规范化和统一化,阶段实施与整体规划相一致。组织风格、界面风格、操作模式和数据接口以及系统变量的设置、模块的调用、模块间的相互关系等应具有一致性。

(5)应用程序与数据分离的原则。通过系统程序代码与图形数据库、属性数据库分离,提高系统可移植性和可维护性。

(6)安全性原则。保证系统运行的结果数据和系统设计的相应数据备份等的安全性功能。

(二)系列信息系统概述

海南省农用地分等定级估价系列信息系统(简称为“系列信息系统”)是项目组基于SuperMap 平台,采用一体化的国土资源空间数据库管理、多层体系 C/S 架构,运用 GIS 组件式设计开发出来的。系统在应用上具有功能强大、简单易用、全业务一体化、全网络运行模式、支持远程业务处理等特点,在管理和维护上具有高度可扩展性和可伸缩性。系列信息系统包括《海南省农用地分等系统》、《海南省农用地定级与估价系统》、《土壤数字软件》、《外业调查图打印图件软件》、《外业调查资料录入软件》、《外业调查样点资料核实软件》、《分幅线处理软件》、《样地设置系统软件》、《样地设置定位系统软件》、《制图工具软件》、《土地适应性评价系统》和《占补平衡专家系统》12 个信息系统,系列信息系统的界面见图 3-59 ~图 3-70。

图 3-59 海南省农用地分等系统界面图

图 3-60 海南省农用地定级与估价系统界面图

图 3-61 土壤数字软件界面图

图 3-62 外业调查图打印图件软件界面图

图 3-63 外业资料录入软件界面图

图 3-64 外业调查资料核实软件界面图

图 3-65 分幅线处理软件界面图

图 3-66 样地设置系统软件界面图

图 3-67 样地设置定位系统软件界面图

图 3-68 制图工具软件界面图

图 3-69 土地适宜性评价系统界面图

图 3-70 占补平衡专家系统界面图

(三)系列信息系统结构

1.系列信息系统总体结构

系列信息系统由系统构建平台、关系型数据库、系统运行平台、业务运行系列系统组成。如图 3-71 所示。

图 3-71 系列信息系统构建平台关系图

系列信息系统以关系型数据库为基础,将元数据、工作流数据、业务数据、空间数据、档案数据以及文件数据进行一体化存储;以信息网络为载体,通过元数据定义组件、地图应用定义组件和信息交换定义组件等组成的系统构建平台进行统一的系统维护,实现了系列信息系统的统一构建与维护,具有高度的可伸缩性和可扩展性。

由系列信息系统、电子档案组件、地图应用运行组件、信息交换运行组件以及各种业务运行组件等构成的系统运行平台为依托,以数据中心为枢纽,通过信息采集、分析和评估等手段,以土地基础信息、土壤基础信息、外业调查数据、地形图信息、基础地理信息及其他相关领域基础信息为数据源,以统一的信息化标准、相关政策法规与管理制度、专业化、信息化管理为保障,实现了融合 GIS、GPS、RS 等在内的农用地分等定级估价系列信息系统。

2.系统运行模式

(1)系统采用统一的运行模式,构成完全网络化的运行环境。

(2)统一的数据规范和编码标准,方便实现数据交换和共享,支持与省国土资源厅以及国土资源部的信息交换。

(3)数据格式支持共同的交换标准,支持 DXF、E00、VCT 等格式。

(4)软件及其开发工具支持空间数据库技术,支持 SuperMap SDX+、ArcSDE、ORACLE Spatial 等空间数据库。

(5)各级系统具备共同的数据交换接口定义、软件工具和交换方法。

(6)系统开发过程具有规范的各种技术参考文档。

3.数据管理模式

数据管理方面,由于采用统一体系组织,所以是集中式数据管理模式。多级集散式数据管理模式突出分级、集中与分散相结合的管理模式,对于不同业务部门,可以建立自己的数据中心,统一管理所有管理区域内的空间数据。下级部门可以根据实际情况选择数据管理模式,建立自己的数据中心,统一管理所有管理区域内的农用地分等定级估价空间数据和属性数据,并通过网络访问和交换数据。

4.网络逻辑拓扑

系统的网络逻辑拓扑将采用“异地互备集群结构”,为系统运行模式和数据存储模式提供支撑 , 见图 3-72。

图 3-72 系统网络逻辑拓扑关系图

采用异地的两个机房和相应的服务器系统构成异地互备系统,异地之间通过专网进行服务器间数据同步,在正常情况下,两地局域网的数据库服务器同时运行,当其中一台服务器发生故障时,可以使用另外一台服务器继续工作。该结构具有以下特点:

(1)异地容灾:当某地发生灾难性事故时,另一地系统仍然能够保持运行,数据不会遭受毁灭性损失(包括县级系统数据的异地冗余存储)。

(2)高性能:实现了双机无冗余备份,处理能力被充分利用,从而有利于提高系统性能,由于大数据量的空间信息访问使用本地存储,大大加快了运行速度。

(3)低带宽:由于采用服务器的数据同步,避免网络流量在广域连接关键路由上的汇集,有效降低了跨子网访问的带宽需求。

(4)低成本:该结构在目前的网络条件下就能够实现软、硬件成本低,维护简单,运行成本较低。“异地互备集群结构”相对于集中化的“双机集群模式”而言,是一种松散型集群结构,不仅有利于提高系统的稳定性和安全性,而且可以大幅度提高系统的性能。

5.开发部署结构

在软件的设计方面,按三层模型,即数据服务层、应用逻辑层和用户界面层构造系统进行设计,应用逻辑层主要承担各种应用组件完成系统的功能。组件具有较好的重用性,可以对部件独立升级,增加新的接口(属性与方法),而不影响原有系统。此外,使用重用组件可以构造新的应用子系统,在具体实现上,将按业务职能和机构组成划分应用子系统。其结构如图 3-73所示。

图 3-73 软件三层模型图

系列信息系统是基于 GIS 模式软件体系结构创建的。最顶层是用户界面,中间层为应用服务层,主要由各种系统组件和应用服务系统构成,用以实现系统的功能并完成对数据库的访问。最底层为数据库层,主要为 SQL Server 等大型的管理数据库系统,数据库系统在 Windows 等操作系统上运行。

(四)系列信息系统配置

1.硬件配置

系列信息系统网络和硬件配置如图 3-74 所示。

图 3-74 网络与硬件配置图

2.软件配置总结

详见表 3-90。

表 3-90 软件配置表

续表

(五)系列信息系统评价

系列信息系统是根据国土资源部颁布的《农用地分等规程》、《农用地定级规程》和《农用地估价规程》等有关要求,结合本研究工作的实际需要,采用基于 SuperMap 组件式开发的面向数据处理、计算、制图、决策分析等应用的实用数据可视化信息系统。

1.一般性能评价

(1)系统效率。系列信息系统采用可视化技术和 SuperMap 的 GIS 技术进行开发,运行于Windows 2000/XP 环境,具有良好的用户界面,操作方便,能及时准确地向用户提供空间信息和属性信息,查询功能完备,查询速度快;系统具有良好的容错性,能对捕获的各种错误进行妥善处理;系统在完成各个任务后,其线程会自动关闭,占用系统资源少,资源的使用效率高。

(2)系统可靠性。系统在运行时具有良好的稳定性。系统提供了数据备份和灾难恢复功能,当用户数据发生错误或丢失时,系统可以及时恢复用户数据。

(3)可扩展性。系统采用 GIS 技术,在开发过程中,系统已经留取了建立决策支持系统和专家系统的接口,因此,当需要增加功能模块时,在现行系统上不做较大改动即可实现,具有良好的扩展性。

(4)可移植性。系统的空间数据库可以与 ArcInfo、MapInfo、AutoCAD 等交换数据;系统可以移植到任何安装有 Windows 2000/XP 操作系统的计算机上使用。同时,系统能与其他大量的土地资源数据兼容。

2.专业性能指标评价

(1)数据标准化和规范化。系统开发主要采用国土资源部颁布的《农用地分等规程》、《农用地定级规程》和《农用地估价规程》中的方法、参数和代码以及相关的数学标准化模型,保证了数据的标准化和规范化,有利于国土资源数据共享和软件在全省乃至全国的推广应用。

(2)数据兼容性。系统采用组件式 GIS 软件 SuperMap 作为开发平台,能同时实现矢量数据和栅格数据两种空间数据输入。同时该系统能与 MapInfo、ArcInfo、ArcView 和 AutoCAD 等主要地理信息系统软件的数据格式通用;具有接受 bmp、grid、mrsid、tif 和 ecw 图像文件的功能,通过系统提供的屏幕数字化功能,实现栅格数据(如土壤图、土地利用现状图、地貌图、地形图等)向矢量数据转化。同时,系统能将相关的数据集(土壤图、土地利用现状图等面图层,乡镇位置等点图层,乡镇界、县界等县图层)导出成 MapInfo、ArcInfo、ArcView、AutoCAD 和国际矢量交换格式等多种信息系统数据源。

(3)空间分析功能。该系统能将土壤图、土地利用现状图、地貌图等矢量化图层进行叠加,得到农用地分等定级与估价的单元图,然后进行一系列的缓冲区分析、多边形合并、图层拷贝和复制等空间数据处理分析后,可获得用户需要的数据图层。

(4)地图输出。通过农用地分等定级与估价单元、土地利用方式、乡镇名等图层和相关属性数据,系统提供单值专题图、分段专题图、等级符号专题图、点密度专题图、统计专题图、标题专题图和用户自定义专题图多种专题图制作向导用以制作专题地图,在地图制作过程中,可以根据用户需要对地图进行填充颜色、线条等风格设置,可以根据需要对相关地图要素布局。通过以上设置,可以输出农用地等别、级别、基准地价等相关图件。

(5)经济社会效益分析。采用组件式 GIS 软件作为开发平台,系统开发成本较低,运行维护费用较少;该系统可为各级管理和政府部门提供实用的计算机管理工具,快速方便地进行农用地分等定级与估价,节省了大量的人力、物力和财力,减少不必要的重复劳动;可为全国建立土地资源信息数据库和数字国土、数字地球提供坚实基础和应用范例,促进中国土地的合理化管理,解决城市化、工业化进程中出现的一系列矛盾。

国土资源部对本研究的科技成果鉴定给予了很高的评价,“其中分幅线处理软件、土壤数字软件属国内首创”。

C. 系统总体建设思路

11.1.1 系统总体框架

地质应用系统总体框架如图11.1所示,地质应用系统总体上从功能角度可以划分为三大部分:一是星载高光谱数据处理和管理部分,这部分应包含高光谱卫星下行数据到达地面系统后的快视、检索、处理、存储、管理、访问、发布等功能,还应包括整个地质应用系统的资源管理和调度;第二部分是典型地质应用分系统,也是体现地质应用系统针对国土资源应用需求的关键所在,这里包括矿产资源高光谱遥感探测、油气高光谱遥感探测和热红外高光谱遥感应用三个典型应用子系统,生成高级数据产品;第三部分是典型地物波谱库服务分系统,典型地物波谱的重要性在高光谱数据应用中的重要意义是不言而喻的,因此这里需要建立一个针对矿产和能源等地质应用的地物波谱库服务机制,建立相应标准,进行地物波谱采集,引入先验知识,为典型地质应用提供技术支撑。

图11.1 地质应用系统总体框架图

11.1.2 系统组成

根据前述地质应用系统总体框架,将地质应用系统从功能角度划分为六大分系统和一个计算机支撑平台。六大分系统分别为高光谱遥感数据处理分系统、数据与数据库管理分系统、典型地物波谱库服务分系统、典型地质应用分系统、业务运行管理分系统及用户服务与信息发布分系统。一个支撑平台是硬件设备支撑平台和网络互联环境。具体如图11.2所示。

图11.2 地质应用系统功能划分示意图

11.1.3 系统流程

图11.3 高光谱卫星数据地质应用处理系统数据流及控制流示意图

整个系统的高光谱遥感数据流程如图11.3所示。根据需要,高光谱遥感数据处理分系统从外部数据接入系统获取数据源,并对数据进行相关处理,生成的产品和生成产品的元数据信息进入数据及数据库管理分系统进行存档,而存储的经过处理的数据根据需要可能进入地质应用分系统进行进一步的加工处理生成专题数据,这些地质应用产品数据会返回到数据管理分系统再进入发布分系统进行数据分发,或者不用根据用户的需求直接进入用户服务与信息发布分系统进行数据的分发。在此过程中,在数据与数据库管理分系统中的高光谱遥感数据根据需要可以在计算机平台中进行可视化以得到数据处理人员的确认,数据分发分系统中的数据可以通过网络直接与用户进行交互。

另外系统还包括产品处理状态信息数据,软硬件资源监控信息数据,业务运行管理信息数据等。这些数据流只在相关分系统间传递,如处理分系统的产品处理状态信息数据会进入业务运行管理分系统进而通过可视化显示给工作人员,而软硬件资源监控信息数据,业务运行管理信息数据会在业务运行管理分系统和计算机平台间交互进行显示。

D. 知识管理系统建设存在的问题及解决思路

1. 系统集成难,造成知识的采集多数采用手动录入
对于知识密集型企业来说,经过多年的信息化系统的建设,各类业务依托于不同的业务系统,知识的来源系统很多,一部分业务系统已经不再提供技术支持,还有一部分系统无法提供定制化的接口开发,所以如果采用接口对接的方式从各个业务系统采集知识,势必是无法落实。
所以,在此情况下,就需要一套无需各个业务系统提供定制化的接口开发,而由知识系统直接从各类业务系统主动抓取数据的方式来获取知识源。
2. 知识应用面向研发流程节点,使用场景局限
对于知识密集型企业来说,知识的使用场景也是极其丰富,如果仅仅的绑定到研发的流程节点,会带来如下几个问题:
(1)流程升级时,知识体系要重新梳理和设计。
(2)知识仅面向产品研制环节,应用场景受局限,很多管理,研究型知识,无法沉淀和应用。
(3)同一流程节点的知识,针对不同背景及经验的员工,无法进行个性化的知识推荐。例如对于老员工和一个新员工,所需的知识是不一样的。
针对以上问题,一个智能的知识应用场景应该是可以识别出员工的不同专业属性,不同的经验背景等等,面向员工的具体业务场景,而不是流程任务,进行有针对性的知识推荐。从而实现知识与业务系统流程的解耦和,各自都能够进行灵活的升级。像天健通泰科技的知汇™智能知识管理系统,就是是面向知识密集型单位和企业打造的知识管理平台,帮助客户快速落地实施知识工程。产品致力于解决客户各个信息系统或业务单元多年积累的大量数据、信息与知识因信息孤立长期被埋没,不能有效利用的困扰,为团队及时获取知识、新老交替承接经验提供专业信息化服务。
1. 落地实施难,面临知识运营困难,形成知识社区
目前已经实施过知识工程的企业,面临的最大的考验是对知识社区的运营。通过简单粗暴的行政手段和一些绩效措施的落实,难以调动员工的积极性,让员工自发自愿的涌现知识。面对这样的问题,可以从以下两个方面入手:
(1)知识的获取不能仅仅依靠员工在工作之外,独立的手动建设。而应从其工作的过程轨迹中,系统自动的去挖掘知识,或者伴随员工在工作过程中“顺便”形成知识。
(2)形成企业内部的知识社区文化。知识管理平台需要借鉴互联网的优秀文化,建立知识社区机制,让员工在使用的过程中,对知识进行点赞、分享、转发等,对知识的贡献者进行鼓励和反馈,让员工在知识的建设和应用环节形成健康的互动,从而实现良性的知识社区的运用能力。

E. 系统开发目标、原则与思路

(一)系统开发目标

农用地分等信息系统开发的目的主要是辅助完成农用地分等运算及其成果的管理。系统以《农用地分等定级规程》(国土资源大调查专用)为主要技术依据建立系统的模型库,以实际分等工作过程设计系统的开发模式。系统开发的主要目标包括:

(1)模拟农用地分等过程,实现农用地分等过程中相对独立的运算模块的集成化,并能实现由系统代替手工农用地分等工作。

(2)实现自动分等过程和手工分等过程的平行运行,并互相校验成果的可靠性。

(3)辅助完成农用地分等成果的动态管理。

系统应能对农用地分等实现以下功能:图形管理,包括图形数据采集、图形编辑、图形量算、图形查询、图形显示、图形绘制、图像处理;属性管理,包括基本属性库建立、分析和统计、数据库管理;图形和属性库双向处理;分等计算模型设计的柔性化,模型建立及其参数设定应具一定的弹性化和智能化。就分等计算的实际状况来看,农用地分等的计算模型比较简单,不涉及复杂的数学模型和运算。因此,系统设计的重点放在分等数据库的设计和建立,分等的有关计算模型,分等成果(含图件和数据)的管理,包括按不同条件的查询、图形显示、统计、报表图件生成,成果(含图件和数据)的及时更新等。

结构上,系统采用三层体系结构:应用系统层、支撑系统层和界面层。其中,支撑系统层包括操作系统(OS)、数据库(DB)、模型库(MB),是系统的工作底层,存储管理系统的基础数据;应用系统层以支撑系统层为基础,包括数据采集输入、空间数据分析处理、属性数据动态查询实时更新、农用地分等专题功能的实现、统计报表汇总输出、专题地图的制作输出以及日常业务流程的管理,主要是基于GIS的空间辅助分析(GIS+SAA)、办公自动化(OA)和专家决策(ES);界面层则是友好的人机接口。

(二)系统开发原则

农用地分等需涉及大量的空间地理数据和属性数据,加之目前我国国土资源管理的基础、水平、技术支持有限,分等将要面对大量不规范、不完善的原始数据,系统的开发设计将有一个不断完善、升级的过程。这对农用地分等信息系统软硬件的配置和数据源的选用提出了特殊要求:既要保证软硬件的可靠性,又要兼顾未来系统的升级扩展和继承性;既要考虑数据源有多样性和兼容性,更要保证其实时更新。因此,要求系统具有良好的稳定性、继承性、可重用性、可扩充性、易操作性和易维护性。系统开发时,应遵循以下原则:

(1)遵循先进性、开放性、兼容性、安全性、保密性、稳定可靠性原则进行系统开发设计。

(2)从总体效益出发,从全局的观点来设计和规划系统的建设,采用目前先进的面向对象系统开发方案,保证整个系统结构的合理性、科学性、协调一致性。

(3)要建立各子系统、子模块间的有机联系,要有标准的数据定义和完备的交换接口,建立数据交换格式,保证系统数据交换的完整性和安全性,避免数据丢失。

(4)采用先进的空间数据管理模型,实现系统数据的有效存储,减少冗余,实现共享;进行高效空间索引,减少系统的操作时间,加快效率。

(5)保证系统的开放性、可扩展性和易维护性。

(6)充分结合国土资源管理部门的工作,应体现系统的先进性和易用性。

(三)系统开发思路

系统以《农用地分等定级规程》(国土资源大调查专用)为技术依据,考虑江苏省国土部门土地管理工作的需要,对农用地分等业务流程进行重组和优化;建立基于土壤属性、农业耕作属性、农田基础设施属性、土地利用现状属性等的关系型空间数据库,采用地理信息系统工具进行空间数据分析处理;结合目前面向对象系统开发方法和功能较强的VC++编程语言,以专业Map GIS软件为空间数据显示、编辑、分析工具,设计开发本系统。系统开发设计流程如图3-84。

图3-84 江苏省农用地分等信息系统开发流程图