流的元数据
Ⅰ 什么是元数据（MetaData）及元数据的用途
元数据（Meta Data）是关于数据的数据，当人们描述现实世界的现象时，就会产生抽象信息，这些抽象信息便可以看作是元数据，元数据主要用来描述数据的上下文信息。
通俗的来讲，假若图书馆的每本书中的内容是数据的话，那么找到每本书的索引则是元数据，元数据之所以有其它方法无法比拟的优势，就在于它可以帮助人们更好的理解数据。
发现和描述数据的来龙去脉，特别是那些即将要从OLTP系统上升到DW/BI体系建设的企业，元数据可以帮他们形成清晰直观的数据流图，元数据是数据管控的基本手段。
元数据是为了提升共享、重新获取和理解企业信息资产的水平，元数据是企业信息管理的润滑剂，不对元数据进行管理或管理不得当。
信息将被丢失或处于隐匿状态而难以被用户使用，数据集成将十分昂贵，不能对业务进行有效支撑。终端用户要识别相关的信息将十分困难，最终用户将失去对数据的信任。
(1)流的元数据扩展阅读
元数据分类
元数据管理的范围将涵括数据产生、数据存储、数据加工和展现等各个环节的数据描述信息，帮助用户理解数据来龙去脉、关系及相关属性。按其描述对象的不同可以划分为三类元数据：技术元数据、业务元数据和管理元数据。这三种元数据的具体描述如下：
1、技术元数据 技术元数据是描述数据系统中技术领域相关概念、关系和规则的数据，主要包括对数据结构、数据处理方面的特征描述，覆盖数据源接口、数据仓库与数据集市存储、ETL、OLAP、数据封装和前端展现等全部数据处理环节；
2、业务元数据 业务元数据是描述数据系统中业务领域相关概念、关系和规则的数据，主要包括业务术语、信息分类、指标定义和业务规则等信息；
3、管理元数据 管理元数据是描述数据系统中管理领域相关概念、关系和规则的数据，主要包括人员角色、岗位职责和管理流程等信息。
Ⅱ 什么是元数据
元数据（Metadata），又称中介数据、中继数据，为描述数据的数据（data about data）。
元数据作用是：
1、描述数据属性（property）的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。
2、元数据算是一种电子式目录，为了达到编制目录的目的，必须在描述并收藏数据的内容或特色，进而达成协助数据检索的目的。
元数据的应用举例：
1、数据结构：数据集的名称、关系、字段、约束等；
2、数据部署：数据集的物理位置；
3、数据流：数据集之间的流程依赖关系（非参照依赖），包括数据集到另一个数据集的规则；
4、质量度量：数据集上可以计算的度量；
5、度量逻辑关系：数据集度量之间的逻辑运算关系；
6、ETL过程：过程运行的顺序，并行、串行；
7、数据集快照：一个时间点上，数据在所有数据集上的分布情况。
(2)流的元数据扩展阅读：
元数据的优点：
1、自描述：元数据自动提供 COM 中 IDL 的功能，允许将一个文件同时用于定义和实现。运行库模块和程序集甚至不需要向操作系统注册。结果，运行库使用的说明始终反映编译文件中的实际代码，从而提高应用程序的可靠性。
2、设计：元数据提供所有必需的有关已编译代码的信息，以供用户从用不同语言编写的 PE 文件中继承类。用户可以创建用任何托管语言（任何面向公共语言运行库的语言）编写的任何类的实例，而不用担心显式封送处理或使用自定义的互用代码。
Ⅲ 元数据库
元数据是“关于数据的数据”，存在于电子信息环境中，用于描述资源的属性，呈现其关系，支持资源发现、管理与有效利用(徐筱红，2006)，是对所采集到的数据的说明。一般来说，它有两方面的用途:首先，元数据能提供基于用户的信息，如记录数据项的业务描述信息的元数据能帮助用户使用数据;其次，元数据能支持系统对数据的管理和维护，如关于数据项存储方法的元数据能支持系统以最有效的方式访问数据。具体来说，在塔里木河流域生态环境动态监测及辅助决策支持系统综合数据库系统中，元数据机制主要支持以下几类系统管理功能:①描述哪些数据在综合数据库中;②定义要进入数据库中的数据和从数据库中产生的数据;③记录并检测系统数据一致性的要求和执行情况;④衡量数据质量。
(一)元数据分级与特征
1.元数据分级
基本元数据:提供地理数据源基本文档所需要的最少的元数据元素集。
完全元数据:提供完整的地理数据源(单独的数据集、数据集系列、各种地理要素)文档所需要的必选的和可选的元数据元素集。它完整地定义全部元数据，以便标识、评价、摘录、使用和管理地理信息。
2.元数据特征
(1)名称:赋给元数据实体或元素的标记。
(2)标识码:计算机中使用的定义每个元数据实体和元素的唯一代码。代码结构为:XXXXXX
前2位为元数据子集，2位数字码;中间2位为元数据实体/独立元素，2位数字码;后2位为元数据实体包含的元素，2位数字码。
(3)定义:对元数据实体和元素的说明。
(4)性质:说明元数据实体或元素是否总是出现，或有时出现的描述符。描述符分别为:M－必选;C－一定条件下必选;O－可选。
(5)条件:说明何种条件下元数据子集、实体或元素是必选的。如果对所说明的条件成立，那么该子集、实体或元素就是必选的。
(6)最大出现次数:指定元数据实体或元素在实际使用时，可能重复出现的最大次数。只出现一次的表示为“1”，重复出现的表示为“N”。
(7)数据类型:表示元数据元素的一组不同的值，例如，“文本”、“整型”、“短语”、“坐标串”、“实型”和“日期”。
(8)值域:指定每个元数据元素的取值范围。“任意长文本”表示所述内容不受限制，实型数和基于代码的整型数等只能使用一个限定的(闭合的)值域内的值。
(二)元数据库主要内容
塔里木河流域生态环境动态监测系统的元数据包括数字影像图、数字栅格图、数字高程模型、数字线划图等。大部分数据都有相应的国家或行业元数据标准规范，有国家或行业标准的按照标准规范采集;没有规范的，按照元数据的分级特征进行定义。主要包括有关数据源、数据分层、成果归属、空间参照系、数据质量(包含数据精度和数据评价)、数据更新、图幅接边等方面的信息(周骋等，2006)。其主要内容描述如下:
(1)标识信息:是唯一标识数据集的元数据信息。包括数据集名称、发布时间、版本、语种、摘要、现状、空间范围(地理范围、时间范围)、表示方式、空间分辨率、信息类别。
(2)数据质量信息:是数据集质量的总体评价。包括数据集内容完整性说明、数据集在概念、值域、格式和拓扑关系等方面的一致性程度、位置精度(空间位置绝对精度和相对精度)、时间精度(表示时间的精确程度、现势性、有效性)、属性精度(数据集属性分类正确性、属性值的精度和正确性)、数据质量保证措施。
(3)数据字典信息:包含数据集应用、数据源及生产数据集时所用工艺方法等信息。
(4)空间参照系信息:数据集使用的空间参照系统的说明。包括基于地理标识的空间参照系统、基于坐标的空间参照系统。
(5)内容信息:描述数据集的主要内容。包括主要要素类型名称及相应的属性名称、影像数据集内容概述(波长、波段、灰阶等级、合成处理方式)、栅格数据集内容概述(格网尺寸、格网尺寸单位、格网行列数、格网起始点坐标)。
(6)元数据参考信息:包括元数据发布或更新的时间，以及建立元数据单位的联系信息。
以上6类由两个公共数据类型联系，公共数据类型包括:
(1)覆盖范围信息:数据集的空间范围(经纬度坐标、地理标识符)、时间范围(起始时间、终止时间)、垂向范围(最小垂向坐标值、最大垂向坐标值、计量单位)。
(2)负责单位联系信息:与数据集有关的单位标识(负责单位名称、联系人、职责)和联系信息(电话、传真、通信地址、邮政编码、电子信箱地址、网址)。
(三)元数据入库
元数据信息是一个纯文本文件，在生产时采集了多项数据，它是与图形数据、属性数据紧密联系在一起的，按照每幅图一个文本文件存储。为了实现数据库系统中元数据与数据体的集成化管理，以及元数据与数据体的一体化相互检索查询，需将元数据信息空间化。采取的技术方法就是将元数据文件与图幅结合表联系起来，将每一幅图形的区域作为一个目标对象，所采集的多项元数据信息作为其属性项，构成一个以图幅结合表为基础的矢量格式元数据集。同图形数据坐标系统一样，元数据采用地理坐标系统，整个流域则以Coverage格式整体存储，数据处理完成后全部导入到Oracle9i数据库中。
Ⅳ 元数据的标准
1、数字图书馆资源组织框架
2. 元数据开发应用框架
元数据的基本意义 Metadata（元数据）是“关于数据的数据”；
元数据为各种形态的数字化信息单元和资源集合提供规范、普遍的描述方法和检索工具；
元数据为分布的、由多种数字化资源有机构成的信息体系（如数字图书馆）提供整合的工具与纽带。
离开元数据的数字图书馆将是一盘散沙，将无法提供有效的检索和处理。
3. 元数据应用环境
3.1 Metadata的应用目的
（1）确认和检索（Discovery andentification），主要致力于如何帮助人们检索和确认所需要的资源，数据元素往往限于作者、标题、主题、位置等简单信息，Dublin Core是其典型代表。
（2）著录描述（Cataloging），用于对数据单元进行详细、全面的著录描述，数据元素囊括内容、载体、位置与获取方式、制作与利用方法、甚至相关数据单元方面等，数据元素数量往往较多，MARC、GILS和FGDC/CSDGM是这类Metadata的典型代表。
（3）资源管理（Resource Administration），支持资源的存储和使用管理，数据元素除比较全面的著录描述信息外，还往往包括权利管理（Rights/Privacy Management）、电子签名（Digital Signature）、资源评鉴（Seal of Approval/Rating）、使用管理（Access Management）、支付审计（Payment and Accounting）等方面的信息。
（4）资源保护与长期保存（Preservation and Archiving），支持对资源进行长期保存，数据元素除对资源进行描述和确认外，往往包括详细的格式信息、制作信息、保护条件、转换方式（Migration Methods）、保存责任等内容。
3.2 Metadata在不同领域的应用 根据不同领域的数据特点和应用需要，90年代以来，许多Metadata格式在各个不同领域出现
例如：
网络资源：Dublin Core、IAFA Template、CDF、Web Collections
文献资料：MARC（with 856 Field），Dublic Core
人文科学：TEI Header
社会科学数据集：ICPSR SGML Codebook
博物馆与艺术作品：CIMI、CDWA、RLG REACH Element Set、VRA Core
政府信息：GILS
地理空间信息：FGDC/CSDGM
数字图像：MOA2 metadata、CDL metadata、Open Archives Format、VRA Core、NISO/CLIR/RLG Technical Metadata for Images
档案库与资源集合：EAD
技术报告：RFC 1807
连续图像：MPEG-7
3.3 Metadata格式的应用程度
不同领域的Metadata处于不同的标准化阶段：
在网络资源描述方面，Dublin Core经过多年国际性努力，已经成为一个广为接受和应用的事实标准；
在政府信息方面，由于美国政府大力推动和有关法律、标准的实行，GILS已经成为政府信息描述标准，并在世界若干国家得到相当程度的应用，与此类似的还有地理空间信息处理的FGDC/CSDGM；
但在某些领域，由于技术的迅速发展变化，仍然存在多个方案竞争，典型的是数字图像的Metadata，提出的许多标准都处于实验和完善的阶段。
3.4 Metadata格式“标准化”程度问题
Metadata开发应用经验表明，很难有一个统一的Metadata格式来满足所有领域的数据描述需要；即使在同一个领域，也可能为了不同目的而需要不同的但可相互转换的Metadata格式。
同时，统一的集中计划式的Metadata格式标准也不适合Internet环境，不利于充分利用市场机制和各方面力量。
但在同一领域，应争取“标准化”，在不同领域，应妥善解决不同格式的互操作问题。
4. 元数据结构
4.1 总体结构定义方式 一个Metadata格式由多层次的结构予以定义：
（1）内容结构（Content Structure），对该Metadata的构成元素及其定义标准进行描述。
（2）句法结构（Syntax Structure），定义Metadata结构以及如何描述这种结构。
（3）语义结构（Semantic Structure），定义Metadata元素的具体描述方法。
4.2 内容结构
内容结构定义Metadata的构成元素，可包括： 描述性元素、技术性元素、管理性元素、结构性元素（例如与编码语言、Namespace、数据单元等的链接）。
这些数据元素很可能依据一定标准来选取，因此元数据内容结构中需要对此进行说明，例如MARC记录所依据的ISBD，EAD所参照的ISAD（G），ICPSR所依据的ICPSR Data Preparation Manual。
4.3 句法结构
句法结构定义格式结构及其描述方式，例如元素的分区分段组织、元素选取使用规则、元素描述方法（例如Dublin Core采用ISO/IEC 11179标准）、元素结构描述方法（例如MARC记录结构、SGML结构、XML结构）、结构语句描述语言（例如EBNF Notation）等。
有时，句法结构需要指出元数据是否与所描述的数据对象捆绑在一起、或作为单独数据存在但以一定形式与数据对象链接，还可能描述与定义标准、DTD结构和Namespace等的链接方式。
4.4 语义结构 语义结构定义元素的具体描述方法，例如 描述元素时所采用的标准、最佳实践（Best Practices）或自定义的描述要求（Instructions）。
有些元数据格式本身定义了语义结构，而另外一些则由具体采用单位规定语义结构，例如Dublin Core建议日期元素采用ISO 8601、资源类型采用Dublin Core Types、数据格式可采用MIME、识别号采用URL或DOI或ISBN；
又如OhioLink在使用VRA Core时要求主题元素使用A&AT、TGM和TGN，人名元素用ULAN。
5. 元数据编码语言与制作方式
5.1 元数据编码语言
元数据编码语言（Metadata Encoding Languages）指对元数据元素和结构进行定义和描述的具体语法和语义规则，常称为定义描述语言（DDL）。
在元数据发展初期人们常使用自定义的记录语言（例如MARC）或数据库记录结构（如ROADS等），但随着元数据格式的增多和互操作的要求，人们开始采用一些标准化的DDL来描述元数据，例如SGML和XML，其中以XML最有潜力。
5.2 元数据制作方式
（1）专门编制模块（例如对MARC、GILS、FGDC等）
（2）数据处理时自动编制（例如对Dublin Core等）
（3）数据物理处理时自动编制（例如数字图像扫描时的某些元数据参数）
（4）共享元数据（例如OCLC/CORC、IMESH
6. 元数据互操作性
6.1 元数据互操作性问题
由于不同的领域（甚至同一领域）往往存在多个元数据格式，当在用不同元数据格式描述的资源体系之间进行检索、资源描述和资源利用时，就存在元数据的互操作性问题（Interoperability）：
多个不同元数据格式的释读、转换和由多个元数据格式描述的数字化信息资源体系之间的透明检索。
6.2 元数据格式映射
利用特定转换程序对不同元数据元格式进行转换，称为元数据映射（Metadata Mapping/Crosswalking）。
已有大量的转换程序存在，供若干流行元数据格式之间的转化，例如
Dublin Core与USMARC； Dublin Core与EAD
Dublin Core与GILS；GILS与MARC TEI
Header与MARC FGDC与MARC
也可利用一种中介格式对同一格式框架下的多种元数据格式进行转换，例如UNIverse项目利用GRS格式进行各种MARC格式和其它记录格式的转换。格式映射转换准确、转换效率较高。不过，这种方法在面对多种元数据格式并存的开放式环境中的应用效率明显受到限制。
6.3 标准描述框架
解决元数据互操作性的另一种思路是建立一个标准的资源描述框架，用这个框架来描述所有元数据格式，那么只要一个系统能够解析这个标准描述框架，就能解读相应的Metadata格式． 实际上，XML和RDF从不同角度起着类似的作用。
XML通过其标准的DTD定义方式，允许所有能够解读XML语句的系统辨识用XML_DTD定义的Metadata格式，从而解决对不同格式的释读问题。
RDF定义了由Resources、Properties和Statements等三种对象组成的基本模型，其中Resources和Properties关系类似于E-R模型，而Statements则对该关系进行具体描述。
RDF通过这个抽象的数据模型为定义和使用元数据建立一个框架，元数据元素可看成其描述的资源的属性。
进一步地，RDF定义了标准Schema，规定了声明资源类型、声明相关属性及其语义的机制，以及定义属性与其它资源间关系的方法。另外，RDF还规定了利用XML Namespace方法调用已有定义规范的机制。
6.4数字对象方式
建立包含元数据及其转换机制的数字对象可能从另一个角度解决元数据互操作性问题。
Cornell/FEDORA项目提出由内核（Structural Kernel）和功能传播层（Disseminator Layer）组成的复合数字对象。
内核里，可以容纳以比特流形式存在的文献内容、描述该文献的元数据、以及对这个文献及元数据进行存取控制的有关数据。
功能传播层，主功能传播器（PrimitiveDisseminator）支持有关解构内核数据类型和对内核数据读取的服务功能，还可有内容类型传播器（Content-Type Disseminators），它们可内嵌元数据格式转换机制。
例如，在一个数字对象的内核中存有MARC格式的元数据，在功能传播层装载有请求Dublin Core格式及其转换服务的内容类型传播器。当数字对象使用者要求读取以Dublin Core表示的元数据时，相应的内容类型传播器将通过网络请求存储有Dublin Core及其转换服务程序的数字对象，然后将被请求数字对象中的MARC形式元数据转换为Dublin Core形式，在输出给用户。
7. 几点建议
跟踪元数据发展、积极参与制定元数据标准、加快元数据应用、注意国际接轨。
加快研究有效利用元数据进行检索（包括异构系统透明检索）、相关性学习、个性化处理等的机制。
加快研究元数据与数字对象和数字化资源体系有机整合的途径与方法。
推进研究利用元数据进行基于知识的数据组织和知识发现。