数据沼泽
㈠ 如何搭建数据湖架构
EdoInteractive在几年前遇到一个大问题：公司使用交易数据来帮助零售商和餐馆进行个性化促销，但其数据仓库没有足够时间去处理所有的信用卡和借记卡交易数据
“我们要花费27小时来处理每日的数据量，”Edo主管基础设施和信息系统的高级副总裁TimGarnto说道：“所以在2013年，我们放弃了现有的基于PostgreSQL的关系型数据库系统，使用了Hadoop集群作为公司的数据湖架构。”
Garnto的团队一天中需要收集5000多万条美国零售交易数据，并分发到20个节点的集群中,这些节点运行在Cloudera的Hadoop分布式机架上，使用Pentaho的数据集成工具。从银行和信用卡公司收集到的数据，会被传入设计好的预测模型中，以确定个体持卡人所需的优惠券。Edo的业务伙伴每周通过电子邮件发出优惠券，这些优惠券会在产生对应消费时生效。
每日的数据构建时间缩减到大约四个小时，Garnto表示，根据正在运行模型的复杂性，Edo的数据分析师能“在几分钟或几小时内完成他们的工作。而以前，他们可能累的要死。
但数据湖上并不总是阳光灿烂，一帆风顺的。起初，Edo只有一个员工具有HadoopMapRece编程框架的经验。公司联合Chicago总部和Nashville分部，对其他员工进行Hadoop技术内部培训，但后来这使得他们不得放弃了熟悉的数据查询方式。“我们花了很多时间更新这一过程。”Garnto说。
创建一个保证原始数据一致性和生成标准化分析数据集的两步程序也需要花时间去解决。目前拥有包含450亿条记录(总共255TB的数据)的集群，已成为Edo业务操作的核心，对于这个集群，Garnto需要小心管理，谨慎添加新的Hadoop生态技术。否则，对公司某个部分的调整可能会影响整个系统对其他部分的工作处理。
数据湖使实时分析成为了可能
Webtrends公司是另一家数据湖的使用者，该公司收集并处理网站、手机、物联网上的活动数据。这家位于波特兰的公司于2014年7月部署了基于Hortonworks的Hadoop集群，目前正在试用阶段，计划在2015年初完全实现。它最初只支持了一个叫Explore的产品，让企业营销人员做客户数据的专项分析。Webtrends产品架构主管PeterCrossley表示，每个季度大约有500TB的数据添加到60个节点的集群中，现在总共有1.28PB。
随着时间的推移，Webtrends计划使用Hadoop平台代替自有的数据网络附加存储平面文件系统。Crossley表示，使用ApacheKafka消息队列和自动化脚本处理技术，互联网点击流数据可以涌入集群和并在20至40毫秒内做好分析准备工作。因此，报表和分析过程几乎可以在瞬间开始，这比老系统快得多。Hadoop集群还支持进阶分析，且能降低25%到50%的硬件成本。
Crossley表示，采用数据湖概念需要公司内部在管理和使用Webtrends为客户收集的信息时做到“思路上的转变”。之前，该公司主要使用数据存储构建通用报表。但是，一个数据湖与其说是一个真理，不如说是真理的来源，在其之上，您可以构建多个数据集以供不同的分析用途。
Webtrends也不得不认真考虑其数据湖的架构和数据治理过程，以防止Hadoop集群变成“数据沼泽”，正如Crossley所说。刚刚进入系统的原始数据结构十分松散(+微信关注网络世界)，但是应该有非常严格的规则来规定其应该是什么样子。此外，他的团队已经将集群分成三个不同的层次：一个用于原始数据，第二个用于日增量数据集，另一个用于存储需要被纳入的第三方信息。基于不同的数据集细节，每一层次都具有自己的数据分类和治理策略。
对你的数据保持控制
Razorsight公司CTOSurenNathan还指出，建立和管理一个Hadoop数据湖需要具备良好的纪律性和组织性。否则系统很快就会变成一个失控的垃圾场，就像一个由很多文件组成的SharePoint，没有人知道如何找到这些文件。
Razorsight为电信企业提供了一组基于云的分析服务，2014年第二季度开始使用运行在Hadoop集群上MapR技术。客户组、操作和网络数据通过自有工具被输入到系统中，通过Spark引擎的处理后，由Razorsight数据科学家进行分析;集群具有五个生产节点和120TB的存储容量。
和Webtrends类似的，Razorsight数据湖被分割成三个分区。在Razorsight的案例中，一个数据湖能够存储不到六个月的数据，另一个包含旧的但仍然活跃的数据，第三则存储不再使用的但需要保留的信息。目前，在这两个活动区域中有超过20TB的数据。为了保证系统工作平稳，Razorsight招聘了具备分布式系统的数据治理和开发经验的新员工，同时也培训现有员工使用Hadoop，Spark和相关技术的能力。
目前是迁移到新平台的阶段。每TB大约花费2000美元，Hadoop集群成本仅仅是公司之前所部署的IBMNetezza数据仓库系统的十分之一。但Nathan表示，Razorsight首先建立专门用于数据存储的集群，然后再进入处理和准备阶段。因为Netezza硬件和IBMSPSS分析软件之间存在的紧密联系，分析建模和数据可视化仍会存在于旧的系统中。建模将保持现状，但Nathan预计到今年年底，将可视化层和Razorsight分析结果数据转移到数据湖架构中。
转自网界网：http://software.cnw.com.cn/software-database/htm2015/20150709_321300.shtml
来自TechTarget中国的作者：CraigStedman分享
转自网界网：http://software.cnw.com.cn/software-database/htm2015/20150709_321300.shtml
㈡ 如何区别数据库、数据中台、数据湖
数据湖、数据仓库和数据中台，他们并没有直接的关系，只是他们为业务产生价专值的形式有不同的侧属重。
一、区别：
数据湖作为一个集中的存储库，可以在其中存储任意规模的所有结构化和非结构化数据。在数据湖中，可以存储数据不需要对其进行结构化，就可以运行不同类型的分析。
数据仓库，也称为企业数据仓库，是一种数据存储系统，它将来自不同来源的结构化数据聚合起来，用于业务智能领域的比较和分析，数据仓库是包含多种数据的存储库，并且是高度建模的。
数据中台是一个承接技术，引领业务，构建规范定义的、全域可连接萃取的、智慧的数据处理平台，建设目标是为了高效满足前台数据分析和应用的需求。数据中台距离业务更近，能更快速的相应业务和应用开发的需求，可追溯，更精准。
二、关系：
数据湖、数据仓库更多地是面向不同对象的不同形态的数据资产。而数据中台更多强调的是服务于前台，实现逻辑、标签、算法、模型的复用沉淀。
数据中台像一个“数据工厂”，涵盖了数据湖、数据仓库等存储组件，随着数据中台的发展，未来很有可能数据湖和数据仓库的概念会被弱化。
三、小结：
数据空间持续增长，为了更好地发挥数据价值，未来数据技术趋于融合，同时也在不断创新。
㈢ 国内能做数据治理的公司，希望大家可以推荐一下，感谢！
国内能做数据治理的公司
数据治理构成了公司范围数据管理的基础，可以有效地使用可信赖的数据。有效的数据管理是一项需要集中控制机制的重要任务。
什么是数据治理？
数据治理包括管理和保护公司数据资产所需的人员，流程和技术，以保证通常可理解，正确，完整，可信，安全和可发现的公司数据。数据治理主要包括以下：
2.糟糕的数据治理是危险的
缺乏有效的数据治理是一个安全问题，原因有两个：与脏，非结构化数据和法规遵从性问题相关的外部安全风险。
错误的数据和结构错误的数据会带来安全风险，原因很简单，如果您的数据库中存在脏的非结构化数据，那么如何快速判断何时出现问题以及如何有效监控哪些数据存在风险？良好的数据治理工具和实践可以更轻松地监控整个数据库中发生的情况，并且可以更轻松地查看哪些区域可能存在风险。
法规遵从和数据治理日益成为一个热门话题。随着人们继续了解其个人数据的重要性，政府开始采取公平存储，保护和使用客户数据的方式。
以GDPR为例。该法规将于2018年初生效，使欧盟居民能够更好地控制其个人信息，包括着名的“被遗忘权”，使欧盟居民能够要求从商业数据库中删除所有数据。 （请注意，这适用于与欧盟居民开展业务的任何公司，因此该法规可以轻松跨越美国）。对于混乱的，未受管理的数据沼泽，可能无法保证在请求时删除关于特定个人的所有数据。这使您的公司面临极大的风险和可能的严厉罚款。
3.良好的数据治理提供了清晰度
花点时间想象一下完美数据的保证对您的业务意味着什么。有效的数据治理使数据通常清晰，标准化和准确，让您高枕无忧。这种影响在整个公司中产生了影响。
以下是此清晰度将提供的一些好处：
确保您的指标准确无误 - 您的KPI如何？
深入了解您最重要的指标可能是什么
对分析更有信心
未来会如何？
数据治理是当今数据驱动型公司的关键，而今天的公司究竟是不是想要数据驱动？我们现在知道为什么数据治理目前很重要，现在考虑公司在不久的将来可以从中受益的三个主要力量：物联网，人工智能和大数据。
所有这三种力量都通过大量数据为许多公司带来了巨大的希望，通过这些数据可以获得洞察力和智慧;但是，数据的涌入增加了 对有效数据治理计划的需求。如果公司没有领先于来自物联网，人工智能和大数据的脏数据，那么主要结果可能只是一个巨大的数据沼泽，而不是董事会成员所期望的智能和利润增加。
数据治理最重要的因素之一是与负责收集，管理和使用数据的所有团队和个人保持一致。确保每个人都参与进来，并且有明确的目标，明确定义的流程和明确的权限级别，以使一切顺利进行。数据治理的关键是有效的协作。正确的数据治理工具应该与这些原则齐头并进。确保您评估的任何工具都易于为业务和IT用户使用，实现跨团队的无缝协作，并且足够灵活，可以根据您不断变化的业务需求进行改进。