A. 数据管理和分析趋势正在改变世界

数据管理和分析趋势正在改变世界
现在的数据世界正在发生什么，它将如何影响2018年的市场?比如这些头条新闻:人工智能无处不在，并将改变一切;企业继续将他们的基础设施和数据转移到云端;GDPR将使数据保护成为每个公司的首要任务。你知道这些，但也许会对这种夸大其词的说法有点怀疑。
那么到底发生了什么实质性的变化?在制定架构和采购策略并在这些领域做出决策时，你需要注意什么?接下来我们会讨论在分析领域发生的7个影响深远的变化，并将它们一一呈现。
Hadoop始终是根基
是的，那些大数据项目的失败率很高；并且Spark在某种程度上已经取代了Hadoop，越来越多的客户开始独立运行它，所以业界开始指责Hadoop…并且不再提到它的名字。所以你认为Hadoop一定已经过时了，对吧?

错!现在每个人都在谈论数据湖，很多时候，那只是Hadoop的代码。而且，虽然许多公司正在云存储中实现他们的数据湖，也经常使用Hadoop生态系统技术来分析这些数据。除此之外，当开始使用云存储来模拟HDFS、Hadoop的文件系统时，你就会意识到云数据湖和Hadoop数据湖并没有本质区别。
好消息是，今年Hadoop将会做它一直应该做的事情:低调地被很多企业接受，并将成为众多数据工具之一，发挥其战略作用。正是这些数据技术的结合，包括Hadoop、Spark、Business Intelligence (BI)和数据仓库，使得当前的分析市场如此令人兴奋。
再见！企业级商业智能栈
今年早些时候，作为一家企业级商业智能公司，MicroStrategy宣布向其前端竞争对手做出让步，引入他们的产品。MicroStrategy相信可以通过利用后端OLAP平台以及相关的数据处理来盈利。该公司似乎意识到了在数据可视化和仪表板方面的竞争是比较困难的，即使能够取得成功，也会带来收益递减。
那么后端是否足以维持企业收入并持续增长？我们拭目以待。但有一点是肯定的，单一的企业级商业智能堆栈已经开始解体，新的挑战即将开始。
数据分层
也许你熟悉数据分层的概念，比如数据存储与其访问频率的相关性。“热门”数据，即最常用的数据，有时访问请求会被路由到非常快的存储，比如固态硬盘，甚至是CPU缓存中；而冷门数据通常存储在更老的，但更便宜的旋转硬盘驱动器之中。
随着存储层次的完善，我们将在今年看到其他层次结构被逐渐认可。例如，分析涉及从与特定团队或业务单位相关的实验数据集到对整个企业都有用的高度结构化，审核和共识驱动的数据。 中间是结构化数据集，可能由于大小或清洁程度而被视为略低于生产水平。
实验数据集存储在数据湖中最好；逻辑上，高度审查的数据集最好存储在数据仓库中。中级数据集可能比较适合放在Hadoop或云存储中，但通常会使用IBM Big SQL，Microsoft PolyBase和Oracle Big Data SQL等SQL-on-Hadoop工具从关系型数据库中进行查询。

还有一种层次结构可能会根据数据是用于设计机器学习模型还是仅用于分析来对数据进行分层，其他的层次结构可能由数据源的可信度来定义。
层次结构之所以重要，是因为相应的工具和技术也存在分级，包括查询端的商业智能和大数据分析工具，以及存储库端的事务型数据库，NoSQL数据库，数据仓库和数据湖。虽然最终，层次结构可能会得到简化，技术可能会趋于整合，但是现在有了这么多的技术选择，我们就需要数据中的层次结构来规定我们在工具链部署中的最佳实践。
可视化商品
MicroStrategy宣布与Tableau，Qlik和Power BI进行合作不仅仅是对竞争对手的让步。事实上，这三种自助商业智能工具现在已经成为行业标准，进一步为其他想在可视化领域大显身手的公司设置了障碍。
他们也对整个行业实现了商品化。在Tableau Public，Qlik Sense Cloud Basic和Power BI Desktop（以及Power BI云服务的免费层）之间，可以免费体验入门级分析功能，随着添加像plotly这样的可视化工具，体验D3生态系统和开源的地理空间/地图平台，你会发现你的分析能力从受时间限制变成了受金钱限制，你需要通过付费来获得更好的产品功能。
如今，用户已经将良好的数据处理能力看作理所当然，他们虽然对此印象深刻，但并不满足于此，好的产品不会具有很明显的竞争优势，但差的产品必然处于竞争劣势。
数据治理
虽然在过去的一段时间里，数据治理技术并未受到应有的重视，但如今也开始获得了一些尊重。欧盟的“通用数据保护条例”（GDPR）就是一个例子-而最终，缺乏足够的治理是今年对有效治理工具需求的一个非常重要的痛点。
即使遵循法规是催化剂，但治理背后还有其他驱动因素。其中最大的一项是数据分类，它们使数据湖中的数据集更有条理，并且更易于发现。数据发现工具可以帮助您通过查看数据库和数据湖，报告其数据内部和数据之间的关系和数据流。从另一个角度来讲，这些工具使数据湖本身更具有可用性，对其投资更加有效。随着公司对前几年投资寻求更好的回报，数据分类和发现工具将越来越受欢迎，进一步推动了治理技术的发展。
云数据湖 = 云数据锁定
我们已经谈到了基于云存储的数据湖的发展趋势。但事实是，这不是一个随机出现的有趣的上云案例，这是主要云供应商的中心卖点和销售策略。
在特定的云平台上，你存储的数据越多，你就会在这个平台上针对这些数据做更多的工作，包括但不限于数据准备，分析，预测建模和模型训练(在高端的gpu加速虚拟机上)。云之战是数据存储之战，赢家可能会让你深陷其中。
容器革命
大家都知道，基于Docker的容器技术在数据中心和软件开发领域正在改变一切。这种变革影响巨大且不容小觑。
但是您是否知道数据和分析世界中也在发生着类似的变化？这很难说，因为尽管这种转变不太明显，但它是真实发生的：
MapR已经通过其PACC（持久应用客户端容器）重新定位了融合数据平台
云提供商利用容器技术更快地部署节点，并促进更多资源共享 - 从而使临时集群看起来更持久
Hadoop最近刚刚发布了3.0版本，它很快就会支持在Docker容器中运行YARN资源管理器，从而使Hadoop作业代码的依赖项可以根据集群中每个节点上安装的代码而不同。
越来越清楚的是，每个软件供应商，其产品都依赖于其他软件的基础版本，都逐渐意识到容器可以消除版本冲突问题 - 为他们和他们的客户。
下一步，做决定
对大趋势进行识别和预测是非常有趣的。那些行业中发生的具体而突出的变化，以及供应商和客户追求的策略，可以帮助您制定自己的发展计划，他们为您的决定提供了依据：你今年要做什么，你不会做什么，以及你合理期待的结果。对于像数据分析这样的创新热点，您需要不断规划您的方案并进行大笔投注，但您也需要采取一定的保障措施。我们希望并相信这七个趋势分析可以帮助您做到这两点。

B. 数据湖是什么东东 数据湖的四个最佳实践

数据湖听起来很简单：
把数据或信息汇集到一个结合处理速度和存储空间的大数据系统――Hadoop集群或内存解决方案，那样业务部门就能访问数据，获取新的洞察力。
不过，与IT行业的许多技术一样，现实比梦想困难得多。