『壹』 云计算，分布式，Map-rece,hadoop是个什么样的关系

首先你需要了解这些名词的概念。
分布式计算是云计算的一种，而版hadoop正是一种分布式的并行计权算。
就是可以把任务放在多个机器上进行并行的运行任务。
hadoop是基于建立在多个计算集群组上的，而Maprece是hadoop中提供的实现方法，map和rece函数实现拆分和整合。
不知道你要做的是数据挖掘方面的还是数据仓库方面的工作，大数据的应用是因为hadoop可以处理海量的数据。hadoop是利用HDFS存储海量数据，maprece进行海量数据的计算。
SOA就是面对客户的要求来解决问题。

『贰』 Hadoop，大数据，云计算三者之间有什么关系

大数据和云计算是何关系?关于大数据和云计算的关系人们通常会有误解。而且也会把它们混起来说，分别做一句话直白解释就是：云计算就是硬件资源的虚拟化;大数据就是海量数据的高效处理。大数据、hadoop及云计算之间到底是什么关系呢?

大数据开发入门 课程：hadoop大数据与hadoop云计算，Hadoop最擅长的事情就是可以高效地处理海量规模的数据，这样Hadoop就和大数据及云计算结下了不解之缘。先介绍与大数据相关的内容，然后讲解Hadoop、大数据以及云计算之间的关系，使读者从大数据和云计算的角度来认识Hadoop。

正是由于大数据对系统提出了很多极限的要求，不论是存储、传输还是计算，现有计算技术难以满足大数据的需求，因此整个IT架构的革命性重构势在必行，存储能力的增长远远赶不上数据的增长，设计最合理的分层存储架构已成为信息系统的关键。分布式存储架构不仅需要scale up式的可扩展性，也需要scale out式的可扩展性，因此大数据处理离不开云计算技术，云计算可为大数据提供弹性可扩展的基础设施支撑环境以及数据服务的高效模式，大数据则为云计算提供了新的商业价值，大数据技术与云计算技术必将有更完美的结合。

我们知道云计算的关键技术包括分布式并行计算、分布式存储以及分布式数据管理技术，而Hadoop就是一个实现了Google云计算系统的开源平台，包括并行计算模型MapRece、分布式文件系统HDFS，以及分布式数据库Hbase，同时Hadoop的相关项目也很丰富，包括ZooKeeper、Pig、Chukwa、Hive、hbase、Mahout等，这些项目都使得Hadoop成为一个很大很完备的生态链系统。目前使用Hadoop技术实现的云计算平台包括IBM的蓝云，雅虎、英特尔的“云计划”，网络的云计算基础架构，阿里巴巴云计算平台，以及中国移动的BigCloud大云平台。

总而言之，用一句话概括就是云计算因大数据问题而生，大数据驱动了云计算的发展，而Hadoop在大数据和云计算之间建起了一座坚实可靠的桥梁。东时Java大数据培训培养能够满足企业要求的以java web开发技术为主要能力的工程师。完成学习后的工程师应当胜任java web开发工程师、大数据开发工程师等职位。

『叁』 什么是大数据分析Hadoop

要了解什么是Hadoop，我们必须首先了解与大数据和传统处理系统有关的问题。前进，我们将讨论什么是Hadoop，以及Hadoop如何解决与大数据相关的问题。我们还将研究CERN案例研究，以突出使用Hadoop的好处。

在之前的博客“ 大数据教程”中，我们已经详细讨论了大数据以及大数据的挑战。在此博客中，我们将讨论：

1、传统方法的问题

2、Hadoop的演变

3、Hadoop的

4、Hadoop即用解决方案

5、何时使用Hadoop?

6、什么时候不使用Hadoop?

一、CERN案例研究

大数据正在成为组织的机会。现在，组织已经意识到他们可以通过大数据分析获得很多好处，如下图所示。他们正在检查大型数据集，以发现所有隐藏的模式，未知的相关性，市场趋势，客户偏好和其他有用的业务信息。

这些分析结果正在帮助组织进行更有效的营销，新的收入机会，更好的客户服务。他们正在提高运营效率，与竞争对手组织相比的竞争优势以及其他业务利益。


什么是Hadoop –大数据分析的好处

因此，让我们继续前进，了解在兑现大数据机会方面与传统方法相关的问题。

二、传统方法的问题

在传统方法中，主要问题是处理数据的异构性，即结构化，半结构化和非结构化。RDBMS主要关注于银行交易，运营数据等结构化数据，而Hadoop则专注于文本，视频，音频，Facebook帖子，日志等半结构化，非结构化数据。RDBMS技术是一种经过验证的，高度一致，成熟的系统许多公司的支持。另一方面，由于大数据(主要由不同格式的非结构化数据组成)对Hadoop提出了需求。

现在让我们了解与大数据相关的主要问题是什么。因此，继续前进，我们可以了解Hadoop是如何成为解决方案的。


什么是Hadoop –大数据问题

第一个问题是存储大量数据。

无法在传统系统中存储大量数据。原因很明显，存储将仅限于一个系统，并且数据正在以惊人的速度增长。

第二个问题是存储异构数据。

现在，我们知道存储是一个问题，但是让我告诉您，这只是问题的一部分。由于我们讨论了数据不仅庞大，而且还以各种格式存在，例如：非结构化，半结构化和结构化。因此，您需要确保您拥有一个系统来存储从各种来源生成的所有这些种类的数据。

第三个问题是访问和处理速度。

硬盘容量正在增加，但磁盘传输速度或访问速度并未以相似的速度增加。让我以一个示例为您进行解释：如果您只有一个100 Mbps I / O通道，并且正在处理1TB数据，则大约需要2.91个小时。现在，如果您有四台具有一个I / O通道的计算机，则对于相同数量的数据，大约需要43分钟。因此，与存储大数据相比，访问和处理速度是更大的问题。

在了解什么是Hadoop之前，让我们首先了解一下Hadoop在一段时间内的发展。

Hadoop的演变



2003年，道格·切特(Doug Cutting)启动了Nutch项目，以处理数十亿次搜索并为数百万个网页建立索引。2003年10月下旬– Google发布带有GFS(Google文件系统)的论文。2004年12月，Google发布了MapRece论文。在2005年，Nutch使用GFS和MapRece进行操作。2006年，雅虎与Doug Cutting及其团队合作，基于GFS和MapRece创建了Hadoop。如果我告诉您，您会感到惊讶，雅虎于2007年开始在1000个节点的群集上使用Hadoop。

2008年1月下旬，雅虎向Apache Software Foundation发布了Hadoop作为一个开源项目。2008年7月，Apache通过Hadoop成功测试了4000个节点的集群。2009年，Hadoop在不到17小时的时间内成功整理了PB级数据，以处理数十亿次搜索并为数百万个网页建立索引。在2011年12月，Apache Hadoop发布了1.0版。2013年8月下旬，发布了2.0.6版。

当我们讨论这些问题时，我们发现分布式系统可以作为解决方案，而Hadoop提供了相同的解决方案。现在，让我们了解什么是Hadoop。

三、什么是Hadoop?

Hadoop是一个框架，它允许您首先在分布式环境中存储大数据，以便可以并行处理它。 Hadoop中基本上有两个组件：

1、大数据Hadoop认证培训

2、讲师指导的课程现实生活中的案例研究评估终身访问探索课程


什么是Hadoop – Hadoop即解决方案

第一个问题是存储大数据。

HDFS提供了一种分布式大数据存储方式。您的数据存储在整个DataNode的块中，您可以指定块的大小。基本上，如果您拥有512MB的数据，并且已经配置了HDFS，那么它将创建128MB的数据块。 因此，HDFS将数据分为512/128 = 4的4个块，并将其存储在不同的DataNode上，还将在不同的DataNode上复制数据块。现在，由于我们正在使用商品硬件，因此存储已不是难题。

它还解决了缩放问题。它着重于水平缩放而不是垂直缩放。您始终可以根据需要随时在HDFS群集中添加一些额外的数据节点，而不是扩展DataNodes的资源。让我为您总结一下，基本上是用于存储1 TB的数据，您不需要1 TB的系统。您可以在多个128GB或更少的系统上执行此操作。

下一个问题是存储各种数据。

借助HDFS，您可以存储各种数据，无论是结构化，半结构化还是非结构化。由于在HDFS中，没有预转储模式验证。并且它也遵循一次写入和多次读取模型。因此，您只需写入一次数据，就可以多次读取数据以寻找见解。

Hird的挑战是访问和处理数据更快。

是的，这是大数据的主要挑战之一。为了解决该问题，我们将处理移至数据，而不是将数据移至处理。这是什么意思?而不是将数据移动到主节点然后进行处理。在MapRece中，处理逻辑被发送到各个从属节点，然后在不同的从属节点之间并行处理数据。然后，将处理后的结果发送到主节点，在该主节点上合并结果，并将响应发送回客户端。

在YARN架构中，我们有ResourceManager和NodeManager。ResourceManager可能会或可能不会与NameNode配置在同一台机器上。 但是，应该将NodeManager配置在存在DataNode的同一台计算机上。

YARN通过分配资源和安排任务来执行您的所有处理活动。

什么是Hadoop – YARN

它具有两个主要组件，即ResourceManager和NodeManager。

ResourceManager再次是主节点。它接收处理请求，然后将请求的各个部分相应地传递到相应的NodeManager，什么是大数据分析Hadoop在此进行实际处理。NodeManager安装在每个DataNode上。它负责在每个单个DataNode上执行任务。

我希望现在您对什么是Hadoop及其主要组件有所了解。让我们继续前进，了解何时使用和何时不使用Hadoop。

何时使用Hadoop?

Hadoop用于：

1、搜索 – Yahoo，亚马逊，Zvents

2、日志处理 – Facebook，雅虎

3、数据仓库 – Facebook，AOL

4、视频和图像分析 –纽约时报，Eyealike

到目前为止，我们已经看到了Hadoop如何使大数据处理成为可能。但是在某些情况下，不建议使用Hadoop。

『肆』 云计算平台有哪些

云计算平台可以划分为3类：以数据存储为主的存储型云平台，以数据处理为主的计算型云平台以及计算和数据存储处理兼顾的综合云计算平台

云计算平台是云计算时代兵家争夺激烈的地方。

1.开源云计算平台

（1）AbiCloud（Abiquo公司）

AbiCloud是一款用于公司的开源的云计算平台，使公司能够以快速、简单和可扩展的方式创建和管理大型、复杂的IT基础设施（包括虚拟服务器、网络、应用、存储设备等）

（2）Hadoop（Apache基金会）

该计划是完全模仿Google体系架构做的一个开源项目，主要包括Map/Rece和HDFS文件系统

（3）Eucalyptus项目（加利福尼亚大学）

创建了一个使企业能够使用它们内部IT资源（包括服务器、存储系统、网络设备）的开源界面，来建立能够和Amazon EC2兼容的云

（4）MongoDB（10gen）

MongoDB是一个高性能、开源、无模式的文档型数据库，它在许多场景下可用于替代传统的关系型数据库或键/值存储方式

（5）Enomalism弹性计算平台

它提供了一个功能类似于EC2的云计算框架。Enomalism基于Linux，同时支持Xen和Kernel Virtual Machine(KVM)。与其他纯IaaS解决方案不同的是，Enomalism提供了一个基于Turbo Gears Web应用程序框架和Python的软件栈

（6）Nimbus（网格中间件Globus）

Nimbus面向科学计算需求，通过一组开源工具来实现基础设施即服务（IaaS）的云计算解决方案

2.云计算平台厂商

（1）微软

技术特性：整合其所用软件及数据服务

核心技术：大型应用软件开发技术

企业服务：Azure平台

开发语言：.NET

（2）Google

技术特性：储存及运算水平扩充能力

核心技术：平行分散技术MapRece，BigTable，GFS

企业服务：Google AppEngine，应用代管服务

开发语言：Python，Java

（3）IBM

技术特性：整合其所有软件及硬件服务

核心技术：网格技术，分布式存储，动态负载

企业服务：虚拟资源池提供，企业云计算整合方案

（4）Oracle

技术特性：软硬件弹性虚拟平台

核心技术：Orackle的数据存储技术，Sun开源技术

企业服务：EC2上的Oracle数据库，OracleVM，Sun xVM

（5）Amazon

技术特性：弹性虚拟平台

核心技术：虚拟化技术Xen

企业服务：EC2、S3，SimpleDB、SQS

开发语言：

（6）Saleforce

技术特性：弹性可定制商务软件

核心技术：应用平台整合技术

企业服务：Force.com

开发语言：Java，APEX

（7）EMC

技术特性：信息存储系统及虚拟化技术

核心技术：Vmware的虚拟化技术，一流存储技术

企业服务：Atoms云存储系统，私有云解决方案

（8）阿里巴巴

技术特性：弹性可定制商务软件

核心技术：应用平台整合技术

企业服务：软件互联平台，云电子商务平台

（9）中国移动

技术特性：坚实的网络技术丰富的带宽资源

核心技术：底层集群部署技术，资源池虚拟技术，网络相关技术

了解更多开源相关，去LUPA社区看看吧。

『伍』 什么是云计算和大数据

什么是云计算和大数据？云计算与大数据要学啥
近年来，云计算可谓是出尽了风头。无论是IT设备厂商、电信运营商，还是服务提供商、内容提供商，都纷纷“找门子”与云计算“拉关系”，大家削尖了脑袋拼命地往云计算这艘船上挤，如果自己的产品、理念或者技术与云计算根本沾不上边，那简直都羞于见人。云计算似乎无所不能，无处不在，一时间风靡全球。国内外各大媒体更是争先恐后地追捧云计算的独特魅力。
云计算就是把数据以最廉价的成本变成财富。这就像老板跟更秘书的关系一样一样的，大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构。信息社会，数据量不仅在快速增长，同时技术也在不断提高，近几年大多数企业都因为大数据二尝到了甜头。在海量数据的前提下，如果提取、处理和利用数据的成本超过了数据价值本身，那么有价值相当于没任何价值。来自公有云、私有云以及混合云之上的究极云计算，对于降低数据提取过程中的成本，成为了最合格的秘书。
第一次收集的数据中，一般而言，90%属于无用数据，因此需要过滤出能为企业提供经济利益的可用数据，看有了这个十八般武艺的秘书，省了多大的事儿啊，回到正题，在大量无用数据中，重点需过滤出两大类，一是大量存储着的临时信息，几乎不存在投入必要;二是从公司防火墙外部接入到内部的网络数据，价值极低。云计算可以提供按需扩展的计算和存储资源，可用来过滤掉无用数据，其中公有云是处理防火墙外部网络数据的最佳选择。
数据分析阶段，可引入公有云和混合云技术，此外，类似Hadoop的分布式处理软件平台可用于数据集中处理阶段。当完成数据分析后，提供分析的原始数据不需要一直保留，可以使用私有云把分析处理结果，即可用信息导入公司内部。