典型Hadoop云计算
㈠ 现在云计算平台都有哪些
云计算(Cloud Computing)平台能够划分为3类:以数据存储为主地存储型云平台,以数据处理为主地计算型云平台以及计算和数据存储处理兼顾地综合云计算平台。相关Cloud Computing平台厂家和产品:
(1)AbiCloud(Abiquo公司)
AbiCloud 是一款用于公司地开源地Cloud Computing平台,使公司能够以快速、简单和可拓展地方式创建和管理大型、复杂地IT基础设施(包括虚拟服务器、网络、应用、存储设备等)
(2)Hadoop(Apache基金会)
该计划是完全模仿Google体系架构做地一个开源项目,主要包括Map/Rece和HDFS文件系统
(3)Eucalyptus项目(加利福尼亚大学)
创建了一个使企业能够采用它们内部IT资源(包括服务器、存储系统、网络设备)地开源界面,来建立能够和Amazon EC2兼容地云
(4)MongoDB(10gen)
MongoDB是一个高性能、开源、无模式地文档型database,它在许多场景下可用于替代传统地关系型database或键/值存储方式
(5)Enomalism弹性计算平台
它提供了一个功能类似于 EC2地Cloud Computing框架。Enomalism基于Linux,同时支持Xen和Kernel Virtual Machine(KVM)。与其他纯基础设施即服务解决方案不同地是,Enomalism提供了一个基于Turbo Gears Web应用程序框架和Python地软件栈
(6)Nimbus(网格中间件Globus)
Nimbus面向科学计算要求,通过一组开源工具来实施基础设施即服务(基础设施即服务)地Cloud Computing解决方案
更多云平台问题交流参见 IT号外云计算全知道 网站的 云架构 栏目
㈡ Hadoop,大数据,云计算三者之间有什么关系
大数据和云计算是何关系?关于大数据和云计算的关系人们通常会有误解。而且也会把它们混起来说,分别做一句话直白解释就是:云计算就是硬件资源的虚拟化;大数据就是海量数据的高效处理。大数据、hadoop及云计算之间到底是什么关系呢?
大数据开发入门 课程:hadoop大数据与hadoop云计算,Hadoop最擅长的事情就是可以高效地处理海量规模的数据,这样Hadoop就和大数据及云计算结下了不解之缘。先介绍与大数据相关的内容,然后讲解Hadoop、大数据以及云计算之间的关系,使读者从大数据和云计算的角度来认识Hadoop。
正是由于大数据对系统提出了很多极限的要求,不论是存储、传输还是计算,现有计算技术难以满足大数据的需求,因此整个IT架构的革命性重构势在必行,存储能力的增长远远赶不上数据的增长,设计最合理的分层存储架构已成为信息系统的关键。分布式存储架构不仅需要scale up式的可扩展性,也需要scale out式的可扩展性,因此大数据处理离不开云计算技术,云计算可为大数据提供弹性可扩展的基础设施支撑环境以及数据服务的高效模式,大数据则为云计算提供了新的商业价值,大数据技术与云计算技术必将有更完美的结合。
我们知道云计算的关键技术包括分布式并行计算、分布式存储以及分布式数据管理技术,而Hadoop就是一个实现了Google云计算系统的开源平台,包括并行计算模型MapRece、分布式文件系统HDFS,以及分布式数据库Hbase,同时Hadoop的相关项目也很丰富,包括ZooKeeper、Pig、Chukwa、Hive、hbase、Mahout等,这些项目都使得Hadoop成为一个很大很完备的生态链系统。目前使用Hadoop技术实现的云计算平台包括IBM的蓝云,雅虎、英特尔的“云计划”,网络的云计算基础架构,阿里巴巴云计算平台,以及中国移动的BigCloud大云平台。
总而言之,用一句话概括就是云计算因大数据问题而生,大数据驱动了云计算的发展,而Hadoop在大数据和云计算之间建起了一座坚实可靠的桥梁。东时Java大数据培训培养能够满足企业要求的以java web开发技术为主要能力的工程师。完成学习后的工程师应当胜任java web开发工程师、大数据开发工程师等职位。
㈢ 基于hadoop的云存储实例
基于Hadoop平台的云存储应用实践
http://cio.itxinwen.com/case_studies/2012/0327/402100.html
云计算(CloudComputing)是一种基于因特网的超级计算模式,在远程的数据中心里,成千上万台电脑和服务器连接成一片电脑云。用户通过电脑、笔记本、手机等方式接人数据中心,按自己的需求进行运算。目前,对于云计算仍没有普遍一致的定义。结合上述定义,可以总结出云计算的一些本质特征,即分布式计算和存储特性、高扩展性、用户友好性、良好的管理性。
1云存储架构图
橘色的作为存储节点(StorageNode)负责存放文件,蓝色作为控制节点((ControlNode)则是负责文件索引,并负责监控存储节点间容量及负载的均衡,这两个部分合起来便组成一个云存储。存储节点与控制节点都是单纯的服务器,只是存储节点的硬盘多一些,存储节点服务器不需要具备RAID的功能,只要能安装Linux即可,控制节点为了保护数据,需要有简单的RAIDlevelO1的功能。
云存储不是要取代现有的盘阵,而是为了应付高速成长的数据量与带宽而产生的新形态存储系统,因此云存储在设计时通常会考虑以下三点:
(1)容量、带宽的扩容是否简便
扩容是不能停机,会自动将新的存储节点容量纳入原来的存储池。不需要做繁复的设定。
图1云存储架构图
(2)带宽是否线形增长
使用云存储的客户,很多是考虑未来带宽的增长,因此云存储产品设计的好坏会产生很大的差异,有些十几个节点便达到饱和,这样对未来带宽的扩容就有不利的影响,这一点要事先弄清楚,否则等到发现不符合需求时,已经买了几百TB,后悔就来不及了。
(3)管理是否容易。
2云存储关键技术
云存储必须具备九大要素:①性能;②安全性;③自动ILM存储;④存储访问模式;⑤可用性;⑥主数据保护;⑦次级数据保护;⑧存储的灵活;⑨存储报表。
云计算的发展离不开虚拟化、并行计算、分布式计算等核心技术的发展成熟。下面对其介绍如下:
(1)集群技术、网格技术和分布式文件系统
云存储系统是一个多存储设备、多应用、多服务协同工作的集合体,任何一个单点的存储系统都不是云存储。
既然是由多个存储设备构成的,不同存储设备之间就需要通过集群技术、分布式文件系统和网格计算等技术,实现多个存储设备之间的协同工作,使多个的存储设备可以对外提供同一种服务,并提供更大更强更好的数据访问性能。如果没有这些技术的存在,云存储就不可能真正实现,所谓的云存储只能是一个一个的独立系统,不能形成云状结构。
(2)CDN内容分发、P2P技术、数据压缩技术、重复数据删除技术、数据加密技术
CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问,同时,通过各种数据备份和容灾技术保证云存储中的数据不会丢失,保证云存储自身的安全和稳定。如果云存储中的数据安全得不到保证,也没有人敢用云存储了。
(3)存储虚拟化技术、存储网络化管理技术
云存储中的存储设备数量庞大且分布多在不同地域,如何实现不同厂商、不同型号甚至于不同类型(例如FC存储和IP存储)的多台设备之间的逻辑卷管理、存储虚拟化管理和多链路冗余管理将会是一个巨大的难题,这个问题得不到解决,存储设备就会是整个云存储系统的性能瓶颈,结构上也无法形成一个整体,而且还会带来后期容量和性能扩展难等问题。
㈣ 云计算,分布式,Map-rece,hadoop是个什么样的关系
首先你需要了解这些名词的概念。
分布式计算是云计算的一种,而版hadoop正是一种分布式的并行计权算。
就是可以把任务放在多个机器上进行并行的运行任务。
hadoop是基于建立在多个计算集群组上的,而Maprece是hadoop中提供的实现方法,map和rece函数实现拆分和整合。
不知道你要做的是数据挖掘方面的还是数据仓库方面的工作,大数据的应用是因为hadoop可以处理海量的数据。hadoop是利用HDFS存储海量数据,maprece进行海量数据的计算。
SOA就是面对客户的要求来解决问题。