A. 基于hadoop的云存储实例

基于Hadoop平台的云存储应用实践

http://cio.itxinwen.com/case_studies/2012/0327/402100.html

云计算（CloudComputing）是一种基于因特网的超级计算模式，在远程的数据中心里，成千上万台电脑和服务器连接成一片电脑云。用户通过电脑、笔记本、手机等方式接人数据中心，按自己的需求进行运算。目前，对于云计算仍没有普遍一致的定义。结合上述定义，可以总结出云计算的一些本质特征，即分布式计算和存储特性、高扩展性、用户友好性、良好的管理性。

1云存储架构图

橘色的作为存储节点（StorageNode）负责存放文件，蓝色作为控制节点（（ControlNode）则是负责文件索引，并负责监控存储节点间容量及负载的均衡，这两个部分合起来便组成一个云存储。存储节点与控制节点都是单纯的服务器，只是存储节点的硬盘多一些，存储节点服务器不需要具备RAID的功能，只要能安装Linux即可，控制节点为了保护数据，需要有简单的RAIDlevelO1的功能。

云存储不是要取代现有的盘阵，而是为了应付高速成长的数据量与带宽而产生的新形态存储系统，因此云存储在设计时通常会考虑以下三点：

（1）容量、带宽的扩容是否简便

扩容是不能停机，会自动将新的存储节点容量纳入原来的存储池。不需要做繁复的设定。

图1云存储架构图


（2）带宽是否线形增长

使用云存储的客户，很多是考虑未来带宽的增长，因此云存储产品设计的好坏会产生很大的差异，有些十几个节点便达到饱和，这样对未来带宽的扩容就有不利的影响，这一点要事先弄清楚，否则等到发现不符合需求时，已经买了几百TB，后悔就来不及了。

（3）管理是否容易。

2云存储关键技术

云存储必须具备九大要素：①性能;②安全性;③自动ILM存储;④存储访问模式;⑤可用性;⑥主数据保护;⑦次级数据保护;⑧存储的灵活;⑨存储报表。

云计算的发展离不开虚拟化、并行计算、分布式计算等核心技术的发展成熟。下面对其介绍如下：

（1）集群技术、网格技术和分布式文件系统

云存储系统是一个多存储设备、多应用、多服务协同工作的集合体，任何一个单点的存储系统都不是云存储。

既然是由多个存储设备构成的，不同存储设备之间就需要通过集群技术、分布式文件系统和网格计算等技术，实现多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供更大更强更好的数据访问性能。如果没有这些技术的存在，云存储就不可能真正实现，所谓的云存储只能是一个一个的独立系统，不能形成云状结构。

（2）CDN内容分发、P2P技术、数据压缩技术、重复数据删除技术、数据加密技术

CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问，同时，通过各种数据备份和容灾技术保证云存储中的数据不会丢失，保证云存储自身的安全和稳定。如果云存储中的数据安全得不到保证，也没有人敢用云存储了。

（3）存储虚拟化技术、存储网络化管理技术

云存储中的存储设备数量庞大且分布多在不同地域，如何实现不同厂商、不同型号甚至于不同类型（例如FC存储和IP存储）的多台设备之间的逻辑卷管理、存储虚拟化管理和多链路冗余管理将会是一个巨大的难题，这个问题得不到解决，存储设备就会是整个云存储系统的性能瓶颈，结构上也无法形成一个整体，而且还会带来后期容量和性能扩展难等问题。

B. 大数据应用模式及安全风险分析有哪些

当前各个领域数据生成速度逐渐加快，需要处理的数据量急剧膨胀。这些巨大的数据资源蕴藏着潜在的价值，需要对其进行有效的分析和利用。当前数据的特点除了数量庞大之外，数据类型也变得多样化，其中包括了结构化数据、半结构化数据以及非结构化数据。这些数量庞大、种类繁多的海量数据，给传统分析工具带来了巨大的挑战。当前对数据的分析不再是简单的生成统计报表，而是利用复杂的分析模型进行深人的分析，传统分析技术例如关系数据库技术已经不能满足其要求。在扩展性上，通过增加或更换内存、CPU、硬盘等设备原件以打一展单个节点的能力的纵向打一展(scale up)系统遇到了瓶颈;只有通过增加计算节点，连接成大规模集群，进行分布式并行计算和管理的横向打一展(scale out )系统才能满足大数据的分析需求[u。因此传统工具在扩展性上遇到了障碍，必须寻求可靠的数据存储和分析技术来分析和利用这些庞大的资源。利用云计算平台搭建Hadoop计算框架成为当前处理大数据的主要手段。然而由于云计算和Hadoop应用的特点和自身安全机制薄弱，不可避免地带来了安全风险。
1、大数据应用模式
云计算(Cloud Computing)是一种基于Internet的计算，是以并行计算(Parallel Computing )、分布式计算(Distributed Computing)和网格计算(Grid Compu-tin助为基础，融合了网络存储、虚拟化、负载均衡等技术的新兴产物。它将原本需要由个人计算机和私有数据中心执行的任务转移给具备专业存储和计算技术的大型计算中心来完成，实现了计算机软件、硬件等计算资源的充分共享[z}。企业或个人不再需要花费大量的费用在基础设施的购买上，更不需要花费精力对软硬件进行安装、配置和维护，这些都将由云计算服务商CSP( Cloud Service Provider)提供相应的服务。企业或个人只需按照计时或计量的方式支付租赁的计算资源。云计算服务商拥有大数据存储能力和计算资源，被视为外包信息服务的最佳选择[31因此大数据的应用往往与云计算相结合。
Hadoop是当前最广为人知的大数据技术实施方案，它是Google云计算中的Map/Rece}4}和GFS( Google File System)的开源实现。Hadoop提供了一种计算框架，其最为核心的技术是HDFS ( HadoopDistributed File System)以及MapReee } HDFS提供了高吞吐量的分布式文件系统，而MapReee是大型数据的分布式处理模型。Hadoop为大数据提供了一个可靠的共享存储和分析系统[5-6 }v
尽管有一些组织自建集群来运行Hadoop，但是仍有许多组织选择在租赁硬件所搭建的云端运行Hadoop或提供Hadoop服务。例如提供在公有或私有云端运行Hadoop的Cloudera，还有由Amazon提供的称为Elastic MapReee的云服务等f}l。因此将云计算与Hadoop结合处理大数据已成为一种趋势。
2、大数据安全风险分析
随着大数据应用范围越来越广，对数据安全的需求也越来越迫切。
由于云计算的特点是将数据外包给云服务商提供服务，这种服务模式将数据的所有权转移给了CSP，用户失去了对物理资源的直接控制[A1。而云中存储的大数据通常是以明文的方式存在的，CSP对数据具有底层控制权，恶意的CSP有可能在用户不知情的情况下窃取用户数据，而云计算平台亦可能受到攻击致使安全机制失效或被非法控制从而导致非授权人读取数据，给大数据安全带来了威胁。
Hadoop在设计之初并未考虑过安全问题，在Ha-doop 1. 0. 0和Cloudera CDH3版本之后，Hadoop加人了Kerberos的身份认证机制和基于ACL的访问控制机制[91。即使在安全方面增加了身份认证和访问控制策略，Hadoop的安全机制仍然非常薄弱，因为Ker-beros的认证机制只应用于客户机(Clients )、密钥分发中心(I}ey Distribution Center, I}DC )、服务器(Serv-er)之间，只是针对机器级别的安全认证，并未对Ha-doop应用平台本身进行认证[}o}。而基于ACL的访问控制策略需要通过在启用ACL之后，对hadoop-policy. xml中的属性进行配置，其中包括9条属性，它们限制了用户与组成员对Hadoop中资源的访问以及Datanode和Namenode或Jobtracke:和Tasktrackers等节点间的通信，但该机制依赖于管理员对其的配置[川，这种基于传统的访问控制列表容易在服务器端被篡改而不易察觉。而且基于ACL的访问控制策略粒度过粗，不能在MapRece过程中以细粒度的方式保护用户隐私字段。况且针对不同的用户和不同应用，访问控制列表需要经常作对应的更改，这样的操作过于繁琐且不易维护。因此Hadoop自身的安全机制是不完善的。
2.1 不同应用模式下CSP及Uers带来的安全风险
云计算中Hadoop有多种应用模式。在私有云中搭建Hadoop，即企业自己应用Hadoop，使用该平台的是企业内部各个部门的员工，外部人员无法访问和使用这些资源。这时的CSP指的是Hadoop的创建和管理者，IaaS级和PaaS级CSP为相同的实体;在公有云平台应用Hadoop , C SP有2级，IaaS级CSP，提供基础设施;PaaS级C SP，负责Hadoop的搭建和管理。这时两级CSP往往是不同的实体。

C. 数据分析和大数据平台网站有哪些

无需编程即可用来数据分析的工具/软件，推荐几个：
Excel / Spreadsheet：http://www.openoffice.org/download/
Trifacta：https://www.trifacta.com/start-wrangling/
Rapid Miner：https://rapidminer.com/
Rattle GUI：https://cran.r-project.org/bin/windows/base/
Orange：http://orange.biolab.si/
Tableau Public：https://public.tableau.com/s/
Talend：http://openrefine.org/download.html