A. 大数据时代 统计学依然是数据分析灵魂

大数据时代 统计学依然是数据分析灵魂
什么是数据？数据（data）在拉丁文里是“已知”的意思，在英文中的一个解释是“一组事实的集合，从中可以分析出结论”。笼统地说，凡是用某种载体记录下来的、能反映自然界和人类社会某种信息的，就可称之为数据。古人“结绳记事”，打了结的绳子就是数据。步入现代社会，信息的种类和数量越来越丰富，载体也越来越多。数字是数据，文字是数据，图像、音频、视频等都是数据。
什么是大数据呢？量的增多，是人们对大数据的第一个认识。随着科技发展，各个领域的数据量都在迅猛增长。有研究发现，近年来，数字数据的数量每3年多就会翻一番。
大数据区别于数据，还在于数据的多样性。正如高德纳咨询公司研究报告指出的，数据的爆炸是三维的、立体的。所谓的三维，除了指数据量快速增大外，还指数据增长速度的加快，以及数据的多样性，即数据的来源、种类不断增加。
从数据到大数据，不仅是量的积累，更是质的飞跃。海量的、不同来源、不同形式、包含不同信息的数据可以容易地被整合、分析，原本孤立的数据变得互相联通。这使得人们通过数据分析，能发现小数据时代很难发现的新知识，创造新的价值。
通过数据来研究规律、发现规律，贯穿了人类社会发展的始终。人类科学发展史上的不少进步都和数据采集分析直接相关，例如现代医学流行病学的开端。伦敦1854年发生了大规模的霍乱，很长时间没有办法控制。一位医师用标点地图的方法研究了当地水井分布和霍乱患者分布之间的关系，发现有一口水井周围，霍乱患病率明显较高，借此找到了霍乱暴发的原因：一口被污染的水井。关闭这口水井之后，霍乱的发病率明显下降。这种方法，充分展示了数据的力量。
本质上说，许多科学活动都是数据挖掘，不是从预先设定好的理论或者原理出发，通过演绎来研究问题，而是从数据本身出发通过归纳来总结规律。近现代以来，随着我们面临的问题变得越来越复杂，通过演绎的方式来研究问题常常变得很困难。这就使得数据归纳的方法变得越来越重要，数据的重要性也越发凸显出来。
大数据是非竞争性资源，有助于政府科学决策、商家精准营销
大数据时代，数据的重要作用更加凸显，许多国家都把大数据提升到国家战略的高度。
政府合理利用大数据，引导决策的将是基于实证的事实，政府会更有预见性、更加负责、更加开放。中国古代治国就已经有重数据的思想，如商鞅提出，“强国知十三数……欲强国，不知国十三数，地虽利，民虽众，国愈弱至削”。大数据时代，循“数”治国将更加有效。小数据时代，政府做决策更多依凭经验和局部数据，难免头痛医头、脚痛医脚。比如，交通堵塞就多修路。大数据时代，政府做决策能够从粗放型转向集约型。路堵了，利用大数据分析，可以得知哪一时间、哪一地段最容易堵，或在这一地段附近多修路，或提前预警引导居民合理安排出行，实现对交通流的最佳配置和控制，改善交通。
对于商家来说，大数据使精准营销成为可能。一个有趣的故事，是沃尔玛超市的“啤酒、尿布”现象。沃尔玛超市分析销售数据时发现，顾客消费单上和尿布一起出现次数最多的商品，竟然是啤酒。跟踪调查后发现，有不少年轻爸爸会在买尿布时，顺便买些啤酒喝。沃尔玛发现这一规律后，搭配促销啤酒、尿布，销量大幅增加。大数据时代，每个人都会“自发地”提供数据。我们的各种行为，如点击网页、使用手机、刷卡消费、观看电视、坐地铁出行、驾驶汽车，都会生成数据并被记录下来，我们的性别、职业、喜好、消费能力等信息，都会被商家从中挖掘出来，以分析商机。
大数据也将使个人受益。从生物学、医学上讲，以前生物学家只是通过对单个或几个基因的操控来观察其对生物体的影响，很难发现整体的关联。现在由于技术的发展，可以分析很多，如遗传信息、全体基因的表达量信息、蛋白质族谱信息、全基因组甲基化信息、表观遗传信息等。同时还有个人健康指标、病历、药物反应等数据。如果真能达成生物学上多维多向数据的有机融合，就能够把个人完整地描述出来，从而实现精准医疗的目的。
大数据时代，审核数据的真实性也有了更有效的手段。大数据的特征之一是多样性，不同来源、不同维度的数据之间存在一定的关联度，可以交叉验证。例如，某地的工业产值虚报了一倍，但用电量和能耗却没有达到相应的规模。这就是数据异常，很容易被系统识别出来。发现异常后，相关部门再进行复核，就能更有针对性地防止、打击数据造假。
数据是一种资源，但数据又跟煤、石油等物质性资源不一样。物质性资源不可再生，你用多了，别人就用少了，因而很难共享。数据可以重复使用、不断产生新的价值。大数据资源的使用是非恶性竞争的，共享的前提下，更能够制造双赢。从另一个角度来说，数据如果不被融合、联系在一起，也不能称之为大数据。
大数据不能被直接拿来使用，统计学依然是数据分析的灵魂
现在社会上有一种流行的说法，认为在大数据时代，“样本=全体”，人们得到的不是抽样数据而是全数据，因而只需要简单地数一数就可以下结论了，复杂的统计学方法可以不再需要了。
在我看来，这种观点非常错误。首先，大数据告知信息但不解释信息。打个比方说，大数据是“原油”而不是“汽油”，不能被直接拿来使用。就像股票市场，即使把所有的数据都公布出来，不懂的人依然不知道数据代表的信息。大数据时代，统计学依然是数据分析的灵魂。正如加州大学伯克利分校迈克尔·乔丹教授指出的，“没有系统的数据科学作为指导的大数据研究，就如同不利用工程科学的知识来建造桥梁，很多桥梁可能会坍塌，并带来严重的后果。”
其次，全数据的概念本身很难经得起推敲。全数据，顾名思义就是全部数据。这在某些特定的场合对于某些特定的问题确实可能实现。比如，要比较清华、北大两校同学数学能力整体上哪个更强，可以收集到两校同学高考时的数学成绩作为研究的数据对象。从某种意义上说，这是全数据。但是，并不是说我们有了这个全数据就能很好地回答问题。
一方面，这个数据虽然是全数据，但仍然具有不确定性。入校时的数学成绩并不一定完全代表学生的数学能力。假如让所有同学重新参加一次高考，几乎每个同学都会有一个新的成绩。分别用这两组全数据去做分析，结论就可能发生变化。另一方面，事物在不断地发展和变化，同学入校时的成绩并不能够代表现在的能力。全体同学的高考成绩数据，仅对于那次考试而言是全数据。“全”是有边界的，超出了边界就不再是全知全能了。事物的发展充满了不确定性，而统计学，既研究如何从数据中把信息和规律提取出来，找出最优化的方案；也研究如何把数据当中的不确定性量化出来。
所以说，在大数据时代，数据分析的很多根本性问题和小数据时代并没有本质区别。当然，大数据的特点，确实对数据分析提出了全新挑战。例如，许多传统统计方法应用到大数据上，巨大计算量和存储量往往使其难以承受；对结构复杂、来源多样的数据，如何建立有效的统计学模型也需要新的探索和尝试。对于新时代的数据科学而言，这些挑战也同时意味着巨大的机遇，有可能会产生新的思想、方法和技术。

B. 如何统计和分析利用网络大数据

如何统计和分析利用网络大数据?
大数据给互联网带来的是空前的信息大爆炸，它不仅改变了互联网的数据应用模式，还将深深影响着人们的生产生活。深处在大数据时代中，人们认识到大数据已经将数据分析的认识从“向后分析”变成“向前分析”，改变了人们的思维模式，但同时大数据也向我们提出了数据采集、分析和使用等难题。在解决了这些难题的同时，也意味着大数据开始向纵深方向发展。
一、数据统计分析的内涵
近年来，包括互联网、物联网、云计算等信息技术在内的IT通信业迅速发展，数据的快速增长成了许多行业共同面对的严峻挑战和宝贵机遇，因此现代信息社会已经进入了大数据时代。事实上，大数据改变的不只是人们的日常生活和工作模式、企业运作和经营模式，甚至还引起科学研究模式的根本性改变。一般意义上，大数据是指无法在一定时间内用常规机器和软硬件工具对其进行感知、获取、管理、处理和服务的数据集合。网络大数据是指“人、机、物”三元世界在网络空间中彼此交互与融合所产生并在互联网上可获得的大数据。
将数据应用到生活生产中，可以有效地帮助人们或企业对信息作出比较准确的判断，以便采取适当行动。数据分析是组织有目的地收集数据、分析数据，并使之成为信息的过程。也就是指个人或者企业为了解决生活生产中的决策或者营销等问题，运用分析方法对数据进行处理的过程。所谓的数据统计分析，就是运用统计学的方法对数据进行处理。在以往的市场调研工作中，数据统计分析能够帮助我们挖掘出数据中隐藏的信息，但是这种数据的分析是“向后分析”，分析的是已经发生过的事情。而在大数据中，数据的统计分析是“向前分析”，它具有预见性。
二、大数据的分析
1.可视化分析。
数据是结构化的，包括原始数据中的关系数据库，其数据就是半结构化的，譬如我们熟知的文本、图形、图像数据，同时也包括了网络的不同构型的数据。通过对各种数据的分析，就可以清晰的发现不同类型的知识结构和内容，包括反映表征的、带有普遍性的广义型知识;用于反映数据的汇聚模式或根据对象的属性区分其所属类别的特征型知识;差异和极端特例进行描述的差异型知识;反映一个事件和其他事件之间依赖或关联的关联型知识;根据当前历史和当前数据预测未来数据的预测型知识。当前已经出现了许多知识发现的新技术，其中之一就是可视化方法。数据可视化技术有3个鲜明的特点：第一，与用户的交互性强。用户不再是信息传播中的受者，还可以方便地以交互的方式管理和开发数据。第二，数据显示的多维性。在可视化的分析下，数据将每一维的值分类、排序、组合和显示，这样就可以看到表示对象或事件的数据的多个属性或变量。第三，最直观的可视性特点。数据可以用图像、曲线、二维图形、三维体和动画来显示,并可对其模式和相互关系进行可视化分析。
2.数据挖掘算法。
数据挖掘是指数据库中的知识发现，其历史可以追溯到1989年美国底特律市召开的第一届KDD国际学术会议上，而第一届知识发现和数据挖掘(DataMining，DM)国际学术会议是1995年加拿大召开的，会议上将数据库里存放的数据生动地比拟成矿床，从而“数据挖掘”这个名词很快就流传开来。数据挖掘的目的是在杂乱无章的数据库中，从大量数据中找到有用的、合适的数据，并将其隐含的、不为人知的潜在价值的信息揭示出来的过程。事实上，数据挖掘只是整个KDD过程中的一个步骤。
数据挖掘的定义没有统一的说法，其中“数据挖掘是一个从不完整的、不明确的、大量的并且包含噪声的具有很大随机性的实际应用数据中，提取出隐含其中、事先未被人们获知、却潜在有用的知识或模式的过程”是被广泛接受的定义。事实上，该定义中所包含的信息——大量真实的数据源包含着噪声;满足用户的需求的新知识;被理解接受的而且有效运用的知识;挖掘出的知识并不要求适用于所有领域，可以仅支持某个特定的应用发现问题。以上这些特点都表现了它对数据处理的作用，在有效处理海量且无序的数据时，还能够发现隐藏在这些数据中的有用的知识，最终为决策服务。从技术这个角度来说，数据挖掘就是利用一系列相关算法和技术从大量的数据中提取出为人们所需要的信息和知识，隐藏在数据背后的知识，可以以概念、模式、规律和规则等形式呈现出来。
3.预测性分析能力。
预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。大数据分析最终要实现的应用领域之一就是预测性分析，可视化分析和数据挖掘都是前期铺垫工作，只要在大数据中挖掘出信息的特点与联系，就可以建立科学的数据模型，通过模型带入新的数据，从而预测未来的数据。作为数据挖掘的一个子集，内存计算效率驱动预测分析，带来实时分析和洞察力，使实时事务数据流得到更快速的处理。实时事务的数据处理模式能够加强企业对信息的监控，也便于企业的业务管理和信息更新流通。此外，大数据的预测分析能力，能够帮助企业分析未来的数据信息，有效规避风险。在通过大数据的预测性分析之后，无论是个人还是企业，都可以比之前更好地理解和管理大数据。
尽管当前大数据的发展趋势良好，但网络大数据对于存储系统、传输系统和计算系统都提出了很多苛刻的要求，现有的数据中心技术很难满足网络大数据的需求。因此，科学技术的进步与发展对大数据的支持起着重要的作用，大数据的革命需要考虑对IT行业进行革命性的重构。网络大数据平台(包括计算平台、传输平台、存储平台等)是网络大数据技术链条中的瓶颈，特别是网络大数据的高速传输，需要革命性的新技术。此外，既然在大数据时代，任何数据都是有价值的，那么这些有价值的数据就成为了卖点，导致争夺和侵害的发生。事实上，只要有数据，就必然存在安全与隐私的问题。随着大数据时代的到来，网络数据的增多，使得个人数据面临着重大的风险和威胁，因此，网络需要制定更多合理的规定以保证网络环境的安全。