数据挖掘项目实例
① 国内的数据挖掘,大数据应用的案例有哪些
1. 亚马逊的“信息公司”:果全球哪家公司从大数据发掘出了最大价值,截至目版前,答案权可能非亚马逊莫属。亚马逊也要处理海量数据,这些交易数据的直接价值更大。
作为一家“信息公司”,亚马逊不仅从每个用户的购买行为中获得信息,还将每个用户在其网站上的所有行为都记录下来
2. 谷歌的意图:果说有一家科技公司准确定义了“大数据”概念的话,那一定是谷歌。根据搜索研究公司comScore的数据,仅2012年3月一个月的时间,谷歌处理的搜索词条数量就高达122亿条。谷歌的体量和规模,使它拥有比其他大多数企业更多的应用大数据的途径。
3.塔吉特的“数据关联挖掘”:用先进的统计方法,商家可以通过用户的购买历史记录分析来建立模型,预测未来的购买行为,进而设计促销活动和个性服务避免用户流失到其他竞争对手那边。
② 老师有没有 R语言与数据挖掘最佳实践和经典案例 的电子版
不知不觉我跟R已经认识年了,在这一周年的日子里,写篇纪念文章。
以前我并未对统计软件有特殊的偏好,spss、sas、eviews都在用,三个中稍倾向于spss,主要因为它比较简单,sas的学习难度和应用条件(模块很多,文件太大)是我所难以接受的,eviews只在时间序列里用。那时更关注于具体的理论学习,不过在往深了学的时候,会有一个疑问,如果我在现实中要实现这些比较新的内容该怎么办?(商业软件一般没那么新的前沿的内容),这些复杂的公式对于没什么编程基础的我来说要实现起来真是难上加难。也是去年这时候,有一个曾经在学院任教的老师(现在是加拿大英属哥伦比亚大学终身教授)回来给我们上了一个月的课,在这一个月的时间里,我接触了R语言。
接下来的一年里(现在依然如此),我始终处在自学R的阶段,虽然辛苦也受益良多,一方面是终于可以摆脱傻瓜软件的束缚(用了R之后,我基本不用spss了),另一方面也是最重要的是R镜像站的文档让我学了太多以前没接触的前沿知识并通过R语言进行了实践,这一切在以前都是不可想象的。
说实在的我的R水平还是处于基础阶段(虽然我已掌握了几乎所有传统统计学方法和数据挖掘算法的R语言实现),目前在文本挖掘,高级编程上与专业人士还存在很大的差距,不过我会继续努力。
R语言在中国的普及程度与国外简直是没法比,据我所知,目前高校用R作分析少之又少,企业普及率也低。不过,R的影响正在不断扩大,统计之都举办的R语言会议已经到第5届了,而且去年的参会阵容已经相当豪华了(谢邦昌都去了),我相信R的前景会越来越好,当然也希望我的R能力能更快的提高。
下面是转的数据挖掘研究院的一篇文章(是篇翻译文章),是讲facebook和google的研究人员如何用R的。
在R用户组织的主题为“R与预测分析科学”的panel会议上,有来自工业界的四位代表发表了讲话,介绍各自在工业界是如何应用R进行数据挖掘。他们分别是:
Bo Cowgill, Google
Itamar Rosenn, Facebook
David Smith, Revolution Computing
Jim Porzak, The Generations Network
他们分别介绍了在各个公司是如何使用R进行预测分析,R作为分析工具的优势和劣势,并且提供了学习案例,以下是对他们的介绍的相关总结。
Panel介绍
R作为一门编程语言在以下三个方面具有很强的优势:数据处理,统计和数据可视化。和其他数据分析工具不同的是,它是由统计学家开发的,它是免费的软件,并且可以通过用户开发的包进行扩展,目前大约有2000多个包在CRAN中。
很多包可以应用在预测分析中。Jim重点介绍了 Max Kuhn 的caret包,它提供了大量的分类和回归模型,包括神经网络和朴素贝叶斯模型。
Bo Cowgill, Google
根据Bo Cowgill 的介绍,R是google最流行的统计分析包,事实上,google也是R基础的捐助者。他讲述道:R最好的事情是,它是统计学家发明的。它最糟糕的事情是,它是统计学家发明的。无论如何,他很乐观地看待R开发者社区的发展,R文档也逐步在改进,它的性能也在逐步提高。
Google主要使用R进行数据探索和构建模型原型,它并不是应用在生产系统,在Bo的团队中,R主要运行在桌面环境中。Bo主要根据以下的流程使用R:(1)使用其他的工具提取数据;(2)将数据加载到R中;(3)使用R建模分析;(4)在生产环境中使用c 或者python实现结果模型。
Itamar Rosenn, Facebook
Itamar介绍了facebook数据团队使用R的情况,他回答了新用户提数的两个问题:预测用户是否保持在某个数据点,如果他们停留,如何预测他们在三个月之后是否还会停留。
对于第一个问题,Itamar的团队使用递归划分推断出仅仅两个数据点被预测出来用户是否保留在facebook上:(1)新用户拥有多个会话;(2)输入用户基本信息时。
对于第二个问题,他们使用最小角度回归方法建立逻辑回归模型(lars包),根据三个类别的行为发现用户三个月的活动:(1)用户被其他用户访问的频率;(2)第三方应用程序使用的频率;(3)即将访问该站点的用户。
David Smith, Revolution Computing
David的公司,R改革计算,不仅仅使用R,而且R是他们的核心业务。David描述道:他们对R的贡献类似于redhat对linux 的贡献。他的公司处理使用R遇到的一些问题,例如,(1)支持老版本软件,即向下兼容;(2)通过他们的ParallelR套件可以支持并行计算。
David展示了他们的生命科学客户是如何使用R通过randomForest包对基因组数据集进行分类处理,以及如何使用他们的foreach包对分类树分析进行并行处理。
他还提到他们和其他公司合作将R应用在生产环境中,将特定的脚本放在服务器上,用户通过客户端调用该脚本进行数据处理。
Jim Porzak, The Generations Network
Jim简单介绍了如何使用R进行市场分析。尤其是,Jim还使用flexclust为sun公司的客户数据进行聚类分析,并且应用该结果数据识别高价值销售的主导业务。
在Q&A环节,还有很多提问,并且进行了回答。
1在使用R的过程中,如何解决内存限制问题?
R工作区是在RAM上,因此他的大小是受到限制的。
办法:
(1) 使用R的数据库连接功能(例如RMySQL),对数据进行切片处理
(2) 抽样处理
(3) 在独立的服务器或者在amazon的云计算环境中运行脚本
2R如何与其他工具和语言进行交互?
CRAN里面有一些包提供了和matlab,splus,SAS,excel的交互接口,另外,还提供了与python和java的接口包(Rpy和RJava)。