数据分析制度
『壹』 如何做好数据分析
第一步:数据准备:(70%时间)
· 获取数据(爬虫,数据仓库)
· 验证数据
· 数据清理(缺失值、孤立点、垃圾信息、规范化、重复记录、特殊值、合并数据集)
· 使用python进行文件读取csv或者txt便于操作数据文件(I/O和文件串的处理,逗号分隔)
· 抽样(大数据时。关键是随机)
· 存储和归档
第二步:数据观察(发现规律和隐藏的关联)
· 单一变量:点图、抖动图;直方图、核密度估计;累计分布函数
· 两个变量:散点图、LOESS平滑、残差分析、对数图、倾斜
· 多个变量:假色图、马赛克图、平行左边图
第三步:数据建模
· 推算和估算(均衡可行性和成本消耗)
· 缩放参数模型(缩放维度优化问题)
· 建立概率模型(二项、高斯、幂律、几何、泊松分布与已知模型对比)
第四步:数据挖掘
· 选择合适的机器学习算法(蒙特卡洛模拟,相似度计算,主成分分析)
· 大数据考虑用Map/Rece
· 得出结论,绘制最后图表
循环到第二步到第四步,进行数据分析,根据图表得出结论完成文章。
结合实际业务来做数据分析
“无尺度网络模型”的作者艾伯特-拉斯洛·巴拉巴西认为——人类93%的行为是可以预测的。数据作为人类活动的痕迹,就像金矿等待发掘。但是首先你得明确自己的业务需求,数据才可能为你所用。
1.数据为王,业务是核心
· 了解整个产业链的结构
· 制定好业务的发展规划
· 衡量的核心指标有哪些
有了数据必须和业务结合才有效果。首先你需要摸清楚所在产业链的整个结构,对行业的上游和下游的经营情况有大致的了解。然后根据业务当前的需要,指定发展计划,从而归类出需要整理的数据。最后一步详细的列出数据核心指标(KPI),并且对几个核心指标进行更细致的拆解,当然具体结合你的业务属性来处理,找出那些对指标影响幅度较大的影响因子。前期资料的收集以及业务现况的全面掌握非常关键。
2.思考指标现状,发现多维规律
· 熟悉产品框架,全面定义每个指标的运营现状
· 对比同行业指标,挖掘隐藏的提升空间
· 拆解关键指标,合理设置运营方法来观察效果
· 争对核心用户,单独进行产品用研与需求挖掘
发现规律不一定需要很高深的编程方法,或者复杂的统计公式,更重要的是培养一种感觉和意识。不能用你的感觉去揣测用户的感觉,因为每个人的教育背景、生活环境都不一样。很多数据元素之间的关系没有明显的显示,需要使用直觉与观察(数据可视化技术来呈现)。
3.规律验证,经验总结
发现了规律之后不能立刻上线,需要在测试机上对模型进行验证。
sc-cpda 数据分析公众交流平台。
『贰』 作为一个公司的数据分析职位人员,应该做哪些工作
这个主要看你的岗位职责,与具体企业也有关系。
但要做一个出色的数据分析员,以下几点需要注意:
1、数据储存和运算
这部分工作是基础工作,别人可能都看不到,但对于你却很重要。
所有数据,要按数据库的思想存储,经常需要的指标,要做好模板或列好运算法则。
总之,这部分的要求是数据信息齐全、计算及时。
不要领导说完需求,很久才出一个结果。
平时感觉哪部分信息有可能被用到,要提前收集。
2、报表管理
常用的分析科目,都要有报表管理。
出哪些表、什么时间出表,谁出表,谁检查,都要报给谁,格式如何,是否保密等是一套制度,
都要注意到。
针对1、2两项,还可以提出软件硬件的需求,提高工作效率!
3、分析报告
整体经营报告和分项报告,有的公司还会要求PPT格式,用来在经营会上讨论分析。
所以,要会写分析报告。
4、沟通交流
分析报告好写,但是因素分析,就比较难了。
因为涉及各个部门和业务,就得多和他们沟通。
平时也要多交流联系,熟悉业务,要不别人也不愿意给你多说。
比如,这个月销售业绩下降20%,原因在哪?
你调查一下,可能会知道,天气、物流配送、价格是主要问题。