指用专业的统计分析方法对大量数据进行分析,并加以详细研究和概括总结,提取有价值的信息,形成有效的分析结论,从而影响业务决策
一切事物,如果不能量化它,我们就没法真正理解它;如果不能理解它,我们就没法真正控制它;如果不能控制它,我们就没法真正改变它。
在大数据时代,人类大脑无法理解的复杂,而数据分析可以解读其中的含义;面对难以掌控的未知因素,而数据分析可以预测其中的规律。
数据分析能够弥补我们对直觉的过分自信,更科学合理地思考问题和做决策。
现状分析,过去发生了什么?例如通过描述性统计诊断业务状况
原因分析,为什么会发生?例如通过维度拆解和指标拆解等分析方法,并结合实际业务,寻找业务异常点
预测分析,将来可能发生什么?例如根据用户行为数据预测是否即将流失,并对即将流失的用户采取挽留措施
1.明确分析目的与思路
思路决定结果,必须明确数据分析目的,形成清晰的思路框架,避免为了分析而分析
2.数据收集
基于分析目的去收集相关的数据集,大部分为公司的内部数据,也可能涉及外部数据
- 关系型管理数据库(RMDB,利用SQL语言取数),数据仓库(WareHouse,利用HiveSQL取数)
- 文件:excel、csv、txt等
- 系统/平台:手动导出、selenium等python自动化脚本
- 互联网:网络爬虫
- API:requests请求库、解析json文件等
3.数据清洗
将数据整理成整洁干净并利于接下来分析的结构和格式,数据可能分布得比较零散,需要对各类数据集进行集成
异常值、错误值、缺失值处理 字段的拆分、合并、信息提取、格式转换等 表关联:左、右、外(全)、内连接、笛卡尔积表等(左半、左反连接等) 表结构转换:行转列(长表转宽表)、列转行(宽表转长表等)、行列转置、数据透视(逆透视)
4.数据分析
需要掌握常用的分析方法和机器学习算法
- 基本分析方法:构成分析、对比分析、分组分析、交叉分析、趋势分析等
- 高级分析方法:线性回归、逻辑回归、决策树、随机森林、聚类等算法
5.数据可视化
将分析观点用图表的形式呈现出来
- 字不如表,表不如图,一图胜千言
- 基本统计图表:饼图、条形图、折线图、散点图、雷达图、漏斗图等
- 专业统计图表:直方图、热力图、箱线图、提琴图、核密度估计图等
6.数据分析报告
将重要的分析结论和发现汇总成PPT,形成一份完整的数据分析报告
- 金字塔结构,总分总形式
- 结论先行、由上而下、归纳分组、逻辑递进
- 结构清晰,层次分明,突出重点,明确要点
7.数据应用
- 将可行性的建议方案应用到实际业务场景,并解决公司的实际业务问题
- 为业务决策提供数据支持,实现数据驱动业务增长
工欲善其事必先利其器,需要掌握的主流数据分析工具
- Excel,非常重要的基础
- PowerBI/Tableau,强大的商业智能BI工具
- SQL,必备的数据库数据查询语言
- Python,人工智能的首选计算机语言
学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!
👉Python学习路线汇总👈
Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。(全套教程文末领取哈)
👉Python必备开发工具👈
温馨提示:篇幅有限,已打包文件夹,获取方式在:文末
👉Python学习视频600合集👈
观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
👉实战案例👈
光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
👉100道Python练习题👈
检查学习结果。
👉面试刷题👈