商业智能

  可视化、交互式 -》报表信息主动权的移交

  过去是静态的报表，将阅读的可能性加入

  数据透视：将零散的数据按照一定的规则和维度进行汇总

可视化：

   对比分析

   纵向对比-时间序列分析同一指标不同时间的对比；设计不同的时间维度供阅读者选择

  进度分析

   展示目标完成情况的分析方法

  横向分析-在同一时间下部分与总体，部分与部分 

  对比分析

   1.差异分析

   分析两个样本之间的差异程度没雷达图是之类分析的有效手段

    顶点不能太多

    相同类型放在同一方向

    数据必须是统一的量纲

   2.与标准值、平均值以及目标之间的差异

  3.同环比对比

    结构分析

    透视分析

    其他分析方法

数据分析-》数据挖掘-》机器学习-》人工智能-》深度学习

理论基础

 关键结论及模型

工具基础

 SPSS/SAS/MATLAB->R/PYTHON

 SQL:SQLServer Oracle 

思维基础

 问题的拆解及抽象化能力

统计学

 政治算术

 概率论的应用

数据分析-》数据挖掘-》机器学习-》人工智能

深度学习

统计学：数据分析的起源，实用性的学科

但是数据分析不一定要精通统计学

具备：理论基础：关键结论及模型的应用

    工具基础：分析工具:R/PYTHON

          取数工具:SQL 

   思维基础：问题的拆解和抽象化能力需要项目经验

威廉配第 统计学之父 《政治算术》

博弈产生 概率论的产生

概率的出现，发生的事件是连续的事件，通过大数定律，预测将要发生的事件。

统计学的发生基础：

 1.首先需要很多的数据(互联网技术很好的解决了问题）

 2.有效的数据（如：被动选择的陷阱）

数据分析师要对自身的实际情况以及当前实际情况自我审查，内容是：

  个人数据获取和处理能力

  模型开发能力

  数据分析与挖掘能力

  结果与报告能力

  实施部署能力

  商业理解能力

六个方面进行自我的审查和评估

直方图看面积，柱形图看

大数据平台与处理

大数据储存于处理

大数据分析与应用

描述型数据挖掘

 聚类分析

 社会网络分析

预测型数据挖掘

 分类模型（K最近邻、贝式网络、决策树、神经网络、罗吉斯回归）

   支持向量机

   集成学习（袋装法、提升法、随机森林）

   深度学习（热门）

 预测模型

  K最近邻

  决策树

  神经网络

  支持向量机

  集成学习

  深度学习

罗吉斯网络→神经网络→支持向量机→深度学习

决策树→随机森林

线性回归→回归树→随机森林

分类及预测

  →集成学习袋装法

  →集成学习提升法

统计模型（假设检验）

数据挖掘模型

决策树思想

根决策 决策节 叶决策

ID3算法

  信息熵（描述系统的复杂程度，信息量的加权平均）

  信息量（底数2）

  发生频数高的信息量大（0-1）信息熵越大越混乱

  信息增益（引入一个变量对其分类，条件熵越小越好，差是信息增益越大越好）

  eg引入亏损状态的分类，谁信息增益大就在哪里开叉

  缺点，分类越多信息增益越大

C4.5的算法（可处理非离散数据）

  信息增益率

  剪枝

CART算法

  二分叉，二叉树

C5.0算法（基于booksing算法）

  多叉树，采用大数据集

  构造多个C4.5

  智能解决分类问题

随机森林，SGboost

统计学：分析的起源

分析师：

1.理论基础：关键结论及模型应用

2.工具基础：SPSS、SAS(金融）、（MATLAB量化行业）、R/Python

                   SQL

3.思维基础：问题拆解、抽象化

统计是动态的历史，历史是静态的统计。

有才华的人走到哪里都是被尊敬的！

《Beat the M》

A卡

B卡

催收评分

商业智能（更深层次：报表分析主动权移交）

1、可视化（数据信息转化成图标信息）

1.1 对比分析

纵向对比，时间段柱形图，时间表折线图

进度对比，仪表盘，温度图，游标图，方块图

柱形图不排序 ，条形图从大到小

差异分析——雷达图。 单位不同，数据标准化处理。（定点数不易过多，同属性方一侧，标准化处理）

与标准值、平均值和计划值之间的对比。

标准对比——两条基准线eg，不适用与变量指标的对比。

计划值，实际值，柱状图。

同比、环比，同环比增长率表，三色图标。同环比对比情况——柱状图；增长率变动情况——折线图。

预警分析——KPI分析 百分比、百分点

透视分析，多了一个多维度。以往数据透视表只能给予单一数据。但通过。。PI可以展示多维度数据。

构成分析，漏斗图，瀑布图

构成分析一定要对比样本形成整体才能用。

杜邦分析——业务逻辑上的构成。标注同环比增长率，可以追溯到原因。

其他分析方法——变化分析

加进的方向和减去的方向在途中展示出来

其他分析方向——增维分析

将不同类型的图表嵌套。

其他分析方法——统计描述性图表

直方图，柱形面积。所有数值分布情况。

盒须图，四分位数的概念。上边缘，上四分位，中位数，下四分位数，下边缘，异常值。

2、交互式

切片视——基于数据。可定义空间少啊。

Excel03开始，控件。操作自由性强，制作过程繁琐，每个过程手动确认，需要测试。

VBA

Excel PowerBI（商业智能）

从数据层获取到知识和智慧的手段。

商业智能六步

（1）业务理解，最重要

（2）数据收集，原始数据

（3）数据整理，有效数据

（4）数据分析

（5）数据展现

（6）报表制作 

必备技能：PowerBI插件，高级图标制作技巧，公式功能。

Power BI 10-13,表格→表结构，可以批量处理大量数据。Power Map（基于bing），Power View，

Power Query（爬表格数据），Power Pivot核心内容，都可以突破行数限制，最好控制在2G到4G之间。

3、数据加工、整合、建模

4、数据透视（按照规则汇总）

数据科学发展史

很长一段时间内提到数据分析——统计学，这是数据分析的起源。

好的分析师三方面能力

1.理论基础：关键的结论和模型，应用，解决问题

2.工具基础：最早SPSS/SAS/MATLAB，现在R/Python。SQL：SQL sever,oracle，现在Hadoop Impala hive。

3.思维基础：问题的拆解和抽象化的能力。

eg，字段不适用模型，但业务方希望。

节假日（信息量集中），如何解决，创建一个分段函数。

数据多加数据有效

提前了解一下数据模型