第一章 数据分析概述:
数据分析介于BI和AI之间。
多维分析:每一个样本可能涉及到的多种属性。
警报:把数据作为摄像头,来检测每个周期的数据变化。如果出现了异常数据,则要为我的检测者做报告。
训练集和测试集:通过训练得到一系列数据,但是需要测试、评估它是不是最好的。
过采样:取值过少,可能需要更多抽样方法
第一章 数据分析概述:
数据分析介于BI和AI之间。
多维分析:每一个样本可能涉及到的多种属性。
警报:把数据作为摄像头,来检测每个周期的数据变化。如果出现了异常数据,则要为我的检测者做报告。
训练集和测试集:通过训练得到一系列数据,但是需要测试、评估它是不是最好的。
过采样:取值过少,可能需要更多抽样方法
业务理解---企业认知
数据理解
数据准备(探索--修改(数据清洗)--建模--评估--抽样--探索)
数据建模
建模评估→业务理解
模型发布
维度——数据中的每一列
警报——监测异常数据,并警报
1. 数据分析是一套分析流程,包括业务理解,数据采集,数据清洗,数据探索,数据可视化,数据建模,模型结果可视化,分析结果的业务应用等;它以探索数据内的有用信息为主要途径,以解决业务需求为最终目标。
2. 数据挖掘是一个跨学科的计算机科学分支,是一种计算过程;用人工智能,机器学习,统计学和数据库的交叉方法在相对较大型的数据集中发现模式
3. 数据分析的8个层次
4.小数据与大数据关系
小数据重抽样,基于样本推断总体
大数据重全体,偏向于机器学习,侧重效率和优化
5. 数据分析的意义
数据分析涉及到公司运营的方方面面,其中客户与市场的数据分析是重点
6. 客户生命周期与数据分析的关系
潜在:发掘潜在客户--如何找到潜在客户
响应:客户获取,初始信用评分,客户价值预测
既得:客户细分,精准营销,行为信用评分,客户保留。。。
流失:流失时间判断,流失类型判断
7. 数据挖掘方法论
CRISP-DM 方法论将数据挖掘项目生命周期分为6个阶段:业务理解,数据理解,数据准备,建模,模型评估和模型发布
SEMMA方法论:数据挖掘项目实施的方法论,对CRISP方法论中的数据准备和建模环节进行了拓展。
挖掘阶段的任务