大数据技术-Hadoop+数据库专题

（掌握大数据分析所需的基础知识以及Hadoop架构知识，学习SQL On Hadoop以及NoSQL数据库Hbase）

• 01

  大数据分析师基础理论

  一、大数据分析基础

  1. 大数据时代

  2. 大数据时代的概念

  3. 大数据的影响

  4. 大数据的应用

  5. 大数据的关键技术与计算模式

  二、大数据所需-Python基础

  1. Anaconda和Jupyter notebook的安装和使用

  2. Python变量和常量

  3. Python基本数据类型

  4. Python基本数据结构

  5. Python语句结构

  6. Python函数与模块

  三、Linux 与 Ubuntu 基础

  1. Linux 入门

  2. Linux 与 Ubuntu 的关系

  3. Ubuntu 的安装及配置

  4. Ubuntu 文件组织形式

  5. Ubuntu 操作系统的常用命令

  6. SSH 理论基础

  7. 了解其他常用 Linux 系统，如 CentOS，RedHat，SUSE 等

• 02

  大数据技术入门-Hadoop

  一、Hadoop简介与环境搭建

  1. 大数据与并行计算

  2. Hadoop是什么

  3. 为什么需要Hadoop

  4. Hadoop生态系统和技术栈

  5. Hadoop环境搭建

  二、HDFS分布式文件系统介绍

  1. HDFS简介

  2. HDFS的系统架构

  3. HDFS存储原理

  4. HDFS的数据读写过程

  5. HDFS的编程实践

  三、MapReduce理论及实战

  1. MapReduce概述

  2. MapReduce体系结构

  3. MapReduce工作流程

  4. MapReduce具体应用

  5. MapReduce编程实践

  四、Hadoop YARN

  1. Hadoop的优化与发展

  2. HDFS2.0的新特性

  3. 新一代资源管理调度框架YARN

  4. Hadoop生态系统中具有代表性的功能组件

• 03

  大数据分析之数据库理论及工具

  一、Mysql理论及实战

  1. 数据库、表、索引和视图的相关概念

  2. 数据库约束的概念、定义及使用方法

  3. MySQL 中 SELECT 命令的基本格式

  4. 单表查询的方法和技巧

  5. 多表连接查询的方法和技巧

  6. 嵌套查询、集合查询的方法和技巧

  二、Hive数据库基础

  1. Hive简介和安装

  2. Hive安装

  3. Hive架构和执行原理

  4. 创建Hive受管理表和外部表

  5. 使用HQL查询数据

  6. 在HQL中使用函数

  7. Hive优化

  8. Hive和HBase集成

  三、Hbase数据库基础

  1. HBase的发展和简介

  2. HBase逻辑模型和物理模型

  3. HBase架构

  4. Hbase的安装与配置

  5. HBase Shell简介和命令

  6. Hbase API简介和实例

  7. Hbase数据的导入和导出

  8. HBase数据的备份与恢复

  四、补充知识-Phoenix

  1. Phoenix简介

  2. Phoenix安装和配置

  3. 使用Phoenix

大数据技术-Spark专题

（认识scala语言，掌握Spark开发和集群环境的搭建，并系统学习Spark技术栈，包含Spark Stream、Spark SQL、Spark Core、Spark GraphX、Spark MLLib等）

• 04

  大数据分析的瑞士军刀-Spark

  一、Scala编程语言基础

  1. Scala简介

  2. 安装和配置Scala

  3. Scala数据类型

  4. Scala流程控制语句

  5. Scala数据结构

  6. Scala函数

  7. Scala面向对象

  8. 案例：关键词频次统计

  二、Spark架构与运行机制

  1. Spark计算模式与Spark栈

  2. Spark运行时架构

  3. Spark运行时组件

  4. Spark集群类型

  三、Spark平台搭建

  1. Spark部署模式

  2. Spark standalone模式搭建

  3. Spark作业提交运行与监控

  4. Spark交互式编程

  5. 使用Zeppelin进行交互式开发

  四、Spark Core核心编程

  1. RDD编程模型

  2. 创建RDD: 两种方式

  3. RDD操作: normal rdd和pair rdd

  4. RDD持久化机制(缓存)

  5. RDD共享变量

  6. 案例：电商网站用户行为分析

  五、SparkSql结构化数据处理基础

  1. Spark SQL简介

  2. 使用Spark SQL

  3. DataFrame/Dataset与SQL的关系

  4. DataFrame/Dataset程序设计

  5. 案例：银行客户数据分析

  六、SparkStreaming实时计算

  1. Spark流处理引擎介绍

  2. Spark DStream操作概述

  3. Spark结构化流介绍

  4. Spark结构化流应用程序

  5. 流式DataFrame操作

  6. 案例：证券公司仪表板实现

  七、Spark机器学习库

  1. 机器学习介绍

  2. 机器学习与Spark

  3. Spark机器学习库

  4. Transformer、Estimator和Pipeline

  5. 构建机器学习工作流

  八、Spark GraphX图计算

  1. 图与图计算介绍

  2. 构建图和操作图

  3. Spark GraphX内置图算法实现

  4. GraphFrame库介绍及应用

  5. 案例:航班数据分析

大数据技术-机器学习、可视化和综合案例专题

（掌握Spark和python的结合工具Pyspark，掌握大数据可视化方法，并结合金融、交通大数据综合案例讲解大数据分析全流程知识）

• 05

  Spark和Python结合-Pyspark

  一、Pyspark简介

  1. Spark生态系统

  2. Pyspark包的主要模块和类

  3. RDD的生成和操作

  4. Transformation操作

  5. Action操作

  6. Spark SQL简介

  7. Spark 数据挖掘模块简介

  二、Pyspark数据挖掘算法与实现

  1. ALS协同过滤

  2. 聚类分析

  3. 关联规则

  4. 序列模式AprioriAll

  三、Pyspark用户离网案例分析

  1. 商业理解(business understanding)

  2. 数据理解(data understanding)

  3. 数据准备(data preparation)

  4. 建模(modeling)

  5. 评估(evaluation)

  6. 部署(deployment)

• 06

  大数据分析之数据可视化

  一、数据可视化入门基础

  1. 数据可视化应用场景

  2. 常用数据可视化工具

  3. 常用可视化图形介绍及其基本作用

  二、Python数据可视化入门

  1. 利用Matplotlib绘制常用可视化图形

  2. 利用Seaborn绘制高阶可视化图形

  三、Python 高级数据可视化方法

  1. Pyecharts 的安装与更新

  2. 利用Pyecharts绘制常见可视化图形

• 07

  大数据分析综合行业案例

  一、互联网金融大数据实战

  1. 项目介绍

  2. 业务背景

  3. 单机版金融风险分析

  4. Spark版金融风险分析

  5. 在windows环境下进行ipython编程

  二、交通大数据分析案例

  1. 项目和业务背景

  2. 数据在业务系统中生成到mysql中

  3. Sqoop抽取数据进入到hive中

  4. Spark-sql进行数据归约和预处理，写入hive

  5. Tableau进行分析和展示

• 08

  期末项目作业