能力模型

CDA数据分析师人才教育品牌联合海内外知名讲师团队共同打造AI在线学习解决方案。旨在培养AI时代“十字型”技术精英。

数据思维
培养数据认知,学会从数据角度思考问题。
工程能力
自主搭建Hadoop大数据集群,构建企业级大数据仓库,掌握大数据核心技术,培养工程能力。
数据技能
掌握大数据之分布式的数据获取、整理、处理和分析的方案,掌握分布式机器学习方法和技术。
业务经验
掌握一线大型企业数据分析案例。

课程计划


本课程为大数据分析师在线学习解决方案, 
总共包含8个学习模块,分为16周学习阶段,通关式学习考核。平均每周需要10+小时学习时间。

大数据技术-Hadoop+数据库专题

(掌握大数据分析所需的基础知识以及Hadoop架构知识,学习SQL On Hadoop以及NoSQL数据库Hbase)

  • 01

    大数据分析师基础理论

    一、大数据分析基础
    1. 大数据时代
    2. 大数据时代的概念
    3. 大数据的影响
    4. 大数据的应用
    5. 大数据的关键技术与计算模式
    二、大数据所需-Python基础
    1. Anaconda和Jupyter notebook的安装和使用
    2. Python变量和常量
    3. Python基本数据类型
    4. Python基本数据结构
    5. Python语句结构
    6. Python函数与模块
    三、Linux 与 Ubuntu 基础
    1. Linux 入门
    2. Linux 与 Ubuntu 的关系
    3. Ubuntu 的安装及配置
    4. Ubuntu 文件组织形式
    5. Ubuntu 操作系统的常用命令
    6. SSH 理论基础
    7. 了解其他常用 Linux 系统,如 CentOS,RedHat,SUSE 等
  • 02

    大数据技术入门-Hadoop

    一、Hadoop简介与环境搭建
    1. 大数据与并行计算
    2. Hadoop是什么
    3. 为什么需要Hadoop
    4. Hadoop生态系统和技术栈
    5. Hadoop环境搭建
    二、HDFS分布式文件系统介绍
    1. HDFS简介
    2. HDFS的系统架构
    3. HDFS存储原理
    4. HDFS的数据读写过程
    5. HDFS的编程实践
    三、MapReduce理论及实战
    1. MapReduce概述
    2. MapReduce体系结构
    3. MapReduce工作流程
    4. MapReduce具体应用
    5. MapReduce编程实践
    四、Hadoop YARN
    1. Hadoop的优化与发展
    2. HDFS2.0的新特性
    3. 新一代资源管理调度框架YARN
    4. Hadoop生态系统中具有代表性的功能组件
  • 03

    大数据分析之数据库理论及工具

    一、Mysql理论及实战
    1. 数据库、表、索引和视图的相关概念
    2. 数据库约束的概念、定义及使用方法
    3. MySQL 中 SELECT 命令的基本格式
    4. 单表查询的方法和技巧
    5. 多表连接查询的方法和技巧
    6. 嵌套查询、集合查询的方法和技巧
    二、Hive数据库基础
    1. Hive简介和安装
    2. Hive安装
    3. Hive架构和执行原理
    4. 创建Hive受管理表和外部表
    5. 使用HQL查询数据
    6. 在HQL中使用函数
    7. Hive优化
    8. Hive和HBase集成
    三、Hbase数据库基础
    1. HBase的发展和简介
    2. HBase逻辑模型和物理模型
    3. HBase架构
    4. Hbase的安装与配置
    5. HBase Shell简介和命令
    6. Hbase API简介和实例
    7. Hbase数据的导入和导出
    8. HBase数据的备份与恢复
    四、补充知识-Phoenix
    1. Phoenix简介
    2. Phoenix安装和配置
    3. 使用Phoenix

大数据技术-Spark专题

(认识scala语言,掌握Spark开发和集群环境的搭建,并系统学习Spark技术栈,包含Spark Stream、Spark SQL、Spark Core、Spark GraphX、Spark MLLib等)

  • 04

    大数据分析的瑞士军刀-Spark

    一、Scala编程语言基础
    1. Scala简介
    2. 安装和配置Scala
    3. Scala数据类型
    4. Scala流程控制语句
    5. Scala数据结构
    6. Scala函数
    7. Scala面向对象
    8. 案例:关键词频次统计
    二、Spark架构与运行机制
    1. Spark计算模式与Spark栈
    2. Spark运行时架构
    3. Spark运行时组件
    4. Spark集群类型
    三、Spark平台搭建
    1. Spark部署模式
    2. Spark standalone模式搭建
    3. Spark作业提交运行与监控
    4. Spark交互式编程
    5. 使用Zeppelin进行交互式开发
    四、Spark Core核心编程
    1. RDD编程模型
    2. 创建RDD: 两种方式
    3. RDD操作: normal rdd和pair rdd
    4. RDD持久化机制(缓存)
    5. RDD共享变量
    6. 案例:电商网站用户行为分析
    五、SparkSql结构化数据处理基础
    1. Spark SQL简介
    2. 使用Spark SQL
    3. DataFrame/Dataset与SQL的关系
    4. DataFrame/Dataset程序设计
    5. 案例:银行客户数据分析
    六、SparkStreaming实时计算
    1. Spark流处理引擎介绍
    2. Spark DStream操作概述
    3. Spark结构化流介绍
    4. Spark结构化流应用程序
    5. 流式DataFrame操作
    6. 案例:证券公司仪表板实现
    七、Spark机器学习库
    1. 机器学习介绍
    2. 机器学习与Spark
    3. Spark机器学习库
    4. Transformer、Estimator和Pipeline
    5. 构建机器学习工作流
    八、Spark GraphX图计算
    1. 图与图计算介绍
    2. 构建图和操作图
    3. Spark GraphX内置图算法实现
    4. GraphFrame库介绍及应用
    5. 案例:航班数据分析

大数据技术-机器学习、可视化和综合案例专题

(掌握Spark和python的结合工具Pyspark,掌握大数据可视化方法,并结合金融、交通大数据综合案例讲解大数据分析全流程知识)

  • 05

    Spark和Python结合-Pyspark

    一、Pyspark简介
    1. Spark生态系统
    2. Pyspark包的主要模块和类
    3. RDD的生成和操作
    4. Transformation操作
    5. Action操作
    6. Spark SQL简介
    7. Spark 数据挖掘模块简介
    二、Pyspark数据挖掘算法与实现
    1. ALS协同过滤
    2. 聚类分析
    3. 关联规则
    4. 序列模式AprioriAll
    三、Pyspark用户离网案例分析
    1. 商业理解(business understanding)
    2. 数据理解(data understanding)
    3. 数据准备(data preparation)
    4. 建模(modeling)
    5. 评估(evaluation)
    6. 部署(deployment)
  • 06

    大数据分析之数据可视化

    一、数据可视化入门基础
    1. 数据可视化应用场景
    2. 常用数据可视化工具
    3. 常用可视化图形介绍及其基本作用
    二、Python数据可视化入门
    1. 利用Matplotlib绘制常用可视化图形
    2. 利用Seaborn绘制高阶可视化图形
    三、Python 高级数据可视化方法
    1. Pyecharts 的安装与更新
    2. 利用Pyecharts绘制常见可视化图形
  • 07

    大数据分析综合行业案例

    一、互联网金融大数据实战
    1. 项目介绍
    2. 业务背景
    3. 单机版金融风险分析
    4. Spark版金融风险分析
    5. 在windows环境下进行ipython编程
    二、交通大数据分析案例
    1. 项目和业务背景
    2. 数据在业务系统中生成到mysql中
    3. Sqoop抽取数据进入到hive中
    4. Spark-sql进行数据归约和预处理,写入hive
    5. Tableau进行分析和展示
  • 08

    期末项目作业

项目案例 实战特训

有知识的地方必有案例,40余个经典案例,每周练习与项目实战,玩转Hadoop+Spark大数据分析!
(以下节选部分案例)

业界师资

辛立伟
大数据架构师
拥有近20年研发及教学工作经验,担任多所高校企业讲师;精通基于Hadoop的大数据处理技术栈和基于Spark的大数据分析平台。畅销书《Java从初学到精通》《Spark大数据处理技术》作者。目前专注于大数据处理、实时数据处理、大数据机器学习等相关的技术研发、技术培训和企业咨询等。
吴昊天
北理工数据学院 CDA Level 2
大数据分析师考试命题组组长
曾就职于电子科技大学大数据中心医疗卫生研究所,历任数据分析师、数据挖掘工程师、大数据架构师等职,多次参与并主导医保反欺诈领域和智慧诊疗相关算法设计、执行、优化等相关工作, 拥有丰富的算法研发经验与多项算法专利。拥有丰富的数据类项目管理经验。
在线学习解决方案
使用先进强大的在线教育系统,您可根据自身时间自由学习,享有视频回放、在线作业、在线考试等一体化优质学习体验。
16周从零成长计划,平均每周学习及项目作业时间为10+小时,阶段性提升,步步为营。
全程专业的讲师助教答疑及班主任督学,更贴近每个学生的个性化学习需求。
课程对象
从事/转行大数据分析与挖掘的从业人员。
想使用spark进行数据处理分析的人员。
希望有经验、有资历的老师带入门。

立即领取500元优惠券

finish the course ,you will get ...

完成学习计划后,你将获得...

结课证明  certificate
含金量 来自行业领袖的认可与CDA数据分析师品牌影响力多年积淀。
用   途 可用于就业上岗、升职加薪、参与数据分析商业项目,永久有效。
就业推荐  employment
新人入职   通过毕业项目设计成果获得企业的认可,CDA就业服务团队为您解决就业难题。
转行跳槽    CDA OfferHere服务团队为您解决通往更高职业发展阶梯的需求。
会员服务  VIP service
社群活动   成为CDA俱乐部社群会员,可免费参与一切CDA线下交流活动与行业峰会。
特权资质   可参与全国各地CDA相关数据分析项目合作,业余时间实战提升,赚取酬劳。

更多问题 请看这里

  • Q:大数据分析师如何区别于普通的数据分析师?

    A:普通的数据分析师具有一定的数理统计基础,熟悉业务逻辑,能熟练地操作传统的数据分析软件,能使数据成为企业的智慧。他们通常遇到的都是一些结构化、体量小的小数据。而大数据分析师更专注数据获取的架构设计、数据分析模型的选择、指标的选取,他们具有数据分析师的理论素养和业务能力,面对大数据,他们有一整套分布式的数据获取、整理、处理和分析的方案,而且这个方案最终的目标是为数据分析服务,他们具有大数据分析的利器,如Hadoop、Spark等软件。
  • Q:请问使用到的软件和工具?

    A:你好,大数据软件使用版本如下: centos 7.2、hadoop-2.6.0、hive-1.1.0、sqoop-1.4.6、hbase-1.2.0、spark-2.3.0、zookeeper-3.4.5、Anconda5.2.0及以上、Oracle VM VirtualBox6 或者VMware。不用担心你的电脑是否已经具备这些软件,老师将带领你进行安装。
  • Q:课程的计算机内存要求和开发工具推荐?

    A:学习大数据课程计算机内存推荐为 16G (享受飞驰的感觉),至少8G。CPU推荐四核八线程的、硬盘可用空 间100G。关于内存是考虑了spark对内存的需求较大,大数据其他组件内存需求会低一些。关于开发工具:推荐pyspark使用jupyter notebook,Scala使用 IntelliJ IDEA 社区版,python脚本可以使用pycharm。
  • Q:课程的学习周期是多久呢?

    A:大数据分析师课程学习周期约为18周,平均每周近5~8小时学习时间,助您轻松利用职场碎片化时间自我提升。课程有效期为一年。 设置期限是因为我们知道拖延久了就会放弃。课程有效期是远大于我们课程所需要的完成时间的,已经将大部分意外的情况包含在内,足够完成该课程。
  • Q:课程是录播还是直播?

    A:大数据分析师课程是录播视频课程,您可以自主安排时间学习教学视频,但需在规定的学习周期内完成学习和考试。
  • Q:学习后是否有工作推荐以及其他福利?

    A:新人入职,可以通过毕业项目设计成果获得企业的认可,CDA就业服务团队为您解决就业难题。转行跳槽者,CDA OfferHere服务团队为您解决通往更高职业发展阶梯的需求。 您还可以成为CDA俱乐部社群会员,可免费参与一切CDA线下交流活动与行业峰会。可参与全国各地CDA相关数据分析项目合作,业余时间实战提升,赚取酬劳。

填写个人信息

确认

提交成功


信息已成功提交, 3秒后返回上一页