正式课程地址：https://edu.cda.cn/goods/show/3132

自深度学习重新回到公众视野以来，机器学习框架层出不穷，成为了研究人员以及从业者的新宠。从早期的学术成果Caffe、Theano，到获得庞大工业支持的PyTorch、TensorFlow，面对大量的学习框架，许多研究者不知该如何选择。

既然业界也有大量用PyTorch的，学术界也有用TensorFlow的，那么索性，这次我们就不做选择了！

阶段一：《深度学习TensorFlow框架实战》

结合算法原理+API讲解+实战训练，通过实战项目的方式学习各个模块，让你全面拥抱TensorFlow！

阶段二：《深度学习PyTorch框架实战》

带你深入细致了解如何使用PyTorch高效构建深度学习模型，由《PyTorch模型训练实用教程》的作者余霆嵩精心打造「PyTorch框架+项目实战班

阶段三：《深度学习Bert模型精讲》

系统讲解bert模型结构、预训练、微调、代码、调优方法，让各位一次性吃透一套模型，输出一套baseline

01 为什么要学这门课？

在CVPR 2020会议接收中，PyTorch使用了405次，TensorFlow使用了102次，PyTorch使用数是TensorFlow的近4倍。

自2019年开始，越来越多的数据都表明PyTorch在学术界站稳了脚跟。

那和TensorFlow相比，PyTorch的优势又在哪里呢？ 就框架本身来说：

• 上手快：掌握Numpy和基本深度学习概念即可上手 代码简洁灵活：用nn.module封装使网络搭建更方便；基于动态机制，更灵活
• Debug方便：调试PyTorch就像调试Python代码一样简单
• 资源多：arXiv中新的算法大多有PyTorch实现
• 开发者多：GitHub上贡献者（Contributors）已超过1350+

但是，很多人仅仅靠自学，找资料或看官方文档，本质都是一知半解，根本不理解PyTorch的使用原理。所以大多数的小伙伴对PyTorch的认知度只有30%，还有高达70%的内容是没有真正掌握的，导致很多学习过的小伙伴经常吐槽：

• 思路不清晰、不理解函数、参数太多
• 框架重难点不易理解、不太懂参数的用法
• 底层原理了解不透彻，不实践很容易忘，实操能力差
• 不能灵活调用Api，耗费大量时间、精力

02 这门课怎么学？

为了让大家更方便地学习，我们的课程以线上视频的方式进行：

第一阶段一共8天，内容6大模块

第二阶段一共分为8天课程，微信群每日发送学习链接

第三阶段一共4天，内容五大模块，主要学习bert模型结构、预训练、微调、代码、调优方法，吃透一套模型，输出一套baseline。

03 这门课谁适合学？

• 1、如果你是数据分析师，这门课可以帮你快速入门深度学习，让你从零进阶也能学会上手！
• 2、如果你是数据挖掘工程师，这门课可以教你一套日常应用算法的模板！
• 3、如果你是机器学习、深度学习算法工程师，这门课可以帮你查缺补漏，原理+实践都有更深入的突破！

04 这门课学什么？

本次课程一共分3个阶段，10次课，每节课除了理论讲解外，都会有案例带你上手操作。

阶段一：【基础必修课】深度学习Tensorflow框架班

模块一 初识TensorFlow2.0

1、TensorFlow2.0简介
- 简介
- TensorFlow的层次结构(低阶、中阶、高阶API)
- TensorFlow Eager Execution (tensorflow的核心概念)
2、安装anaconda &TensorFlow2.0
- windows版本安装
- ubuntu版本安装
- 测试案例

模块二 TensorFlow2.0入门

3、TensorFlow2.0& Keras
- 张量与操作
- 常用模型层
- tf.keras三种构建模型的方式
4、TensorFlow2.0基本操作
- 神经网络正向传播与反向传播简介
- keras版本训练与自定义训练
5、3AutoGraph详解
6、模型保存与加载
- 作业
- 实操:Tensor操作、实现自动微分
- 采用自定义层实现逻辑回归类器
- 思考:重点知识点思提炼

模块三 TensorFlow2.0自定义操作

7、自定义层详解
8、损失函数与自定义损失函数
9、优化器与自定于优化器讲解
10、评估函数与自定义评估函数
11、Tensorboard使用
- 作业
- 实操:手算并对比tensorflow损失函数
- 搭建自定义层，并训练模型
- Tensorboard使用
- 思考:重点知识点思提炼

模块四 TensorFlow 2.0tf.data APl

12、DatasetAPl简介
13、DatasetAPI高级用法
14、使用TFRecordAPI创建和使用数据集
15、案例
- 作业
- 实操:实现几种tf.data方法读取自己的数据
- 思考:重点知识点思提炼

模块五 卷积神经网络入门&TF2.0

16、卷积简介&卷积运算、池化简介&池化运算、batchnorm层
17、涂鸦识别挑战(通过实战演示数据增强,演示各个层的构建)
18、新闻分类任务(nlp)
- 作业
- 实操:实现自定义卷积层、动手实现涂鸦识别挑战
- 思考:重点知识点思提炼

模块六 递归神经网络&TF2.0

19、递归神经网络简介、RNN、LSTM网络结构
20、Tensorboard使用
21、word2vec简介
22、实战:使用RNN进行文本情感分类案例
23、闲聊机器人实战
- 作业
- 实操:Tensorboard查看模型的loss
- 使用2层LSTM进行文本情感分类
- 思考:重点知识点思提炼

模块七 注意力机制&TF2.0

24、注意力机制简介&两种实现形式
25、Transform简介
26、案例(Transformer实现机器翻译)
- 作业
- 实操:Transformer实现机器翻译
- 思考:重点知识点思提炼

模块八 TensorFlow2.0的常用库

27、TF_hub简介
- TF_hub简介
- 使用TF-Hub进行图像迁移学习
- 使用TF-HUB进行文本分类
28、加速器
- 分布式训练
2.2.GPU
2.3TPU
29、tf.servering在线部署
- 作业
- 实操:使用TF-HUB进行文本分类
- 思考:重点知识点思提炼

阶段二：【进阶必修·训练营】深度学习PyTorch框架实战

模块一

1、PyTorch简介
2、环境配置
3、Pycharm
4、anaconda
5、安装PyTorch
6、测试
7、PyTorch的数据结构--Tensor和Variable
8、PyTorch的自动微分--autograd
9、PyTorch的nn模块--逻辑回归
- 作业讲解:
- Tensor操作
- 实现自动微分
- 采用nn实现逻辑回归分类器

模块二

10、DataSet与DataLoader
11、让PyTorch读取自己的数据
12、数据预处理及从硬盘到模型
13、数据增强的二十二种模块
- 作业讲解:
- 构建DataSet读取自己的数据
- 实现数据增强

模块三

14、模型搭建要素及sequential
15、常用网络层介绍及使用
16、模型参数初始化方法--十种
17、卷积神经网络Lenet-5搭建及训练
- 作业讲解:
- 采用sequential和非sequenial构建Lenet-5进行图像分类
- 采用不同初始化方法对Lenet-5参数初始化

模块四

18、特殊的Module--Function
19、损失函数讲解--十七种
20、优化器讲解--十种
21、学习率调整策略--六种
- 作业讲解:
- 手算并对比PyTorch损失函数
- 构建一个优化器并打印其属性
- 实现学习率调整策略并打印学习率变化

模块五

22、TensorBoard介绍
23、Loss及Accuracy可视化
24、卷积核及特征图可视化
25、梯度及权值分布可视化
26、混淆矩阵及其可视化
27、类激活图可视化(Grad-CAM)
- 作业讲解:
- 采用Tensorborad对Lenet-5的loss、accuracy和混淆矩阵进行可视化
- 对AlexNet的卷积核及特征图可视化
- 采用Grad-CAM对Lenet-5进行类激活图可视化

模块六

28、过拟合正则化
29、L1和L2正则项
30、Dropout
31、Batch Normalization
32、module.eval()对dropout及BN的影响
- 作业讲解:
- 采用L1和L2对逻辑回归进行正则化，并采用TensorBoard对权值分布进行对比;
- 对Lenet-5采用dropout及BN，并理解module.eval()原理

模块七

33、迁移学习之--模型Finetune
34、模型保存与加载
35、Early Stop
36、GPU使用一-调用、选择、模型保存与加载
- 作业讲解:
- 采用10分类模型进行2分类Finetune;
- GPU模型训练与加载

模块八

37、图像分类实战--ResNet18
38、图像分割实战--Unet
39、图像目标检测实战--YOLOV3
40、图像生成对抗网络实战--GAN
41、递归神经网络实战--RNN/LSTM
- 项目:采用自己的数据实现上述5种模型

阶段三：【选修课】深度学习Bert模型精讲

模块一 神经网络基础(选修)

1、神经网络与多层感知器
2、卷积神经网络基础
3、循环神经网络
4、神经网络基础串讲&答疑

模块二 BERT基础

5、BERT模型结构(上)
6、BERT模型结构(下)
7、预训练
8、微调方法
9、BERT代码解读

模块三 BERT进阶

10、BERT模型调优技巧
11、BERT微调新范式

模块四 BERT实战

12、基于某场比赛数据集，独立完成baseline构建
13、实战作业点评