Link Search Menu Expand Document

动手学深度学习在线课程

课程更新

第十八周

第三部分计算机视觉结束,第三次竞赛为牛仔行头检测

所有公告

课程摘要

课时2021年3月20日 — (预计)7月
直播时间北京时间每周六、日下午 1:00 — 2:30
直播地址 机器之心
视频回放 B站
教材 zh-v2.d2l.ai

不论是在学术突破还是在工业应用, 深度学习是人工智能在近十年里进展最为迅速的领域。然而,深度学习模型复杂、参数繁多、而且新模型层出不穷,这给学习带来了难度。

本课程将从零开始教授深度学习。同学们只需要有基础的Python编程和数学基础。我们将覆盖四大类模型:多层感知机、卷积神经网络、循环神经网络、和注意力机制。在此之上,我们将介绍深度学习中的两大应用领域—计算机视觉和自然语言处理—中的典型任务。

本课程的一大特点是不仅讲述模型算法,同时会将每一处细节都讲述如何用PyTorch进行实现。这样同学们可以在真实数据上获得第一手经验。我们将举办四次课程竞赛,让同学们实践学习到的知识如何解决实际问题。

课程内容将紧靠《动手学深度学习》第二版。本书目前已经被近200所大学采用作为教材。我们将在3月20日开始直播。同学们无需注册或缴费就可以参加。敬请期待。

讲师

李沐

AWS 资深首席科学家
美国卡内基梅隆大学计算机系博士

课程安排

目前日程安排为暂定安排,会根据实际进度进行调整。部分内容暂时链接到英文版,中文版会随后更新。

深度学习基础

3月20日
课程安排
 
 
深度学习介绍
 
安装
 
数据操作
数据预处理
 
3月21日
线性代数
[补充] 按特定轴求和
 
 
 
矩阵计算
 
自动求导
3月27日
线性回归
基础优化方法
 
 
线性回归的从零开始实现
 
线性回归的简洁实现
 
3月28日
Softmax 回归
 
损失函数
 
 
图像分类数据集
 
Softmax 回归的从零开始实现
 
Softmax 回归的简洁实现
 
4月3日

长假无课

4月4日

长假无课

4月10日
感知机
 
 
多层感知机
多层感知机的从零开始实现
 
多层感知机的简洁实现
 
4月11日
模型选择
 
 
欠拟合和过拟合
4月17日
权重衰减
Dropout
4月18日
数值稳定性
模型初始化和激活函数
 
 
实战 Kaggle 比赛:预测房价
 
竞赛 预测房价
 
 

卷积神经网络

4月24日
模型构造
 
参数管理
 
自定义层
 
读写文件
 
GPU
 
4月25日

长假无课

5月1日

长假无课

5月2日

长假无课

5月8日

长假无课

5月9日

长假无课

5月15日
预测房价竞赛总结
 
 
从全连接层到卷积
 
图像卷积
5月16日
填充和步幅
多输入多输出通道
5月22日
池化层
卷积神经网络(LeNet)
5月23日
深度卷积神经网络(AlexNet)
使用块的网络(VGG)
5月29日
网络中的网络(NiN)
含并行连结的网络(GoogLeNet)
5月30日
批量归一化
残差网络(ResNet)
竞赛 图片分类
 
 

计算机视觉

6月5日
硬件:CPU和GPU
 
6月6日
更多的专有硬件
 
 
多GPU训练
6月12日

长假无课

6月13日

长假无课

6月19日
多GPU训练的实现
 
分布式训练
 
6月20日
图像增广
微调
6月26日
实战 Kaggle 比赛:图像分类(CIFAR-10)
 
实战 Kaggle 比赛:狗的品种识别(ImageNet Dogs)
 
6月27日
物体检测
 
 
边缘框实现
 
物体检测数据集
 
锚框
竞赛 树叶分类竞赛总结
 
 
7月3日
区域卷积神经网络(R-CNNs)
 
单发多框检测(SSD)
 
 
你只看一次(YOLO)
 
 
7月4日
多尺度物体检测实现
 
SSD 实现
 
7月10日
语义分割
 
 
语义分割数据集
 
转置卷积
转置卷积是一种卷积
7月11日
全连接卷积神经网络(FCN)
样式迁移
竞赛 目标检测
 
 

循环神经网络

7月17日
序列模型
文本预处理
 
7月18日
语言模型和数据集
循环神经网络
 
7月24日
循环神经网络的从零开始实现
 
循环神经网络的简洁实现
 
7月25日
门控循环单元(GRU)
 
长短期记忆网络(LSTM)
 
深层循环神经网络
 
双向循环神经网络
 
7月31日
机器翻译与数据集
 
 
编码器-解码器结构
 
序列到序列学习(seq2seq)
 
束搜索
 
 

注意力机制

8月1日
注意力机制
 
注意力分数
 
使用注意力机制的seq2seq
 
8月7日
自注意力和位置编码
 
多头注意力
 
 
Transformer
 

自然语言处理

8月8日
词嵌入(word2vec)
 
 
词嵌入数据集
 
 
 
词嵌入预训练
 
 
 
8月14日
使用全局向量的词嵌入 GloVe
 
 
 
子词嵌入
 
 
 
Finding Synonyms and Analogies
 
 
 
8月15日
Bidirectional Encoder Representations from Transformers (BERT)
 
 
 
The Dataset for Pretraining BERT
 
 
 
Pretraining BERT
 
 
 
Natural Language Processing: Applications
 
 
 
8月21日
Sentiment Analysis and the Dataset
 
 
 
Sentiment Analysis: Using Recurrent Neural Networks
 
 
 
Sentiment Analysis: Using Convolutional Neural Networks
 
 
 
Natural Language Inference and the Dataset
 
 
 
8月22日
Natural Language Inference: Using Attention
 
 
 
Fine-Tuning BERT for Sequence-Level and Token-Level Applications
 
 
 
Natural Language Inference: Fine-Tuning BERT
 
 
 

优化算法

8月28日
优化算法
 
 
 
梯度下降
 
 
 
随机梯度下降
 
 
 
8月29日
Momentum
 
 
 
Adam
 
 
 
学习率调度
 
 
 
课程总结