Link Search Menu Expand Document

动手学深度学习在线课程

课程摘要

课时2021年3月20日 — (预计)7月
直播时间北京时间每周六、日下午 1:00 — 2:30
直播地址 机器之心
视频回放 B站
教材 zh-v2.d2l.ai

不论是在学术突破还是在工业应用, 深度学习是人工智能在近十年里进展最为迅速的领域。然而,深度学习模型复杂、参数繁多、而且新模型层出不穷,这给学习带来了难度。

本课程将从零开始教授深度学习。同学们只需要有基础的Python编程和数学基础。我们将覆盖四大类模型:多层感知机、卷积神经网络、循环神经网络、和注意力机制。在此之上,我们将介绍深度学习中的两大应用领域—计算机视觉和自然语言处理—中的典型任务。

本课程的一大特点是不仅讲述模型算法,同时会将每一处细节都讲述如何用PyTorch进行实现。这样同学们可以在真实数据上获得第一手经验。我们将举办四次课程竞赛,让同学们实践学习到的知识如何解决实际问题。

课程内容将紧靠《动手学深度学习》第二版。本书目前已经被近200所大学采用作为教材。我们将在3月20日开始直播。同学们无需注册或缴费就可以参加。敬请期待。

讲师

李沐

AWS 资深首席科学家
美国卡内基梅隆大学计算机系博士

课程公告

第二周

第二周视频上传到了B站。其中线性回归一节是直播后重录,会跟直播内容有点点区别。请注意下周因为清明直播停一周。

所有公告

课程安排

目前日程安排为暂定安排,会根据实际进度进行调整。部分内容暂时链接到英文版,中文版会随后更新。

深度学习基础

3月20日
课程安排
 
 
深度学习介绍
 
安装
 
数据操作
数据预处理
 
3月21日
线性代数
[补充] 按特定轴求和
 
 
 
矩阵计算
 
自动求导
3月27日
线性回归
基础优化方法
 
 
线性回归的从零开始实现
 
线性回归的简洁实现
 
3月28日
Softmax 回归
 
损失函数
 
 
图像分类数据集
 
Softmax 回归的从零开始实现
 
Softmax 回归的简洁实现
 
4月3日

长假无课

4月4日

长假无课

4月10日
感知机
 
 
多层感知机
多层感知机的从零开始实现
 
多层感知机的简洁实现
 
4月11日
模型选择
 
 
欠拟合和过拟合
4月17日
权重衰减
 
Dropout
 
数值稳定性
 
4月18日
模型初始化和激活函数
 
 
 
实战 Kaggle 比赛:预测房价
 
 
 
竞赛 预测房价
 
 
 

卷积神经网络

4月24日
模型构造
 
 
 
参数管理
 
 
 
自定义层
 
 
 
读写文件
 
 
 
GPU
 
 
 
4月25日
从全连接层到卷积
 
 
图像卷积
 
 
填充和步幅
 
 
多输入多输出通道
 
 
5月1日

长假无课

5月2日

长假无课

5月8日
池化层
 
 
卷积神经网络(LeNet)
 
 
深度卷积神经网络(AlexNet)
 
 
5月9日
使用块的网络(VGG)
 
 
 
网络中的网络(NiN)
 
 
 
含并行连结的网络(GoogLeNet)
 
 
 
5月15日
批量归一化
 
 
 
残差网络(ResNet)
 
 
 
稠密连接网络(DenseNet)
 
 
 

计算机视觉

5月16日
Computational Performance
 
 
 
Compilers and Interpreters
 
 
 
Asynchronous Computation
 
 
 
Automatic Parallelism
 
 
 
5月22日
Hardware
 
 
 
Training on Multiple GPUs
 
 
 
Concise Implementation for Multiple GPUs
 
 
 
Parameter Servers
 
 
 
5月23日
Computer Vision
 
 
 
Image Augmentation
 
 
 
Fine-Tuning
 
 
 
5月29日
Object Detection and Bounding Boxes
 
 
 
Anchor Boxes
 
 
 
Multiscale Object Detection
 
 
 
5月30日
The Object Detection Dataset
 
 
 
Single Shot Multibox Detection (SSD)
 
 
 
Region-based CNNs (R-CNNs)
 
 
 
6月5日
Semantic Segmentation and the Dataset
 
 
 
Transposed Convolution
 
 
 
Fully Convolutional Networks (FCN)
 
 
 
Neural Style Transfer
 
 
 
6月6日
Image Classification (CIFAR-10) on Kaggle
 
 
 
Dog Breed Identification (ImageNet Dogs) on Kaggle
 
 
 

优化算法

6月12日

长假无课

6月13日

长假无课

6月19日
Optimization Algorithms
 
 
 
Optimization and Deep Learning
 
 
 
Convexity
 
 
 
Gradient Descent
 
 
 
Stochastic Gradient Descent
 
 
 
Minibatch Stochastic Gradient Descent
 
 
 
6月20日
Momentum
 
 
 
Adagrad
 
 
 
RMSProp
 
 
 
6月26日
Adadelta
 
 
 
Adam
 
 
 
Learning Rate Scheduling
 
 
 

循环神经网络

6月27日
循环神经网络
 
 
 
序列模型
 
 
 
文本预处理
 
 
 
语言模型和数据集
 
 
 
7月3日
循环神经网络
 
 
 
循环神经网络的从零开始实现
 
 
 
循环神经网络的简洁实现
 
 
 
通过时间反向传播
 
 
 

注意力机制

7月4日
Attention Mechanisms
 
 
 
Attention Cues
 
 
 
Attention Pooling: Nadaraya-Watson Kernel Regression
 
 
 
Attention Scoring Functions
 
 
 
7月10日
Bahdanau Attention
 
 
 
Multi-Head Attention
 
 
 
Self-Attention and Positional Encoding
 
 
 
Transformer
 
 
 

自然语言处理

7月11日
Natural Language Processing: Pretraining
 
 
 
Word Embedding (word2vec)
 
 
 
Approximate Training
 
 
 
The Dataset for Pretraining Word Embedding
 
 
 
7月17日
Pretraining word2vec
 
 
 
Word Embedding with Global Vectors (GloVe)
 
 
 
Subword Embedding
 
 
 
Finding Synonyms and Analogies
 
 
 
7月18日
Bidirectional Encoder Representations from Transformers (BERT)
 
 
 
The Dataset for Pretraining BERT
 
 
 
Pretraining BERT
 
 
 
Natural Language Processing: Applications
 
 
 
7月24日
Sentiment Analysis and the Dataset
 
 
 
Sentiment Analysis: Using Recurrent Neural Networks
 
 
 
Sentiment Analysis: Using Convolutional Neural Networks
 
 
 
Natural Language Inference and the Dataset
 
 
 
7月25日
Natural Language Inference: Using Attention
 
 
 
Fine-Tuning BERT for Sequence-Level and Token-Level Applications
 
 
 
Natural Language Inference: Fine-Tuning BERT