Link Search Menu Expand Document

动手学深度学习在线课程

课程更新

第六周

因为5月8日调休,考虑到单休周大家可能事会比较多,所以这周仍然停课。课程竞赛截止日期不变,仍然是5月9号中午12:00(也就是kaggle上显示时间)。周日会在B站介绍基线automl模型。

所有公告

课程摘要

课时2021年3月20日 — (预计)7月
直播时间北京时间每周六、日下午 1:00 — 2:30
直播地址 机器之心
视频回放 B站
教材 zh-v2.d2l.ai

不论是在学术突破还是在工业应用, 深度学习是人工智能在近十年里进展最为迅速的领域。然而,深度学习模型复杂、参数繁多、而且新模型层出不穷,这给学习带来了难度。

本课程将从零开始教授深度学习。同学们只需要有基础的Python编程和数学基础。我们将覆盖四大类模型:多层感知机、卷积神经网络、循环神经网络、和注意力机制。在此之上,我们将介绍深度学习中的两大应用领域—计算机视觉和自然语言处理—中的典型任务。

本课程的一大特点是不仅讲述模型算法,同时会将每一处细节都讲述如何用PyTorch进行实现。这样同学们可以在真实数据上获得第一手经验。我们将举办四次课程竞赛,让同学们实践学习到的知识如何解决实际问题。

课程内容将紧靠《动手学深度学习》第二版。本书目前已经被近200所大学采用作为教材。我们将在3月20日开始直播。同学们无需注册或缴费就可以参加。敬请期待。

讲师

李沐

AWS 资深首席科学家
美国卡内基梅隆大学计算机系博士

课程安排

目前日程安排为暂定安排,会根据实际进度进行调整。部分内容暂时链接到英文版,中文版会随后更新。

深度学习基础

3月20日
课程安排
 
 
深度学习介绍
 
安装
 
数据操作
数据预处理
 
3月21日
线性代数
[补充] 按特定轴求和
 
 
 
矩阵计算
 
自动求导
3月27日
线性回归
基础优化方法
 
 
线性回归的从零开始实现
 
线性回归的简洁实现
 
3月28日
Softmax 回归
 
损失函数
 
 
图像分类数据集
 
Softmax 回归的从零开始实现
 
Softmax 回归的简洁实现
 
4月3日

长假无课

4月4日

长假无课

4月10日
感知机
 
 
多层感知机
多层感知机的从零开始实现
 
多层感知机的简洁实现
 
4月11日
模型选择
 
 
欠拟合和过拟合
4月17日
权重衰减
Dropout
4月18日
数值稳定性
模型初始化和激活函数
 
 
实战 Kaggle 比赛:预测房价
 
竞赛 预测房价
 
 

卷积神经网络

4月24日
模型构造
 
参数管理
 
自定义层
 
读写文件
 
GPU
 
4月25日

长假无课

5月1日

长假无课

5月2日

长假无课

5月8日

长假无课

5月9日

长假无课

5月15日
从全连接层到卷积
 
 
图像卷积
 
填充和步幅
 
多输入多输出通道
 
5月16日
池化层
 
卷积神经网络(LeNet)
 
深度卷积神经网络(AlexNet)
 
 
5月22日
使用块的网络(VGG)
 
 
 
网络中的网络(NiN)
 
 
 
含并行连结的网络(GoogLeNet)
 
 
 
5月23日
批量归一化
 
 
 
残差网络(ResNet)
 
 
 
竞赛 图片分类
 
 
 
 

计算机视觉

5月29日
Computational Performance
 
 
 
Compilers and Interpreters
 
 
 
Asynchronous Computation
 
 
 
Automatic Parallelism
 
 
 
5月30日
Hardware
 
 
 
Training on Multiple GPUs
 
 
 
Concise Implementation for Multiple GPUs
 
 
 
Parameter Servers
 
 
 
6月5日
Computer Vision
 
 
 
Image Augmentation
 
 
 
Fine-Tuning
 
 
 
6月6日
Image Classification (CIFAR-10) on Kaggle
 
 
 
Dog Breed Identification (ImageNet Dogs) on Kaggle
 
 
 
6月12日

长假无课

6月13日

长假无课

6月19日
Object Detection and Bounding Boxes
 
 
 
Anchor Boxes
 
 
 
Multiscale Object Detection
 
 
 
6月20日
The Object Detection Dataset
 
 
 
Single Shot Multibox Detection (SSD)
 
 
 
Region-based CNNs (R-CNNs)
 
 
 
6月26日
Semantic Segmentation and the Dataset
 
 
 
Transposed Convolution
 
 
 
Fully Convolutional Networks (FCN)
 
 
 
Neural Style Transfer
 
 
 
竞赛 目标检测
 
 
 
 

优化算法

6月27日
Optimization Algorithms
 
 
 
Optimization and Deep Learning
 
 
 
Convexity
 
 
 
Gradient Descent
 
 
 
Stochastic Gradient Descent
 
 
 
Minibatch Stochastic Gradient Descent
 
 
 
7月3日
Momentum
 
 
 
Adagrad
 
 
 
RMSProp
 
 
 
7月4日
Adadelta
 
 
 
Adam
 
 
 
Learning Rate Scheduling
 
 
 

循环神经网络

7月10日
循环神经网络
 
 
 
序列模型
 
 
 
文本预处理
 
 
 
语言模型和数据集
 
 
 
7月11日
循环神经网络
 
 
 
循环神经网络的从零开始实现
 
 
 
循环神经网络的简洁实现
 
 
 
通过时间反向传播
 
 
 

注意力机制

7月17日
Attention Mechanisms
 
 
 
Attention Cues
 
 
 
Attention Pooling: Nadaraya-Watson Kernel Regression
 
 
 
Attention Scoring Functions
 
 
 
7月18日
Bahdanau Attention
 
 
 
Multi-Head Attention
 
 
 
Self-Attention and Positional Encoding
 
 
 
Transformer
 
 
 

自然语言处理

7月24日
Natural Language Processing: Pretraining
 
 
 
Word Embedding (word2vec)
 
 
 
Approximate Training
 
 
 
The Dataset for Pretraining Word Embedding
 
 
 
7月25日
Pretraining word2vec
 
 
 
Word Embedding with Global Vectors (GloVe)
 
 
 
Subword Embedding
 
 
 
Finding Synonyms and Analogies
 
 
 
7月31日
Bidirectional Encoder Representations from Transformers (BERT)
 
 
 
The Dataset for Pretraining BERT
 
 
 
Pretraining BERT
 
 
 
Natural Language Processing: Applications
 
 
 
8月1日
Sentiment Analysis and the Dataset
 
 
 
Sentiment Analysis: Using Recurrent Neural Networks
 
 
 
Sentiment Analysis: Using Convolutional Neural Networks
 
 
 
Natural Language Inference and the Dataset
 
 
 
8月7日
Natural Language Inference: Using Attention
 
 
 
Fine-Tuning BERT for Sequence-Level and Token-Level Applications
 
 
 
Natural Language Inference: Fine-Tuning BERT