动手学深度学习在线课程
课程更新
所有公告
课程摘要
不论是在学术突破还是在工业应用, 深度学习是人工智能在近十年里进展最为迅速的领域。然而,深度学习模型复杂、参数繁多、而且新模型层出不穷,这给学习带来了难度。
本课程将从零开始教授深度学习。同学们只需要有基础的Python编程和数学基础。我们将覆盖四大类模型:多层感知机、卷积神经网络、循环神经网络、和注意力机制。在此之上,我们将介绍深度学习中的两大应用领域—计算机视觉和自然语言处理—中的典型任务。
本课程的一大特点是不仅讲述模型算法,同时会将每一处细节都讲述如何用PyTorch进行实现。这样同学们可以在真实数据上获得第一手经验。我们将举办四次课程竞赛,让同学们实践学习到的知识如何解决实际问题。
课程内容将紧靠《动手学深度学习》第二版。本书目前已经被近200所大学采用作为教材。我们将在3月20日开始直播。同学们无需注册或缴费就可以参加。敬请期待。
讲师
AWS 资深首席科学家
美国卡内基梅隆大学计算机系博士
课程安排
目前日程安排为暂定安排,会根据实际进度进行调整。部分内容暂时链接到英文版,中文版会随后更新。
深度学习基础
- 3月20日
- 课程安排
-
-
- 深度学习介绍
-
- 安装
-
- 数据操作
- 数据预处理
-
- 3月21日
- 线性代数
- [补充] 按特定轴求和
-
-
-
- 矩阵计算
-
- 自动求导
- 3月27日
- 线性回归
- 基础优化方法
-
-
- 线性回归的从零开始实现
-
- 线性回归的简洁实现
-
- 3月28日
- Softmax 回归
-
- 损失函数
-
-
- 图像分类数据集
-
- Softmax 回归的从零开始实现
-
- Softmax 回归的简洁实现
-
- 4月3日
休课
- 4月4日
休课
- 4月10日
- 感知机
-
-
- 多层感知机
- 多层感知机的从零开始实现
-
- 多层感知机的简洁实现
-
- 4月11日
- 模型选择
-
-
- 欠拟合和过拟合
- 4月17日
- 权重衰减
- Dropout
- 4月18日
- 数值稳定性
- 模型初始化和激活函数
-
-
- 实战 Kaggle 比赛:预测房价
-
- 竞赛 预测房价
-
-
卷积神经网络
- 4月24日
- 模型构造
-
- 参数管理
-
- 自定义层
-
- 读写文件
-
- GPU
-
- 4月25日
休课
- 5月1日
休课
- 5月2日
休课
- 5月8日
休课
- 5月9日
休课
- 5月15日
- 预测房价竞赛总结
-
-
- 从全连接层到卷积
-
- 图像卷积
- 5月16日
- 填充和步幅
- 多输入多输出通道
- 5月22日
- 池化层
- 卷积神经网络(LeNet)
- 5月23日
- 深度卷积神经网络(AlexNet)
- 使用块的网络(VGG)
- 5月29日
- 网络中的网络(NiN)
- 含并行连结的网络(GoogLeNet)
- 5月30日
- 批量归一化
- 残差网络(ResNet)
- 竞赛 图片分类
-
-
计算机视觉
- 6月5日
- 硬件:CPU和GPU
-
- 6月6日
- 更多的专有硬件
-
-
- 多GPU训练
- 6月12日
休课
- 6月13日
休课
- 6月19日
- 多GPU训练的实现
-
- 分布式训练
-
- 6月20日
- 图像增广
- 微调
- 6月26日
- 实战 Kaggle 比赛:图像分类(CIFAR-10)
-
- 实战 Kaggle 比赛:狗的品种识别(ImageNet Dogs)
-
- 6月27日
- 物体检测
-
-
- 边缘框实现
-
- 物体检测数据集
-
- 锚框
- 竞赛 树叶分类竞赛总结
-
-
- 7月3日
- 区域卷积神经网络(R-CNNs)
-
- 单发多框检测(SSD)
-
-
- 你只看一次(YOLO)
-
-
- 7月4日
- 多尺度物体检测实现
-
- SSD 实现
-
- 7月10日
- 语义分割
-
-
- 语义分割数据集
-
- 转置卷积
- 转置卷积是一种卷积
- 7月11日
- 全连接卷积神经网络(FCN)
- 样式迁移
- 竞赛 目标检测
-
-
循环神经网络
- 7月17日
- 序列模型
- 文本预处理
-
- 7月18日
- 语言模型和数据集
- 循环神经网络
-
- 7月24日
- 循环神经网络的从零开始实现
-
- 循环神经网络的简洁实现
-
- 7月25日
- 门控循环单元(GRU)
- 长短期记忆网络(LSTM)
- 深层循环神经网络
- 双向循环神经网络
- 7月31日
休课
- 8月1日
休课
- 8月7日
- 机器翻译与数据集
-
- 编码器-解码器结构
- 序列到序列学习(seq2seq)
- 束搜索
-
注意力机制
- 8月8日
- 注意力机制
- 注意力分数
- 使用注意力机制的seq2seq
- 8月14日
- 自注意力和位置编码
- Transformer
- 8月15日
- BERT
- BERT预训练数据集
-
- 预训练BERT
-
- 微调BERT
-
- 自然语言推理和数据集
-
- 自然语言推理:微调BERT
-
- 竞赛 目标检测总结
-
-
- 8月21日
- 优化算法
-
- 课程总结和进阶学习
-
-