计算机视觉(ComputerVision)

2021春 主讲教师:欧新宇教授

课程简介及教学内容


本课程课堂讲授(含实验)约96学时(6学分),同时包含28个学时(0.5学分)的实训学时(1周)。 主要包括:基于深度学习的计算机视觉的主要应用介绍,同时介绍了经典卷积神经网络模型(LeNet, AlexNet, VGGNet, GoogLeNet, ResNet),以及生成模型(生成对抗模型)和循环神经网络的基本知识。最后,详细介绍了计算机视觉中的两个重点任务目标检测(Detection)和图像分割(Segmentation),其中目标检测中介绍了两个重要系列RCNN和Yolo,图像分割详细介绍了两个经典模型FCN和DeepLab。

本课程网站提供《计算机视觉》(71094327)的所有资源,包括在线教案、课堂PPT、相关论文、习题及其他相关资源。 教学过程相关的考勤、作业提交、课堂练习、期末测验将使用 课堂派平台, 请各位同学使用实名(学号)加入课程。在使用方面有疑问的同学可以参考 使用手册—学生版。 加入课程请扫描二维码,或注册后使用加课码加入: 课程二维码及课程码。本课程从2020年9月开始执行。


授课时间:星期二(下午5-6节)、星期三(上午1-4节)
教室:秋实苑A306
教学文件: 教学大纲 考核说明 教学进度计划[2021春]
数据集:本课程用到的所有第三方数据集
腾讯课堂直播(含回放):点击访问

注意:

1. 本课程所有 [Notebook] 均可保存为PDF格式离线浏览,并欢迎进行转发(请保留版权)。

2. 本课程有少量图片来源于互联网,若存在版权问题,请及时与我联系。

Event Type Date Description Course Materials
  • Lecture00
  • Week1-1
  • 《计算机视觉》课程导学 (2课时)
  • 1. 课程定位
  • 2. 课程学时及主要内容
  • 3. 课程组织形式
  • 4. 课程作业及考核
  • 5. 学习建议
  • Discussion
  • Python机器学习环境安装和配置 [Notebook]
  • Lecture01
  • Week1-2
  • 计算机视觉概述(4课时)
  • 1. 计算机视觉概述
  • 2. 计算机视觉简史
  • 3. 计算机视觉的主要任务
  • Lecture02
  • Week2
  • Week3
  • Week4
  • Lecture03
  • Week5
  • Week6
  • 生成模型 (12课时)
  • 1. 监督学习和无监督学习
  • 2. 生成模型
  • 3. PixelRNN和PixelCNN
  • 4. 变分自动编码机(自动编码机)
  • 5. 生成对抗网络
  • Lecture04
  • Week7
  • Week8
  • Week9
  • Week10
  • Week11
  • 基于深度学习的目标检测 (30课时)
  • 1. 目标检测概述
  • 2. 传统目标检测
  • 3. 目标检测关键技术(Anchor,FPN,NMS)
  • 4. 基于两阶段方法的目标检测(R-CNN,SPP-Net,Fast-RCNN,
    Faster-RCNN,FPN,Cascade R-CNN,Libra R-CNN)
  • 5. 基于一阶段方法的目标检测
  • 6. 基于Anchor-Free的目标检测
  • 7. Beyond 2D目标检测
  • 8. [实践一] PaddelDetection实践(路标识别)
  • Lecture05
  • Week12
  • Week13
  • Week14
  • Week15
  • 基于深度学习的图像分析(24课时)
  • 1. 图像分割的基本概念
  • 2. 传统图像分割方法
  • 3. 基于卷积神经网络的图像分割
  • 4. 图像检索
  • 5. 目标跟踪
  • 6. 其他经典图像分析任务:细粒度识别、风格迁移、
    标题生成、超分辨率、医学图像分析、文字检测与识别
  • 7. [实践一] 场景解析
  • 8. [实践二] 人脸解析
  • 9. [实践三] 风格迁移
  • Lecture06
  • Week16
  • 基于深度学习的视频内容理解 (4课时)
  • 1. 视频理解概述
  • 2. 原子视觉行为
  • 3. 基于视频的检索
  • 4. 常见的视频理解模型
  • Lecture07
  • (自学)
  • 循环神经网络RNN (0课时)
  • 1. 循环神经网络简介
  • 2. 长期依赖LSTM和门控RNN
  • 3. 双向RNN
  • 4. 序列到序列结构Seq2Seq
  • 5. 实践:电影评论情感分析
  • Exams
  • Week16-2

实训进度计划表

Event Type Date Description Course Materials
  • 项目一:鸢尾花识别
  • Day01
  • 【实训目的】
  • 1. 学会在Baidu AI Studio(http://aistudio.baidu.com/)上创建项目,并加入课程
  • 2. 学会Jupyter Notebook的基本使用方法,包括基本的Markdown Cell和Code Cell的创建和编辑
  • 3. 学会使用函数编程法完成所有代码的编写
  • 4. 学会使用机器学习算法完成鸢尾花识别任务
  • 【实训任务】
  • 1. 构建一个模型,根据鸢尾花的花萼长度、花萼宽度、花瓣长度和花瓣宽度,使用训练集对鸢尾花进行建模
  • 2. 对模型进行评分,输出测试集的精度
  • 3. 使用模型将一朵鸢尾花分为三种不同的品种
  • 4. 完善给出的代码
  • 5. 将完整的代码和运行结果在AIStudio平台进行提交
  • 项目二:手写数字识别
  • Day02 ~ Day05
  • 【实训目的】
  • 1. 进一步Baidu AI Studio平台
  • 2. 熟练使用Jupyter Notebook的基本使用方法,包括基本的Markdown Cell和Code Cell的创建和编辑
  • 3. 熟练使用函数化编程方法,并学会如何对函数进行基本的调试
  • 4. 学会使用机器学习算法完成手写字体的识别
  • 5. 学会从指定文件夹中读取图片,并将处理好的图片保存到指定文件夹中
  • 6. 学会将训练好的模型保存到指定文件夹
  • 7. 学会载入保存在指定文件夹中的模型,并能够利用载入的模型对样本进行预测
  • 【实训任务】
  • 1. 构建一个模型(使用20%的样本),根据0~9的数字的像素特征进行建模
  • 2. 对模型进行评分,输出测试集(10000副测试图片)的精度(任务一)
  • 3. 使用模型对保存到文件夹中图片进行预测(任务二)
  • 4. 完善所有代码,同时进一步完善Notebook,将其输出为《实训报告正文》
  • 5. 将完整的代码和运行结果在AIStudio平台进行提交