Python + 人工智能 AI 进阶班课程
课程介绍
人工智能是当前乃至未来时代热门的技术之一，已在全球范围内掀起了研究与学习热潮。 本课程由传智研究院匠心打造，课程知识体系完备，从简明的 python 语言开始，到机器学习，再到 AI 的两大应用方向：计算机视觉（CV）和自然语言处理（NLP），几乎包含了当下AI就业市场的需求。同时，课程学习曲线设计平滑，根据学习者对知识的消化吸收情况，循序渐进增强自身的AI技能。
课程收获
能够熟练掌握 Python 开发的通用技术和框架，具备人工智能领域内机器学习，深度学习，计算机视觉和自然语言处理业务分析及开发的能力，同时培养学生使用AI算法构建业务流的能力和针对特定算法进行实用化、拓展化的再创新能力，从而足以胜任算法工程师等相关AI职位。
课程大纲
| 人工智能AI进阶班--基础班课程大纲 | |||
| 所处阶段 | 主讲内容 | 技术要点 | 学习目标 |
| 第1阶段： python基础编程 |
Python第一个程序 | 变量、标识符和关键字、输入和输出、数据类型转换 | 可掌握的核心能力： 掌握Python基础语法, 具备基础的编程能力。 可解决的现实问题： |
| 条件控制语句和循环语句 | 比较关系运算符、逻辑运算符、三目运算符、while循环、for循环、break和continue | ||
| 容器类型 | 列表、元组、字典、有序字典、公共函数、字符串 | ||
| 函数 | 函数的定义和调用、不定长参数函数、匿名函数、递归函数、可变和不可变类型 | ||
| 文件操作 | 文件打开和关闭、文件的读写、os模块文件与目录相关操作、文件应用案例 | ||
| 人工智能AI进阶班--就业班课程大纲 | |||
| 所处阶段 | 主讲内容 | 技术要点 | 学习目标 |
| 第二阶段 ： python高级和系统编程 |
面向对象 | 面向对象介绍、类的定义和对象的创建、添加和获取对象属性、init方法、私有方法和私有属性、继承、多态、类方法、对象方法、静态方法 | 可掌握的核心能力： 1、能够熟练掌握Python的进阶语法的使用； 2、掌握logging模块，能够进行日志处理； 3、掌握Python中的re模块的使用, 能够实现对字符串进行复杂模式匹配； 4、能够理解与掌握基础的数据结构和算法思想，具备编程解决问题的能力。 可解决的现实问题： |
| 异常处理 | 捕获异常、异常的传递、自定义异常 | ||
| 模块和包 | 模块介绍、模块的导入、模块中的 __all__、模块中 __name__ 的作用、包的介绍、包的导入 | ||
| Python高级语法 | property属性、with语句和上下文管理器、闭包、装饰器、迭代器、生成器、深拷贝与浅拷贝、Python内存管理、垃圾回收 | ||
| Python常用标准库 | sys模块、logging模块、正则表达式的介绍、re模块的使用、正则表达式的演练 | ||
| 案例：员工管理系统 | 显示菜单、新建名片、删除名片、修改名片、查看名片、退出系统 | ||
| 数据结构与算法 | 时间复杂度、空间复杂度、Python内置类型性能分析、顺序表；链表：链表和链表的应用；队列：队列概念、队列的实现与应用、双端队列；排序和搜索算法：冒泡排序、选择排序、插入排序、快速排序、搜索、常见算法效率；散列表；二叉树：树的引入、二叉树、二叉树的遍历、二叉树扩展。 | ||
| Linux系统使用 | CentOS操作系统介绍与使用、Linux命令使用、Linux命令选项的使用、远程登录和远程拷贝、vi编辑器使用、CentOS软件安装和软件卸载 | 可掌握的核心能力： 1、能够熟练使用Linux操作系统； 2、掌握网络编程相关技术, 能够实现网络间数据通信； 3、掌握程序设计开发中多任务实现方式。 可解决的现实问题： |
|
| 网络编程 | IP地址的介绍、端口和端口号的介绍、socket的介绍、基于TCP通信程序开发 | ||
| 多任务编程 | 多任务介绍、进程的使用、线程的使用、线程同步与互斥锁、死锁介绍、协程的使用、进程线程协程的对比 | ||
| Web基础应用：HTTP协议 | HTTP协议介绍、HTTP通讯过程、curl命令使用、urllib与requests模块使用 | 可掌握的核心能力： 1、能够理解HTTP通讯； 2、能够理解前端开发技术； 3、能够掌握基本的Web后端开发技能。 可解决的现实问题： |
|
| Web基础应用：前端基础 | HTML概述及基本结构、HTML标签介绍、CSS载入方式、CSS属性入门、JavaScript语法介绍、jQuery介绍、JSON、AJAX | ||
| AI开发所需Web应用：Django框架 | Django框架简介和MVT设计模式;Django工程搭建：环境安装、创建工程和子应用、定义视图和路由;Django工程配置：配置文件的使用、路由匹配、路由定义的位置和解析的顺序、静态文件、展示静态文件 | ||
| 取URL查询参数、提取请求体数据、提取请求头数据、其他常用请求对象属性；响应HttpResponse：HttpResponse的使用、JsonResponse的使用;RESTful API风格介绍；前端和后端接口对接 | |||
| 第三阶段： 机器学习 |
科学计算库 | 人工智能概述、机器学习定义、机器学习工作流程； 机器学习算法分类、算法模型评估、Azure机器学习平台实验、机器学习基础环境安装与使用 |
可掌握核心能力： 1、掌握数据科学库的使用； 2、掌握数据基本处理的方法。 可解决的现实问题： |
| Matplotlib库使用：Matplotlib架构介绍、Matplotlib基本功能实现、Matplotlib实现多图显示、Matplotlib绘制各类图形 | |||
| Numpy库使用：Numpy运算优势、数组的属性、数组的形状、Numpy实现数组基本操作、Numpy实现数组运算 | |||
| Scipy使用：常数和特殊函数、拟合与优化、线性代数（含方程组求解）、数值积分和插值 | |||
| pandas库使用：pandas基本数据操作、DataFrame、Series、MultiIndex、panel、pandas画图、文件读取和存储、缺失值处理、数据离散化、数据合并、交叉表和透视表、分组和聚合；案例：电影数据分析 | |||
| 数学及统计初步及Python库实现：统计学习（比较检验/假设检验/交叉验证t检验）； 混淆矩阵相关（错误率与精度/查准率/查全率） |
|||
| 数值计算方法初步及Python库实现：线条抽样、牛顿及拟牛顿法、拉格朗日对偶性；曲线拟合（含插值及多项式逼近） | |||
| 数值计算方法初步及Python库实现：矩阵相关计算 | |||
| 机器学习 （算法篇） |
sklearn介绍、sklearn获取数据集、seaborn介绍、数据可视化、数据集划分 | 可掌握核心能力： 1、掌握机器学习中处理数据的方法； 2、理解经典的机器学习算法原理； 3、掌握机器学习中工作的具体流程。 可解决的现实问题： 市场价值： |
|
| 特征工程与模型优化：特征工程、特征预处理、归一化、标准化、特征选择、特征降维；交叉验证、网格搜索模型保存和加载、欠拟合、过拟合 | |||
| KNN算法api及kd树及稀疏存储；欧式距离、曼哈顿距离、切比雪夫距离、闵氏距离、标准化欧式距离、余弦距离、汉明距离、杰卡德距离、马氏距离、KNN中k值的选择、kd树；案例：鸢尾花种类预测 | |||
| 线性回归概念和api与原理剖析；损失函数:误差平方和，交叉熵；梯度下降算法：FGD、SGD、mini-batch、SAG；模型优化：数据归一化、优化器的选择；正则化线性模型：Lasso回归、岭回归、Elastic Net；线性回归算法案例：波士顿房价预测 | |||
| 逻辑回归概念api和原理：判定边界、动态规划、sigmoid、对数似然损失； 二分类问题：ROC曲线、AUC指标、ROC曲线的绘制； 案例：癌症分类预测 |
|||
| 决策树算法原理和api使用：基本流程/划分选择、信息增益/增益率/基尼指数； 决策树的构建和剪枝：剪枝处理/预剪枝/后剪枝/ID3/CART； 条件熵和交叉熵：连续与缺失值处理、多变量决策树、熵的计算； 案例：泰坦尼克号乘客生存预测优化 |
|||
| 朴素贝叶斯原理和api函数：半朴素贝叶斯分类器、贝叶斯网、马尔科夫毯； 概率分布：多项式分布、高斯分布、条件概率、贝叶斯编程及A/B测试； 朴素贝叶斯案例：情感分析、垃圾邮件及答案的标注 |
|||
| SVM算法原理：感知机学习策略及算法收敛性、线性可分及异或不可分、对偶问题及KKT、SMO算法、软间隔与正则化、支持向量回归； 核函数：最简单的核函数距离、相似性函数、常用核函数（GBF和Gassian）、核函数对比 SVM案例：红酒口感预测及对比分析；病理诊断及分析预测 |
|||
| 聚类算法：kmeans流程和质心、EM算法原理及高斯混合模型 评价指标及优化：内部指标、外部指标、优化方法（二分kmeans，kmeans++）、SC系数/CH系数 聚类算法案例：探究用户对物品类别的喜好细分，对地图上的点进行聚类 |
|||
| 集成学习与bagging：随机森林概述、训练算法 AdaBoost算法和使用：训练误差分析、广义加法模型 各种AdaBoost算法：离散型AdaBoost、实数型AdaBoost、LogitBoost、Gentle型AdaBoost；实现：弱分类器的选择、样本权重削减 案例实践：手写数字图片识别 |
|||
| 马尔可夫链蒙特卡罗：采样、蒙特卡罗、建议分布，马尔可夫链、Metropolis-Hastings算法、模拟退火、Gibbs采样 案例：睡眠数据案例分析 |
|||
| 图模型：近似推断、创建贝叶斯网络；马尔可夫随机场；隐马尔可夫模型：前向算法、Viterbi算法、Baum-Welch或前向后向算法；跟踪方法：卡尔曼滤波 、粒子滤波 | |||
| 高斯过程回归：添加噪声、高斯过程回归的实现、学习参数； 高斯过程分类：拉普拉斯近似、计算后验、高斯过程分类的实现； 高斯综合案例实践 |
|||
| 机器学习项目实训 | 1、《绝地求生》玩家排名预测 2、客户价值分析系统 |
||
| 第四阶段 ： 深度学习与图像与视觉处理（CV） |
神经网络 | 神经网络基础：神经网络：感知机、与、或、异或问题；softmax 反向传播原理：批量学习和在线学习、反向传播算法、改善反向传播算法性能的试探法 案例：实现多层神经网络 |
可掌握核心能力： 1、熟悉深度学习主要及前沿网络模型的架构原理及在实际业务场景中的应用； 2、掌握深度学习在计算机视觉中的应用，包括但不限于分割检测识别等等； 3、掌握实际工作中深度学习的具体流程，数据及标注处理，建模训练，及模型部署应用等。 可解决的现实问题： 市场价值： |
| TensorFlow框架 | Tensorflow框架基础：图、会话、张量、OP Tensorflow高级API：数据读取tf.data、模型tf.kears、训练tf.MirroedStrategy、导出tf.SavedModel等API应用" |
||
| 图像与视觉处理介绍 | 计算机视觉定义、计算机视觉发展历史；计算机视觉技术和应用场景、计算机视觉知识树和几大任务 | ||
| 目标分类和 经典CV网络 |
CNN：感受野、卷积、零填充、过滤器大小、多通道卷积、全连接层 | ||
| 卷积网络结构：LeNet5、AlexNet、VGG、Inception、GoogleNet、残差网络 | |||
| 深度学习正则化与算法优化：L1、L2、DroupOut、BN、SGD、RMSProp、Adagrad、Adam | |||
| TF分布式训练：TF Strategy；迁移学习：TensorFlow HUB | |||
| 模型压缩：模型剪枝、参数压缩、二进制网络 | |||
| 目标分类实战案例：ImageNet分类；Apache Flink极客挑战赛——垃圾图片分类 | |||
| 目标检测和经典CV网络 | 目标检测任务与数据集介绍：检测任务目的、常见数据集、应用场景 | ||
| RCNN：交并比、map、非极大抑制NMS、正负样本；SPPNet：SPP层映射 | |||
| FastRCNN：ROI Pooling；FasterRCNN：RPN、代价函数、训练流程与结果分析、FPN与FasterRCNN结合 | |||
| YOLOv1、YOLOv2、YOLOv3：结构与工作流程、代价函数、anchor、维度聚类、细粒度与多尺度特征、先验框与代价函数 | |||
| SSD：Detector & classifier、SSD代价函数、特征金字塔 | |||
| 目标检测实战案例：COCO数据集上目标检测 | |||
| 目标分割和经典CV网络 | 目标分割任务类型、数据集 | ||
| 全卷积FCN网络：网络结构、跳级连接、语义分割评价标准、结果分析 | |||
| U-Net：拼接特征向量；Dilated Convolutions：聚合多尺度的信息、context module | |||
| PSPNet：金字塔池化模块；Deeplab：串行部署 ASPP | |||
| Mask-RCNN：结构介绍、ROI Align与Pooling对比、代价函数介绍、端到端联合训练 | |||
| 目标分割实战案例 | |||
| OpenCV库与图像处理基础 | 基本的OpenCV代码、IplImage数据结构、读写图像 | ||
| 基本的灰度变换函数 ：灰度直方图、灰度的线性变换、灰度对数变换、伽玛变换、灰度阈值变换、分段线性变换 | |||
| 直方图处理：图像矩特征点度量特征、全局直方图、局部区域直方图、散点图和3D直方图、OpenCV实践 | |||
| 几何变换：翻转、剪裁、遮挡、图像算数、图像金字塔、OpenCV几何变换操作 | |||
| 形态学：形态学定义、连通性、二值操作、平滑、梯度、纹理分割及OpenCV实践 | |||
| OpenCV库与图像处理进阶 | 边缘检测技术：边缘检测的目的和模型、噪声、导数算子、Marr-Hildreth边缘检测器、基于模板的边缘检测、Canny Edge边缘检测器、Shen-Castan(ISEF)边缘检测器、彩色边缘、OpenCV边缘检测操作 | ||
| 特征检测和描述：哈里斯角点检测、Shi-Tomasi角落探测器、SIFT、SURF、FAST、ORB、霍夫变换 | |||
| 视频操作：读取摄像头、读取视频、视频写入 | |||
| 空间滤波：平滑空间滤波器、锐化空间滤波器、拉普拉斯算子、空间滤波综合及OpenCV实践 | |||
| OpenCV综合实战案例 | |||
| cv综合案例实训 | 热点垃圾分类、火焰及险情识别检测、水果识别分类、手势姿态识别估计 | ||
| 第五阶段： 深度学习与自然语言处理（NLP） |
pytorch工具与神经网络基础 | pytorch入门：pytorch的介绍、安装、张量概念、基本运算 | 可掌握核心能力： 1、掌握pytorch的安装和使用； 2、理解神经网络涉及的关键点。 可解决的现实问题： |
| 神经网络基础：神经网络介绍；感知机、梯度、反向传播；梯度、反向传播 | |||
| 数据操作：数据加载器、迭代数据集 | |||
| 使用pytorch完成手写字识别 | |||
| 自然语言处理NLP介绍 | NLP介绍：对话系统简介、NLU简介、文本生成简介、机器翻译简介、实际应用场景：智能客服、翻译、机器人写作、作文打分 | 可掌握核心能力： 1、掌握NLP领域前沿的技术解决方案； 2、掌握NLP相关知识的原理和实现； 3、掌握传统序列模型的基本原理和使用； 4、掌握非序列模型解决文本问题的原理和方案。 可解决的现实问题： 市场价值： |
|
| 自然语言处理NLP开发HelloWorld案例 | 从法语到英语的翻译模型:获取数据集与数据处理,模型构建（构建编码器类、构建解码器类、构建解码器端的注意力机制类）,模型训练与评估 | ||
| 文本预处理 | 常见文本分析方案和工具；常用的文本向量化方法、word2vec原理、工具、Embedding层、文本对齐：文本对齐的原因、依据、工具；文本数据增强：数据增强方法、工具 | ||
| RNN及变体 | RNN结构解析、优缺点；LSTM结构解析、作用、实现剖析；bi-LSTM的解析与实现；GRU结构解析、作用、实现；bi-GRU的解析与实现；seq2seq框架介绍、seq2seq中使用bi-GRU | ||
| 案例：训练生成莎士比亚风格文章的模型 | |||
| Transfomer | Attention机制原理、作用、实现；self-attention机制的原理、作用、实现；Multi-head attention原理、作用、实现；positional encoding；Transfomer实现 | ||
| 案例：训练区分Quora中非真实问题的文本分类器 | |||
| 传统的序列模型 | HMM原理、实现、优劣势；ME原理、实现、优劣势；CRF原理、实现、优劣势 | ||
| 非序列模型解决文本问题 | ID-CNN原理、结构、实现；fasttext原理、结构、实现 | ||
| 案例：使用膨胀卷积+CRF实现命名实体识别 | |||
| 第六阶段： 项目阶段 |
项目阶段之：实时人脸识别检测项目（CV） | ||
| 人脸识别项目是一个基于深度学习的可通过实时摄像头采集视频人脸数据，也可以进行批量图片输入进行批量自动化识别人脸，对于视频输入，可实现人脸的跟踪，标注姓名，性别，情绪（开心，生气，自然）等信息并对进入视频的陌生人进行报警的系统实战项目。 | |||
| 技术亮点： 1、数据库管理，可随时查询人脸库中的人脸信息，或对特定的人脸信息进行修改、删除等操作； 2、人脸检测：扫描”加“判别”在图像范围内扫描，再逐个判定候选区域是否是人脸； 3、状态判别：识别出人脸的性别、表情等属性值的一项技术,最新的一些基于深度学习的人脸属性识别也具有一个算法同时输入性别、年龄、姿态等属性值的能力； 4，人脸识别：识别出输入人脸图对应身份的算法,它的输入一个人脸特征，通过和注册在库中N个身份对应的特征进行逐个比对，找出“一个”与输入特征相似度最高的特征，否则返回“不在库中”并进行报警。 能掌握的技术： |
|||
| 章节 | 课程 | 知识点 | |
| 1 | 项目概述 | 系统架构设计、项目关键技术说明 | |
| 项目业务需求分析、项目业务流程设计 | |||
| 2 | 环境部署 | 系统介绍项目开发环境概述、DLib框架源码编译、项目工程文件创建 | |
| 项目开发环境配置、项目性能优化设置 | |||
| 基于PyQt5的GUI编程模块及信号槽机制 | |||
| 人脸识别解决方案分析及数据源处理 | |||
| 3 | 人脸识别项目流程方案 | 业务理解，任务拆解 | |
| 目标检测模型实现 | |||
| 目标关键点模型实现:输入标注数据、数据预处理、数据增强 | |||
| 人脸校正实现及目标条件分析 | |||
| 识别模型实现：人脸对齐、人脸比对和活体检测等全部技术环节的代码设计、运行演示和执行结果输出 | |||
| 模型验证：检测、关键点回归、识别验证方案 | |||
| 4 | 人脸识别核心技术 | 基于Dlib与OpenCV等的核心技术流梳理 | |
| 实时人脸特征点对齐，人脸比对的实现 | |||
| 实时活体检测：眨眼与张嘴实现 | |||
| 实时视频采集及图片抓拍的实现 | |||
| 实现视频抓拍：逐帧抓取，逐帧识别 | |||
| 人脸检测HOG及特征点检测ERT | |||
| 5 | 静态人脸识别系统 | 通用形变模型的创建：轮廓特征点的选取及变形模型 | |
| 人脸局部特征探测：逐步求精定位法 | |||
| 数学算子及模板的构建和探测：眼睛，嘴巴和鼻子模型 | |||
| 人脸图像的双属性图 | |||
| 6 | 动态人脸识别系统 | 动态人脸识别系统框架及马尔科夫训练模型 | |
| Hausdorff距离的动态人脸图像定位 | |||
| 特征子空间与动态图像分割 | |||
| 人脸区域检测和人脸特征点标定的算法实现机制 | |||
| 动态人脸图像识别中外界影响的处理 | |||
| 6 | 模型训练及测试 | 人脸区域特征样本标注 | |
| 人脸检测模型训练及测试 | |||
| 人脸特征点样本标注 | |||
| 人脸特征点模型训练及测试 | |||
| 人脸识别之EigenFace | |||
| 人脸识别之FisherFace及Gabor算法 | |||
| 人脸识别之LBPH | |||
| 7 | 项目总结 | PCA、ICA、LDA和EP在人脸识别上的应用优劣比较总结 | |
| Dlib人脸检测器模块优化提升方法总结 | |||
| 整体方案前向推断集成总结 | |||
| 局部特征分析技术，模板匹配，图匹配技术优化方案总结 | |||
| 智能交通项目（CV） | |||
| 智能交通项目是一个可跟踪路面实时车辆通行状况，并逐帧记录不同行车道车流量数目的深度学习项目，“车辆自动计数系统”由计数系统、图像抓拍系统、实时监控录像系统组成，在视频中可看出每个车辆的连续帧路径，该项目可拓展性强，可根据企业业务外接计费结算系统、LED显示系统、语音播报系统、供电防雷系统等。 | |||
| 技术亮点: 1、利用卡尔曼滤波最优滤波方程对建立的交通流系统状态方程、观测方程； 2、采用背景差分法对在检测区的车辆进行检测和跟踪； 3、利用DGPS/DR组合车辆定位中各子系统的模型对车辆定位提高精度； 4，利用Haar Adaboost 自定义目标检测对过往的车辆进行检测、计数和分类。 能掌握的技术： |
|||
| 章节 | 课程 | 知识点 | |
| 1 | 项目概述 | 系统架构设计、项目关键技术说明 | |
| 项目业务需求分析、项目业务流程设计 | |||
| 2 | 环境部署 | 系统介绍项目开发环境概述、Tensorflow框架、项目工程文件创建 | |
| 项目开发环境配置、项目性能优化设置 | |||
| 视频数据源的Python读入及逐帧识别 | |||
| 交通流量解决方案分析及数据源处理 | |||
| 3 | 智能交通项目流程方案 | 业务理解，任务拆解 | |
| 目标检测模型实现 | |||
| 图像理解框架及马尔方法 | |||
| 图像视频理解：运动目标检测与跟踪主流工程实践方法 | |||
| 视频背景建模与前景选取实践 | |||
| 4 | 车辆跟踪核心技术 | 背景建模实现：基于视频的运动目标分割 | |
| 前景探测：运动目标车辆的检测与跟踪 | |||
| 基于光流的目标跟踪实践 | |||
| 基于均值偏移的目标跟踪实践 | |||
| 基于粒子滤波的目标跟踪实践 | |||
| 卡尔曼滤波实践 | |||
| 5 | 流量统计核心技术 | 首先采用背景差分法和卡尔曼滤波算法对在检测区的车辆进行检测和跟踪; | |
| 使用经过检测、处理的被测车辆图像触发距其最近的相机进行图形分割; | |||
| 通过LDA分类器对分段车辆的几何形状及外观特征进行正确地分类. | |||
| 实现滤波,参照DELOS算法实现对城市快速路的事故检测 | |||
| 6 | 模型训练及项目主流程 | 车辆区域特征样本标注 | |
| 车辆检测模型训练及测试 | |||
| 深度学习CNN建模，建立车辆分类器 | |||
| 系统逐帧采集视频图像并检测车辆 | |||
| 为检测到每个车辆目标初始化卡尔曼滤波器，通过卡尔曼滤波器逐帧匹配目标进行位置预测； | |||
| 对比检测位置与预测位置，逐帧链接前景图像，获取车辆的跟踪路径。 | |||
| 7 | 项目总结 | HEVC压缩域等的车流量检测应用优劣比较总结 | |
| 帧间差分法、图像阈值分割和数学形态学的运动目标检测方法总结 | |||
| 结合智能优化算法对其改进的遗传算法—克隆选择遗传算法比较总结 | |||
| CT图像肺结节自动检测项目（CV） | |||
| CT图像肺结节自动检测项目是一个可针对X光胸片的肺部结节自动检测方法,并应用深度学习方法在CT图像上进行智能肺结节检测，结合计算机视觉技术和深度学习网络，AI能够自动完成对可疑病灶区域的标记和预诊断,提高了医生的工作效率,降低了误诊率和漏诊率。 | |||
| 技术亮点： 1、将全局自适应阈值法应用于肺部医学图像的分割中,通过迭代寻取最优阈值完成对躯干部分的去除； 2、利用边界跟踪等多种方法相结合完成对肺实质的提取成像； 3、利用Faster R-CNN肺结节检测+3D-CNN模型进行病灶发现； 4，U-Net肺结节分割+3D-CNN模型降低深度学习诊断错误率。 能掌握的技术： |
|||
| 章节 | 课程 | 知识点 | |
| 1 | 项目概述 | 系统架构设计、项目关键技术说明 | |
| 项目业务需求分析、项目业务流程设计 | |||
| 2 | 环境部署 | 系统介绍项目开发环境概述、SimpleITK医学影像处理库使用、Keras项目工程文件创建 | |
| 项目开发环境配置、项目性能优化设置 | |||
| 数据源的处理及增强 | |||
| RBDcm工具及图像统计 | |||
| 3 | CT图像肺结节自动检测项目流程方案 | 业务理解，任务拆解 | |
| 目标检测模型实现 | |||
| 肺部实质形态的图像分割 | |||
| 肺结节的检测及结节分割 | |||
| 结节特征的判别及病理诊断 | |||
| 4 | 医疗影像数据转换 | DICOM CT图像预处理归一化，二值化，阈值分割等操作 | |
| 读取图片DICOM，截取像素转Cube并存储为PNG | |||
| 用USM锐化的方法对图像中的结节信号进行增强 | |||
| 图像增强,旋转，平移等，提高数据集的拓展性 | |||
| 准备U-net训练数据并进行数据标记 | |||
| 对图像进行分割实现肺部有效区域提取 | |||
| 5 | 核心技术 | 在胸片上用滑动窗口的方法切取小块,下采样后输入进网络进行分类,得到整张胸片的候选结节区域 | |
| 对所得CT面积图像阈值分割排除掉大量假阳性病例 | |||
| 结合深度哈希算法,实现检索过程由粗到精的有效操作 | |||
| 对ROI进行旋转、缩放、平移或平移、缩放、旋转、复合中2种或以上的组合操作提升网络鲁棒性 | |||
| 6 | 模型训练及项目主流程 | Faster R-CNN肺结节检测+3D-CNN模型进行病灶发现 | |
| U-Net肺结节分割+3D-CNN模型降低错误率 | |||
| 实现U-Net网络的构建的训练 | |||
| 实现3D-CNN的网络结构，并加载训练好的权重 | |||
| 进行预测并获取获取U-Net预测结果的中心点坐标(x,y) | |||
| 优化主要网络如CNN、DNN和SAE等 | |||
| 7 | 项目总结 | 总结使得深度卷积神经网络可以充分提取肺结节的特征的优化方法 | |
| 对哈希算法及DNN网络的数据处理能力对肺结节的语义级别特征进行深度提取经验的总结 | |||
| 对深度学习网络根据标准模糊C均值算法进行改进 | |||
| 项目阶段之：泛娱乐推荐系统项目（CV+推荐） | |||
| 推荐系统的在当下的火爆程度毋庸置疑，个性化推荐的需求也是每一个toC产品应该实现的目标。我们的泛娱乐推荐系统使用主流的Retrive-Ranking(召回-排序)架构。该推荐系统的主要目标: 通过向用户推荐更合适的帖子, 增加用户交互行为(点赞，评论，转发，收藏等), 进而增加用户平均使用时长。同时满足的用户体验要求: 多样性，新颖性和数据合理性。在排序模块即AI部分，我们将从模型选择，超参数调优，损失函数机器优化方法等多维度深层次进行剖析，诠释为何我们能够推荐出满足用户“嗨点”的作品。 | |||
| 技术亮点: 1、丰富的召回策略帮助我们尽可能多的覆盖不同用户对产品推荐的不同需求, 进而提升用户粘度； 2、金字塔召回机制：海量数据下实时响应用户行为变化； 3、更加科学合理的构建双画像，保证原始数据的准确，为模型收敛奠定基础； 4、分布式训练减少了大型模型训练时间，加速模型调优效率, 更好的利用深度模型发掘海量数据价值； 5、使用wide-deep模型进行排序，在类似工程推荐项目中已经取得成功, eg, google play 提升3.9%。 |
|||
| 章节 | 课程 | 知识点 | |
| 1 | 整体系统概述与搭建 | 背景介绍 | |
| 环境配置 | |||
| 系统搭建 | |||
| 业务流实现 | |||
| 2 | 构建双画像 | neo4j安装与使用 | |
| cypher语句学习与深入 | |||
| 标签体系设计 | |||
| 用户画像与帖子画像的实现 | |||
| 3 | 多召回策略 | 多召回策略的设计原理 | |
| 多召回策略实现 | |||
| 4 | 召回金字塔 | 召回金字塔机制原理 | |
| 召回金字塔实现 | |||
| 5 | 规则过滤器服务 | 规则过滤器的设计原理 | |
| 规则过滤器实现 | |||
| 6 | 模型的选择与实现 | 正负样本的定义标准 | |
| 正负样本的采集与评估指标 | |||
| 模型特征的选择准则 | |||
| 模型特征的定义与实现 | |||
| wide-deep模型的选用 | |||
| 7 | 模型的结构与参数 | LR与MLP学习 | |
| wide-deep模型结构与参数分析 | |||
| 8 | 损失函数与优化方法 | 二分类交叉熵损失函数详解 | |
| FTRL优化方法详解 | |||
| Adagrad优化方法详解 | |||
| 9 | 超参数调优 | 超参数调优理论发展 | |
| 网格搜索与随机搜索 | |||
| 贝叶斯优化 | |||
| 10 | 使用gcp进行模型训练 | gcp的基本使用方法 | |
| 构建gcp规范下的模型 | |||
| 使用gcp进行超参数调优 | |||
| 使用gcp进行优化训练方案 | |||
| 11 | 模型评估与部署 | 模型的评估 | |
| 深度模型的部署方案 | |||
| 推荐系统的总体检验标准 | |||
| 12 | 基于图像和视频分析的人脸推荐解决方案 | opencv 视频处理：视频解码，图像基本处理 | |
| mtcnn人脸检测算法：p-net、r-net、o-net级联，分类+框回归+关键点回归 | |||
| inception resnet v2提取人脸特征：人脸区域提取出128/512个特征值 | |||
| mlp 人脸特征分类：神经网络基于人脸特征做分类 | |||
| 人脸特征提取用到的loss函数原理 | |||
| model 服务器端部署：基于tensorflow serving | |||
| 13 | 基于图像和视频分析的场景推荐解决方案 | opencv 视频处理：视频解码，图像基本处理 | |
| nasnet/inception resnet v2 场景分类：cnn提取图片特征进行分类 | |||
| model 服务器端部署：基于tensorflow serving | |||
| 14 | 基于图像和视频分析的表情推荐解决方案 | opencv 视频处理：视频解码，图像基本处理 | |
| mtcnn人脸检测算法：p-net、r-net、o-net级联，分类+框回归+关键点回归 | |||
| 人脸矫正：基于人脸关键点对齐 | |||
| cnn提取人脸特征进行分类 | |||
| model 服务器端部署：基于tensorflow serving | |||
| 15 | 基于图像和视频分析的姿态推荐解决方案 | opencv 视频处理：视频解码，图像基本处理 | |
| mask r-cnn 检测人体关键点：先检测人体，然后检测人体骨骼关键点 | |||
| mlp关键点分类：神经网络基于人体关键点做分类 | |||
| model 服务器端部署：基于tensorflow serving | |||
| 在线医生项目（NLP） | |||
| 在线医生项目是一个基于自然语言理解方向的问答机器人。类似的应用，还有百度地图的小度、天猫精灵、淘宝小蜜，招商银行的小招等。该项目结合医学知识图谱、深度学习、对话管理、微信公众号开发等技术，旨在降低首医成本，为患者提供基本医学诊断意见服务。 技术层面包含语音识别、自然语言理解、对话管理以及自然语言生成等环节，其中又包含领域识别，用户意图识别，槽位填充，对话状态追踪，对话策略等技术细节。功能上为患者提供根据症状信息给出诊断意见任务与就近治疗任务。通过学习该课程，学生可以了解多轮多任务对话系统的技术点以及业务流程 |
|||
| 技术亮点： 1、基于大规模知识图谱技术与自然语言处理在医疗领域的应用场景； 2、基于语音识别与语音生成技术的与患者语音沟通的交互方式； 3、基于微服务架构的人工智能产品； 4、基于端到端以及结合知识库的多轮多任务对话系统网络结构。 能掌握的技术： 技术解决方案： |
|||
| 章节 | 课程 | 知识点 | |
| 1 | 项目介绍 | 生活类任务对话系统介绍 | |
| 在线医生项目介绍 | |||
| 2 | 聊天机器人入门 | 申请公众号、搭建微信开发环境 | |
| 安装werobot以及常用接口实现 | |||
| Demo：你说我学与图尚往来 | |||
| 案例：配置自己的机器人 | |||
| 3 | 数据爬取 | 爬取专业医疗知识网站 | |
| 数据筛选，清理不完备数据 | |||
| 数据提取定位以及知识抽取数据准备 | |||
| 医学问答数据提取 | |||
| 疾病、症状知识抽取 | |||
| 4 | 医学知识图谱 | 知识图谱介绍 | |
| 知识图谱在医疗领域的应用 | |||
| 知识存储各大厂商介绍 | |||
| Neo4j安装环境搭建 | |||
| Python调用neo4j并完成数据插入与查询操作 | |||
| 案例：完成基于知识图谱的对话机器人 | |||
| 5 | 医学命名实体识别 | 命名实体识别介绍 | |
| 命名实体识别在医学方面的应用 | |||
| BiLSTM+CRF模型原理介绍 | |||
| BiLSTM+CRF模型实现 | |||
| IDCNN模型原理介绍 | |||
| IDCNN模型实现 | |||
| 案例：疾病与症状命名实体识别 | |||
| 6 | 任务对话系统（Pipeline方法） | 任务对话系统介绍 | |
| 自然语言理解介绍-领域识别 | |||
| 自然语言理解介绍-用户意图识别 | |||
| 语义槽介绍以及在任务对话系统中的作用 | |||
| 语义槽设计 | |||
| 命名实体识别在语义槽中的应用 | |||
| 语义槽实现 | |||
| 对话管理-对话状态追踪介绍 | |||
| 对话状态追踪实现 | |||
| 对话管理-对话策略介绍 | |||
| 对话策略实现 | |||
| 项目：基于pipeline的对话系统实现 | |||
| 7 | 论文学习与转化 | Mem2seq的来龙去脉以及论文解读 | |
| 模型对比：包括与seq2seq以及+attention | |||
| 准备训练数据 | |||
| Mem2seq模型实现 | |||
| 8 | 任务对话系统 （end-to-end方法） |
端到端对话系统介绍 | |
| 基于端到端模型Mem2seq的项目介绍 | |||
| 项目：基于端到端的任务对话系统部署上线 | |||
| 智能文本分类-NLP基础设施项目（NLP） | |||
| 中文标签化系统是NLP基础任务的综合系统，同时又是NLP应用的基础设施。根据文本信息，给出对应的预定义标签将能够有效的支持用户画像，推荐系统等。同时，对于高阶NLP任务，如对话，翻译，寓意蕴含等在语料分类上将有很大的帮助。 | |||
| 技术亮点： 1、搭建多模型训练服务，保证在训练过程中，进行资源监控和分配，得以最高效率在有限资源内进行模型训练； 2、搭建多线程并行预测服务， 为了满足性能要求，这里我们将利用多线程的方式，并对每一个获得结果做最后综合处理； 3、图谱权重更新， 随着模型的预测完成，将使用预测概率更新在该路径权重，最后根据权重计算规则，获得最后结果； 4、使用n-gram特征工程， 来捕捉词序对结果的影响； 5、使用fasttext模型，适应在语料变化大，模型数量规模大，模型上下线频繁的场景。 |
|||
| 章节 | 课程 | 知识点 | |
| 1 | 整体系统概述与搭建 | 背景介绍 | |
| 环境配置 | |||
| 输入预处理 | |||
| 输出规范处理 | |||
| 2 | 构建标签词汇图谱 | 标签的制定 | |
| 词汇的采集 | |||
| 构建图谱 | |||
| 实现查询与修改逻辑 | |||
| 基于模型的权重更新 | |||
| 3 | fasttext模型与特征工程 | fasttext发展简介 | |
| fasttext模型结构与参数解析 | |||
| fasttext的选用原因 | |||
| n-gram特征使用 | |||
| 4 | 损失函数与优化方法 | fasttext的损失函数解析 | |
| fasttext的优化方法解析 | |||
| 使用keras实现fasttext | |||
| 5 | 多模型训练服务 | 单模型训练流实现 | |
| 多模型训练服务搭建 | |||
| 多模型训练API开发 | |||
| 算力资源分配设计原理 | |||
| 算力资源分配主逻辑实现 | |||
| 多模型训练服务实验与部署 | |||
| 6 | 单模型微服务部署 | 模型格式详解 | |
| h5格式如何转为pb格式 | |||
| 使用tensorflow-seving封装 | |||
| 7 | 多模型预测服务 | 模型预测主服务搭建 | |
| 多线程与多进程的比较 | |||
| 模型并行预测的实现 | |||
注：实时人脸识别检测项目、智能交通项目、在线医生项目、智能文本分类项目为主讲项目；其他2个项目会赠送。主讲项目会根据就业热点进行更新迭代，以上课安排为准。
| 第七阶段： AI算法强化和面试强化阶段（赠送串讲） |
人工智能AI算法强化 | ||
| 自编码器 | 自编码器：应用举例、欠完备自编码器、正则自编码器、表示能力、层的大小和深度、随机编码器和解码器、去噪自编码器、变分自编码器、实践案例 | 可掌握核心能力： 1、理解算法和模型的分布式实现及加速原理 2、深入理解常用算法及数据结构，尤其是深度学习、增强学习等相关领域，及对模式识别，概率统计、最优化等算法原理及应用 可解决的现实问题： 市场价值： |
|
| 对称权重与深度置信网络 | 积极学习-Hopfield网络：联想记忆、实现联想记忆、能量函数、Hopfield网络的容量、连续Hopfield网络 随机神经元-玻尔兹曼机：受限玻尔兹曼机、CD算法的推导、监督学习、RBM作为定向置信网络、综合实操演练 |
||
| 进化学习 | 遗传算法：字符串表示、评价适应度、种群、产生后代、选择父母 | ||
| 遗传算子：交叉、变异、精英法、比赛法和小生境 | |||
| 遗传算法应用：图着色、间断平衡、示例-背包问题、示例-四峰问题、遗传算法的缺陷、用遗传算法训练神经网络 | |||
| 与采样结合的进化学习、遗传程序；实操演练 | |||
| 分布式机器学习 | 分布式机器学习基础：通信、一阶确定性算法、 二阶确定性算法、非凸随机优化算法 | ||
| 分布式机器学习模型：基本概述、基于模型加和的聚合方法、基于模型集成的聚合方法 | |||
| 分布式机器学习算法：基本概述、同步算法、异步算法、同步和异步的对比与融合、模型并行算法 | |||
| 分布式机器学习理论：基本概述、收敛性分析、加速比分析、泛化分析" | |||
| 分布式机器学习系统：1 基本概述、基于IMR的分布式机器学习系统、基于参数服务器的分布式机器学习系统、基于数据流的分布式机器学习系统 | |||
| 案例实践 | |||
| 强化学习 | 学习情境与马尔科夫决策过程：学习情境、马尔科夫决策过程 | ||
| 策略：定义、策略值、策略评估、最优策略 | |||
| 规划算法：值迭代、策略迭代、线性规划 | |||
| 学习算法：随机逼近、TD（0）算法、Q-学习算法、SARSA、TD（λ）算法 、大状态空间 | |||
| 实践案例：综合案例实践 | |||
| 数据结构和算法强化 | |||
| 数据结构强化 | 无向图：表示无向图的数据类型、深度优先搜索、寻找路径、广度优先搜索、连通分量、符号图 | 可掌握核心能力： 1、培养扎实的算法设计，数据结构功底； 2、深入理解算法及数据结构中的经典问题。 可解决的现实问题： 市场价值： |
|
| 有向图：有向图的数据类型、有向图中的可达性、环和有向无环图、有向图中的强连通性 | |||
| 最小生成树：原理、加权无向图的数据类型、最小生成树的API和测试用例、Prim算法、Prim算法的即时实现、 Kruskal算法 | |||
| 最短路径：最短路径的性质、加权有向图的数据结构、最短路径算法的理论基础、Dijkstra算法、无环加权有向图中的最短路径算法、一般加权有向图中的最短路径问题 | |||
| 案例实践：综合实操演练 | |||
| 动态规划初步 | 动态规划初步：钢条切割、矩阵链乘法、动态规划原理、最长公共子序列、最优二叉搜索树 | ||
| 案例实践，综合实操演练 | |||
| 贪心算法 | 贪心算法原理及应用：活动选择问题、贪心算法原理、赫夫曼编码、拟阵和贪心算法、用拟阵求解任务调度问题 案例实践：综合实操演练 |
||
| 数据结构与算法的Python实现 | 穷举搜索、回溯法、减而治之、分而治之、变而治之、贪心法、迭代改进、动态规划 | ||
| 计算机视觉CV强化 | |||
| 立体视觉与SLAM | 视觉系统参数模型：针孔模型、双目模型及极线几何、多摄像机模型 | 可掌握核心能力： 1、熟悉机器视觉或计算机视觉的理论和方法，理解结构光视觉（激光三角测量）、双目立体视觉（多目交汇测量）、条纹相位测量等常用方法； 2、深入理解并能应用相机精密标定方法，并能基于3D点云数据，进行配准、分割和特征识别等算法开发,建立3D点云图处理的算法模型。 可解决的现实问题： 市场价值： |
|
| 相机的标定：内外参数的标定、畸变及矫正、常见的标定方法、zhang氏标定、空间5种坐标系的转换 | |||
| 摄影测量和立体视觉：3D视觉任务、射影几何学基础、单透视摄像机、从多视图重建场景、双摄像机和立体感知、三摄像机和三视张量、由辐射测量到3D信息 | |||
| 基于深度学习的立体视觉匹配：全卷积网络的匹配代价计算、代价聚合、视差计算、优化以及视差提炼常见的标定方法 | |||
| 视觉SLAM案例实践：三维空间刚体运动、相机与图像基本操作、非线性优化、视觉测量 | |||
| 点云处理 | 点云处理技术的基础理论：点云处理技术的基础理论、方法以及主要内容 | ||
| 点云数据的重建方法：基于特征和基于切片的点云重建方法，点云数据的获取方案，点云的去噪、压缩、配准方法，以及点云空洞的插值方法 | |||
| 点云数据及模型的质量评价：点云配准过程中的误差传播模型，三维模型的质量评定方法 | |||
| 点云数据处理技术：常用的海量点云数据处理技术以及三维图像库 | |||
| 点云处理实践 | |||
备注：人工智能AI技术热点会随着市场不断变化，本课程也会紧跟AI就业技术热点；本课程大纲仅供参考，实际课程内容可能在授课过程中发生更新或变化，具体授课内容最终以各班级课表为准。
课程下载
来源：阿里云盘
THE END
0
二维码
打赏
海报
Python + 人工智能 AI 进阶班课程
课程介绍
人工智能是当前乃至未来时代热门的技术之一，已在全球范围内掀起了研究与学习热潮。 本课程由传智研究院匠心打造，课程知识体系完备，从简明的 pytho……
共有 0 条评论