Overview
几种思维方式
算法课
计算过程来自人工设计
- 穷举法
- 贪心法
- 分治法
- 动态规划
- …
机器学习
计算过程来自数据，基于统计，方法如最大似然、最大后验
- Data
- DataSet
人工智能领域分类（出自Deep learning by Bengio）
注意这里面的表示学习，早期方法如shallow autoencoders
基于规则的系统（早期人工智能方案）
传统机器学习
这里强调Hand-designed feature，特征需人工提取。曾经较火的模型如SVM。
局限性
- 手动设计的特征有限
- SVM对大数据集处理能力有限
- 许多应用需要处理无结构数据，机器学习对这类数据需要手动构建特征
表示学习（Representation learning）
补充：维度诅咒
feature增加，对样本数要求非线性增加
对应的需求：压缩维度
表示学习希望能用低维空间表示高维空间的信息。方法如Manifold流形。
深度学习所利用的特征更加简单了，不需要手动提取feature。Deep learning的训练过程是end-to-end的
目前的神经网络，来源于神经科学，但应用上更接近于数学和工程学
神经网络最重要的算法是back-propagation，基于计算图
深度学习近几年的发展
- 算法更新
- 数据增多
- 算力变强
课程来源：《PyTorch深度学习实践》完结合集