循环神经网络（高级篇）

例：人名分类

数据准备

根据人名的英文拼写判断人所在的国家，数据形式如下：

循环神经网络（基础篇）

RNN适合用来解决序列问题

卷积神经网络（高级篇）

1*1的卷积核

下图是两种网络的构造方式，图二相比于图一多了一个1*1的卷积核层，在长宽不变的情况下减小了通道数，把运算次数减少了一个数量级。

卷积神经网络（基础篇）

朴素的全连接神经网络在处理图像时会丢失图像的位置信息（因为每个像素都被视为无差别的输入）。卷积神经网络（CNN）可以解决这个问题。

多分类问题

N分类问题（N>2）最朴素的解决方案是拆分为N个二分类问题。但这样做的问题是不同类别间应该是互斥的（或者说相互抑制），直接拆分的话可能每个类别的概率都很高（或者加起来不等于1）。

加载数据集

Dataset和Dataloader的用法

两个极端

1. 直接用全部的数据集训练（Batch）：最大化利用向量计算优势，但消耗资源过大

2. 每次只用一个样本训练模型：具有较好的随机性，有助于跨越鞍点，但并行化差，计算效率太低（存疑：batch_size过小，每个mini-batch的样本数据将没有统计意义）

因此引入Mini-Batch，可以均衡训练的速度和训练效果

处理多维特征的输入

常见数据格式

• 每一行是一条记录（Record）
• 每一列是一个特征/字段（Feature）

用PyTorch实现线性模型

四个步骤：

• Prepare dataset
• Design model using Class
  • Inherit from nn.Module
• Construct loss and optimizer
• Training cycle
  • forward, backward, update

反向传播

计算图Computational Graph

两层神经网络

$\hat{y}=W_2(W_1 \cdot X + b_1) + b_2$

梯度下降算法

减小loss的暴力算法

直接枚举，时间复杂度过高

分段枚举（如下图），先大粒度枚举（图中16个红色的点），再挑选较优点小粒度枚举（用绿色网格表示），可以减小枚举次数（如图中从直接枚举的256次减小到16+16=32次）。但分段枚举也有问题，无法解决局部最优和导数为0的点

梯度下降算法