《PyTorch深度学习实践》2.线性模型 笔记

发表于 | 更新于 | | 阅读次数：

线性模型

基本流程

  1. Dataset
    traing set, dev set, test set
  2. Model
  3. Training
  4. infering

线性模型

Linear model

$$
\hat{y} = x * \omega
$$

上面是本次实验中用到的
更一般的线性模型要加一个偏置b，形式如下：

$$
\hat{y} = x * \omega + b
$$

Training Loss(Error)

$$
loss = (\hat{y}-y)^2=(x*\omega-y)^2
$$

这是针对每一个样本的

Mean Square Error

$$
cost = \frac{1}{N}\sum_{n=1}^{N}(\hat{y_n}-y_n)^2
$$

这是针对整个测试集的

实验中所采用代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
import numpy as np
import matplotlib.pyplot as plt

x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]

def forward(x):
  return x * w

def loss(x, y):
  y_pred = forward(x)
  return (y_pred - y) * (y_pred - y)

w_list = []
mse_list = []
for w in np.arange(0.0, 4.1, 0.1):
  print('w=', w)
  l_sum =0
  for x_val, y_val in zip(x_data, y_data):
    y_pred_val = forward(x_val)
    loss_val = loss(x_val, y_val)
    l_sum += loss_val
    print('\t', x_val, y_val, y_pred_val, loss_val)
  print('MSE=', l_sum / 3)
  w_list.append(w)
  mse_list.append(l_sum / 3)

plt.plot(w_list, mse_list)
plt.ylabel('Loss')
plt.xlabel('w')
plt.show()

其中对于参数w是采用枚举的方式来找的，实际不会采用这个做法。但调超参的话理论上可以用类似暴力的做法（虽然如果在公用机器上这么做会被骂）

在Colab上运行

课程来源：《PyTorch深度学习实践》完结合集