3.2 线性回归的从零开始实现

1. 生成数据集

我们生成一个包含1000个样本的数据集， 每个样本包含从标准正态分布中采样的2个特征。 我们的合成数据集是一个矩阵

 函数synthetic_data()接收线性模型的w，b以及要生成的样本的数量为参数，创建样本的特征矩阵X以及标签向量y，分别返回：

torch.normal(0,1,(nums_examples,len(w)))生成均值为0，方差为1，形状为(nums_examples,len(w))的随机正太分布数据，作为样本的特征矩阵。注意这特征值和标签值都是随机生成的，这是没有任何现实意义的数据集，仅作为熟悉线性回归流程的工具。

注意：如果返回y的时候直接返回y，而不是返回y.reshape(-1,1)，会出现这样的问题：X的维度是(nums_examples,len(w)),w的维度是(len(w))，matmul(X,w)下来维度是(nums_examples)，而不是(nums_examples,1)。而我们想要的维度是(nums_examples,1)。注意，矩阵向量积虽然mv(X,w)和matmul(X,w)结果是一样的，它们在处理的过程中会将w的维度变成(len(w),1)，与X进行计算，但算完了保存结果时，结果的维度是(nums_examples)的。

2. 读取数据集

我们定义一个函数data_iter(batch_size,features,labels)，传入整个数据集的features，labels，以及我们每次要读取的batch_size的大小，使用yield让这个函数循环地返回每个batch_size的features以及labels：

首先，我们使用num_examples = len(features)获取整个数据集的样本的个数，然后，创建随机访问的索引indices，函数random.shuffle(indices)用于将列表indices中的数据随机打乱。yield关键词用于返回features[batch_indices]和labels[batch_indices]的值，并与下面的for循环联动，将这些值循环地传入X，y中。

 注意，这里边，在生成列表indices的时候，一定是使用list()将它强制转换成list类型，而不是用torch.tensor()将它强制转换成为tensor类型。因为在后面使用torch.tensor(indices[i:min(i+batch_size,num_examples)])来取出部分indices的元素时，如果前面使用的是torch.tensor()强转，则此时indices的每一个元素都是tensor，indices的类型也是tensor，再用torch.tensor()强转，就是把tensor强转为tensor；如果在前面就使用了torch.tensor()将indices转为tensor类型，后面就不用再强转了，以下代码也是可以的：

3. 初始化模型参数

注意到模型的参数为w和b。我们将w初始化为均值为0，方差为0.01的正态分布，将b初始化为0：

4. 定义模型

模型的定义是，给定我们输入特征X，以及参数w，b，用来输出样本标注y的函数：

 注意，上面的Xw是一个向量，而b是一个标量（Xw和b都是张量），计算Xw+b时，会采用广播机制，Xw的每一个值都会加上b。

5. 定义损失函数

 损失函数的定义是，传入真实值y和估计值y_hat，返回在定义的损失函数下的损失的过程。

这里面我们把y给reshape成了y_hat的形状，是为了保证万无一失。（在本例中不reshape也能正常运行）

6. 定义优化算法

优化算法是传入模型的全部参数、学习率以及 batch_size，各个参数根据自己的梯度优化自己的过程：

这里要加with torch.no_grad():，表示下面的过程不需要计算梯度，不加就会报错，暂时搞不清楚什么原因；

注意参数更新完之后，一定要把它们的梯度清零，以便下一个batch_size的训练。

这里对参数的传入其实是这样的：

 只不过我们可以把w,b作为一个列表传入进来，然后用for循环访问，代码更加简洁。

7. 训练

 我们首先定义学习率、batch_size、num_epochs，即要训练多少个epoch。

这里面[w,b]是一个list，它的两个元素都是torch.tensor类型的，w是一个有两个元素的tensor，b是一个标量tensor。

对于{float(train_l.mean()):f}，用float是将它从tansor强制转换成float型，冒号f，即":f"的意思是要将这个float型变量用六位小数输出。

可以看到，我们每次取出来一个batch_size，都是可以对全局所有的参数进行更新的。

完整代码如下：

 1 import torch
 2 import random
 3 from d2l import torch as d2l
 4 
 5 #生成人造数据集
 6 def synthetic_data(w,b,num_examples):
 7     X = torch.normal(0,1,size=(num_examples,len(w)))
 8     y = torch.matmul(X,w) + b
 9     y += torch.normal(0,0.01,y.shape)
10     return X,y.reshape(-1,1)
11 
12 #输入batch_size，特征，标签，按batch_size循环每次读取一批数据
13 def data_iter(batch_size,features,labels):
14     num_examples = len(features)
15     indices = list(range(num_examples))
16     random.shuffle(indices)
17     for i in range(0,num_examples,batch_size):
18         batch_indices = torch.tensor(indices[i:min(i+batch_size,num_examples)])
19         yield features[batch_indices], labels[batch_indices]
20         
21 def linreg(X,w,b):
22     y = torch.matmul(X,w) + b
23     return y;
24 
25 def squared_loss(y_hat,y):
26     loss = (y_hat-y.reshape(y_hat.shape))**2/2
27     return loss
28 
29 def sgd(params,lr,batch_size):
30     with torch.no_grad():
31         for param in params:
32             param -= param.grad * lr / batch_size
33             param.grad.zero_()
34             
35 #定义一些与训练有关的参数
36 epoch_nums = 3
37 batch_size = 10
38 lr = 0.03
39 net = linreg
40 loss = squared_loss
41 
42 #初始化模型参数
43 w = torch.normal(0,0.01,size=(2,1),requires_grad=True)
44 b = torch.zeros(1,requires_grad=True)
45 
46 #调用数据集生成函数生成数据集
47 true_w = torch.tensor([2,-3.4])
48 true_b = 4.2
49 num_examples = 1000
50 features,labels = synthetic_data(true_w,true_b,num_examples) ###111111111111###
51 
52 #训练
53 for epoch in range(epoch_nums):
54     for X,y in data_iter(batch_size,features,labels):
55         y_hat = net(X,w,b)
56         l = loss(y_hat,y)
57         l.sum().backward()
58         sgd([w,b],lr,batch_size)
59     with torch.no_grad():
60         train_loss = loss(net(features,w,b),labels)
61         print(f'epoch {epoch+1}, loss {float(train_loss.mean()):f}')

注意在#1处，曾经错误地将参数true_w,true_b传入成了w，b，导致报错：

Trying to backward through the graph a second time.........