深度學習筆記(10)：初識PyTorch

安裝

參考官網：

以Windows、Cuda=10.1為例

pip install torch===1.4.0 torchvision===0.5.0 -f https://download.pytorch.org/whl/torch_stable.html

測試

import torch
torch.__version__

Tensor

產生Tensor
x = torch.rand(5, 3)  #產生一个5*3的tensor，隨機取值
x
x[1,2]
x[:,2]
y = torch.ones(5, 3)  #产生一个5*3的Tensor，元素都是1
y
z = torch.zeros(2, 5, 3) #产生二个5*3的Tensor，元素都是0
z
z[0]
Tensor運算
z = x + y
Z
q = x.mm(y.t()) #x乘以y的转置
q               #转置操作可以用.t来完成，也可以用.transpose(0, 1)来完成
Tensor與Numpy.ndarray轉換
import numpy as np   #导入numpy包
a = np.ones([5, 3])  #建立一个5*3全是1的二维数组（矩阵）
b = torch.from_numpy(a) #利用from_numpy将其转换为tensor
b
c = torch.FloatTensor(a) #另外一种转换为tensor的方法，类型为FloatTensor，还可以使LongTensor，整型数据类型
c
b.numpy()  #从一个tensor转化为numpy的多维数组
### Tensor和numpy的最大區别在于Tensor可以在GPU上运算 ###
檢查電腦上有無GPU可用
if torch.cuda.is_available():  
    x = x.cuda() #返回x的GPU上运算的版本
    y = y.cuda()
    print(x + y) #tensor可以在GPU上正常运算

自動微分變數

#创建一个Variable，包裹了一个2*2张量，将需要计算梯度属性置为True
x = torch.ones((2, 2), requires_grad=True)  
x
y = x + 2  #可以按照Tensor的方式进行计算
y.grad_fn  #每个Variable都有一个creator（创造者节点）
z = y * y  #可以进行各种符合运算
z.grad_fn
z = torch.mean(y * y)  #也可以进行复合运算
z.data #.data属性可以返回z所包裹的tensor
z.backward() #梯度反向传播
print(z.grad)
print(y.grad)
print(x.grad)

線性回歸

#linspace可以生成0-100之间的均匀的100个数字
x = torch.linspace(0, 100).type(torch.FloatTensor)
#随机生成100个满足标准正态分布的随机数，均值为0，方差为1.将这个数字乘以10，标准方差变为10
rand = torch.randn(100) * 10
#将x和rand相加，得到伪造的标签数据y。所以(x,y)应能近似地落在y=x这条直线上
y = x + rand
#切割訓練集和測試集
x_train = x[: -10]
x_test = x[-10 :]
y_train = y[: -10]
y_test = y[-10 :]
#繪圖
import matplotlib.pyplot as plt 
plt.figure(figsize=(10,8)) #设定绘制窗口大小为10*8 inch
plt.plot(x_train.numpy(), y_train.numpy(), 'o') #绘制数据，考虑到x和y都是Variable，需要用data获取它们包裹的Tensor，并专成numpy
plt.xlabel('X') #添加X轴的标注
plt.ylabel('Y') #添加Y周的标注
plt.show() #将图形画在下面

構建模型，計算Loss Function

a = torch.rand(1, requires_grad = True)
b = torch.rand(1, requires_grad = True)
predictions = a.expand_as(x_train) * x_train + b.expand_as(x_train)
predictions
loss = torch.mean((predictions - y_train) ** 2)  #计算损失函数
loss.backward() #开始反向传播梯度
#开始梯度下降，其中0.001为学习率
a.data.add_(- 0.001 * a.grad.data) 
b.data.add_(- 0.001 * b.grad.data)
#注意我们无法改变一个Variable，而只能对Variable的data属性做更改
#所有函数加“_”都意味着需要更新调用者的数值。

訓練模型

a = torch.rand(1, requires_grad = True) #创建a变量，并随机赋值初始化
b = torch.rand(1, requires_grad = True) #创建b变量，并随机赋值初始化
print('Initial parameters:', [a, b])
learning_rate = 0.0001 #设置学习率
for i in range(1000):
    predictions = a.expand_as(x_train) * x_train + b.expand_as(x_train)  #计算在当前a、b条件下的模型预测数值
    loss = torch.mean((predictions - y_train) ** 2) #通过与标签数据y比较，计算误差
    print('loss:', loss)
    loss.backward() #对损失函数进行梯度反传
    a.data.add_(- learning_rate * a.grad.data)  #利用上一步计算中得到的a的梯度信息更新a中的data数值
    b.data.add_(- learning_rate * b.grad.data)  #利用上一步计算中得到的b的梯度信息更新b中的data数值
    ### 增加了这部分代码，清空存储在变量a，b中的梯度信息，以免在backward的过程中会反复不停地累加
    a.grad.data.zero_() #清空a的梯度数值
    b.grad.data.zero_() #清空b的梯度数值

#繪圖
x_data = x_train.data.numpy() # 获得x包裹的数据
plt.figure(figsize = (10, 7)) #设定绘图窗口大小
xplot, = plt.plot(x_data, y_train.numpy(), 'o') # 绘制原始数据
yplot, = plt.plot(x_data, a.data.numpy() * x_data + b.data.numpy())  #绘制拟合数据
plt.xlabel('X') #更改坐标轴标注
plt.ylabel('Y') #更改坐标轴标注
str1 = str(a.data.numpy()[0]) + 'x +' + str(b.data.numpy()[0]) #图例信息
plt.legend([xplot, yplot],['Data', str1]) #绘制图例
plt.show()

測試

predictions = a.expand_as(x_test) * x_test + b.expand_as(x_test) #计算模型的预测结果
predictions #输出
x_data = x_train.data.numpy() # 获得x包裹的数据
x_pred = x_test.data.numpy()
plt.figure(figsize = (10, 7)) #设定绘图窗口大小
plt.plot(x_data, y_train.data.numpy(), 'o') # 绘制训练数据
plt.plot(x_pred, y_test.data.numpy(), 's') # 绘制测试数据
x_data = np.r_[x_data, x_test.data.numpy()]
plt.plot(x_data, a.data.numpy() * x_data + b.data.numpy())  #绘制拟合数据
plt.plot(x_pred, a.data.numpy() * x_pred + b.data.numpy(), 'o') #绘制预测数据
plt.xlabel('X') #更改坐标轴标注
plt.ylabel('Y') #更改坐标轴标注
str1 = str(a.data.numpy()[0]) + 'x +' + str(b.data.numpy()[0]) #图例信息
plt.legend([xplot, yplot],['Data', str1]) #绘制图例
plt.show()