NLP(2)--搭建简单的模型(nn)

前言

仅记录学习过程,有问题欢迎讨论

可能使用到的包

可以通过Anaconda直接install,不行就PIP install xxx

  • Python
  • Torch
  • Transformers
  • Scikit-learn
  • Numpy
  • Gensim
  • Pandas

我的版本:

可以用 conda list 查看

代码

如果有包导入不进来,可以先去网上查查怎么用Anaconda下载包,

一般是conda install xxx;

还有就是项目环境的配置需要配置到对应Anaconda的环境下

注:python版本最好3.8以上。

java 复制代码
# try to build a simple neural network
import torch
import numpy
import torch.utils.data as Data
from torch.nn import init
import torch.optim as optim
# produce data list
num_input = 2
num_example = 1000
true_w = [2, -3.4]  # 真参数
true_b = 4.2  # 真 偏移量
# 特征
features = torch.tensor(numpy.random.normal(0, 1, (num_example, num_input)), dtype=torch.float)
# function
labels = true_w[0]*features[:, 0]+true_w[1]*features[:, 1] + true_b
# +噪声因子 均值为0、标准差为0.01的正态分布
labels += torch.tensor(numpy.random.normal(0, 0.01, size=labels.size()), dtype=torch.float)

batch_size = 10
# 将训练数据的特征和标签组合
dataset = Data.TensorDataset(features, labels)
# 随机读取小批量
data_iter = Data.DataLoader(dataset, batch_size, shuffle=True)
# 读取并打印第一个小批量数据样本
for X,y in data_iter:
    print(X,y)
    break
# 定义模型 nn input/output
net = torch.nn.Sequential(
    torch.nn.Linear(num_input, 1)
)
print("net =", net)

for param in net.parameters():
    print(param)

# 使用net前 需要初始化参数 初始化
init.normal(net[0].weight, mean=0, std=0.01 )
init.constant_(net[0].bias, val=0)

# 定义损失函数
loss = torch.nn.MSELoss()
# 定义优化算法
optimzer = optim.SGD(net.parameters(), lr=0.03)
print("optimzer =", optimzer)
# 训练模型
num_epochs = 10
for epoch in range(1, num_epochs+1):
    for X, y in data_iter:
        output = net(X)
        l = loss(output, y.view(-1, 1))
        optimzer.zero_grad()# 梯度清零,等价于net.zero_grad()
        l.backward()
        optimzer.step()
    print('epoch %d, loss: %f' % (epoch, l.item()))

# 比较学到的模型参数和真实的模型参数
print('result ==================')
dense = net[0]
print(true_w, dense.weight)
print(true_b, dense.bias)
相关推荐
算法打盹中4 分钟前
基于树莓派与Jetson Nano集群的实验边缘设备上视觉语言模型(VLMs)的性能评估与实践探索
人工智能·计算机视觉·语言模型·自然语言处理·树莓派·多模态·jetson nano
CoovallyAIHub30 分钟前
医药、零件、饮料瓶盖……SuperSimpleNet让质检“即插即用”
深度学习·算法·计算机视觉
跳跳糖炒酸奶34 分钟前
第六章、从transformer到nlp大模型:编码器-解码器模型 (Encoder-Decoder)
深度学习·自然语言处理·transformer
蓝倾97637 分钟前
小红书获取用户作品列表API接口操作指南
java·服务器·前端·python·电商开放平台·开放api接口
yBmZlQzJ1 小时前
PyQt5 修改标签字体和颜色的程序
开发语言·python·qt
胖达不服输1 小时前
「日拱一码」081 机器学习——梯度增强特征选择GBFS
人工智能·python·算法·机器学习·梯度增强特征选择·gbfs
大千AI助手1 小时前
VeRL:强化学习与大模型训练的高效融合框架
人工智能·深度学习·神经网络·llm·强化学习·verl·字节跳动seed
float_六七1 小时前
Java Stream流:从入门到精通
java·windows·python
星空的资源小屋2 小时前
PPTist,一个完全免费的 AI 生成 PPT 在线网站
人工智能·python·电脑·excel
初级炼丹师(爱说实话版)2 小时前
2025算法八股——深度学习——优化器小结
人工智能·深度学习·算法