基于LSTM算法中文歌词生成

文章目录

一、摘要

基于LSTM的歌词生成器。首先,从预训练的GloVe词向量中加载词汇表和词向量,然后使用这些词向量构建一个嵌入矩阵。接着定义了一个LSTM模型,该模型包含一个嵌入层、一个LSTM层和一个全连接层。在训练过程中,模型使用交叉熵损失函数和Adam优化器进行参数更新。最后,通过输入一段歌词的开头,模型可以生成指定长度的歌词。

二、实验

2.1、数据准备

此数据集近1000首歌,分成5份json文件,每个文件对应于一位歌手。json数据里面包括了Name歌名、Singer歌手和Lyric歌词。

2.2 数据预处理

定义了一个名为get_batches的函数,用于将输入数组arr划分为大小为batch_size的小批次,每个小批次包含seq_length个连续的元素。函数的输出是一个生成器,每次迭代返回一个小批次的数据。

具体来说,函数首先计算总批次大小batch_size_total,然后根据该值确定可以划分的批次数量n_batches。接着,将输入数组arr截取到合适的长度,并将其重塑为形状为(batch_size, -1)的二维数组。

接下来,函数使用一个循环遍历重塑后的数组,每次取出长度为seq_length的连续元素作为输入x,并创建一个与x形状相同的零矩阵y作为目标输出。在循环中,尝试将x的第二个元素到倒数第二个元素赋值给y的前seq_length-1个元素,将arr中的下一个元素赋值给y的最后一个元素。如果发生索引越界错误(即已经到达数组末尾),则将x的第二个元素到倒数第二个元素赋值给y的前seq_length-1个元素,将arr的第一个元素赋值给y的最后一个元素。

最后,函数通过yield关键字返回当前批次的输入x和目标输出y。

2.3 模型介绍

该模型包括一个嵌入层(Embedding),一个LSTM层和一个全连接层(Linear)

2.4 训练

这里定义的损失函数为交叉熵损失,优化器为Adam。通过循环遍历每个批次的数据,进行前向传播、计算损失、反向传播和参数更新。最后,输出每个epoch的损失值。

训练了80次,可以从图像看出已经趋近收敛,停止训练

2.5效果

缺点:未能进行分段。

相关推荐
Pniubi3 小时前
力扣239.滑动窗口最大值(优先队列)
算法·leetcode·职场和发展
双鱼大猫3 小时前
opencode 吃掉 100G 空间:Agent 会话数据要分级清理
人工智能·agent·ai编程
用户5833339816683 小时前
RPA 流程的异常处理设计:重试、降级与告警,生产环境实战指南
人工智能
sanxing三省4 小时前
DeepSeek Harness 到底是什么?标题里最重的词其实不是「DeepSeek」
前端·人工智能·deepseek
青少儿编程课堂4 小时前
第十八届蓝桥杯青少组图形化真题 + 全国青少年信息素养大赛 + 电子学会图形化考级:校园泡泡堂大挑战解析
c++·python·算法·bfs·信息学竞赛
超低空5 小时前
一文说清LRU算法
后端·算法·架构
合尘猫5 小时前
用 6GB 显卡搭短视频产线:MiniMax H3 + ffmpeg 全流程实录(55 秒片 / 40 分钟)
人工智能·音视频
ZONGYUAN-ROOT5 小时前
【自愈治理】自愈式数据管道:大规模公开数据采集的治理方法
人工智能
Starry-sky(jing)5 小时前
Hermes Agent 升级 v0.23.2:先辨更新渠道,再看 CLI 退出残留修复
人工智能·python·ai agent