基于LSTM算法中文歌词生成

文章目录

一、摘要

基于LSTM的歌词生成器。首先,从预训练的GloVe词向量中加载词汇表和词向量,然后使用这些词向量构建一个嵌入矩阵。接着定义了一个LSTM模型,该模型包含一个嵌入层、一个LSTM层和一个全连接层。在训练过程中,模型使用交叉熵损失函数和Adam优化器进行参数更新。最后,通过输入一段歌词的开头,模型可以生成指定长度的歌词。

二、实验

2.1、数据准备

此数据集近1000首歌,分成5份json文件,每个文件对应于一位歌手。json数据里面包括了Name歌名、Singer歌手和Lyric歌词。

2.2 数据预处理

定义了一个名为get_batches的函数,用于将输入数组arr划分为大小为batch_size的小批次,每个小批次包含seq_length个连续的元素。函数的输出是一个生成器,每次迭代返回一个小批次的数据。

具体来说,函数首先计算总批次大小batch_size_total,然后根据该值确定可以划分的批次数量n_batches。接着,将输入数组arr截取到合适的长度,并将其重塑为形状为(batch_size, -1)的二维数组。

接下来,函数使用一个循环遍历重塑后的数组,每次取出长度为seq_length的连续元素作为输入x,并创建一个与x形状相同的零矩阵y作为目标输出。在循环中,尝试将x的第二个元素到倒数第二个元素赋值给y的前seq_length-1个元素,将arr中的下一个元素赋值给y的最后一个元素。如果发生索引越界错误(即已经到达数组末尾),则将x的第二个元素到倒数第二个元素赋值给y的前seq_length-1个元素,将arr的第一个元素赋值给y的最后一个元素。

最后,函数通过yield关键字返回当前批次的输入x和目标输出y。

2.3 模型介绍

该模型包括一个嵌入层(Embedding),一个LSTM层和一个全连接层(Linear)

2.4 训练

这里定义的损失函数为交叉熵损失,优化器为Adam。通过循环遍历每个批次的数据,进行前向传播、计算损失、反向传播和参数更新。最后,输出每个epoch的损失值。

训练了80次,可以从图像看出已经趋近收敛,停止训练

2.5效果

缺点:未能进行分段。

相关推荐
开开心心就好9 分钟前
两张表格数据对比工具,不用写函数也能查
算法·spring·智能手机·pdf·电脑·intellij-idea·音视频
天天代码码天天36 分钟前
输入一句话,生成一段声音:我做了个 Windows 本地音效工具
人工智能
tellmewhoisi41 分钟前
深度学习0:数学知识:(雅可比矩阵)
人工智能·深度学习·矩阵
电科_银尘1 小时前
【大模型算法与工程 02】线性回归与逻辑回归:从损失函数到决策边界
算法·逻辑回归·线性回归
美团技术团队1 小时前
《Agent评测白皮书》业务实践篇:商家 AI 助手的评测与优化闭环实践
人工智能
京东云开发者1 小时前
京东11.11大促系列|Super Agent 进群:今年11.11,多了个会主动干活的"数字人队长"
人工智能
对你无可奈何2 小时前
把零散的模型用起来:Magpie 接入 Trae,再折腾两个池子
人工智能
玄昌盛不会编程2 小时前
LeetCode——2243. 计算字符串的数字和
java·算法·leetcode
七夜zippoe2 小时前
流式输出:让 AI 回答像打字机一样实时返回(SSE 全链路实战)
人工智能·spring·ai·流式输出·ssf
AI导出鸭PC端2 小时前
纳米AI怎么复制表格?对话导出总是格式崩塌,我用“AI 导出鸭”重构了工作流
人工智能·重构·豆包·ai导出鸭