代码解读-自然语言处理

目录

demo3文本转为向量

代码

python 复制代码
from tensorflow.keras.preprocessing.text import Tokenizer  # 标记器(每一个词,以我们的数值做映射,)

words = ['LaoWang has a Wechat account.', 'He is not a nice person.', 'Be careful.']  # 把这句话中每一个单词,映射成我们的数值
tokenizer = Tokenizer(num_words=15)  # 上面三句话中,词的总数不超过 15 个(估算的值), num_words 设置单词的数量
tokenizer.fit_on_texts(words)
word_index = tokenizer.word_index
print(word_index, len(word_index))
# 把文本转化为序列编码
sequences = tokenizer.texts_to_sequences(words)
print(sequences)
# 文本转化为矩阵
one_hot_matrix = tokenizer.texts_to_matrix(words, mode='binary')
# 向量化是构建神经网络的第一步
print(tokenizer.word_index.keys())
print(one_hot_matrix, one_hot_matrix.shape)

解读

这段代码使用tensorflowkeras库中的Tokenizer类对文本数据进行预处理。让我们逐步解读这段代码:

  1. 导入必要的库
python 复制代码
from tensorflow.keras.preprocessing.text import Tokenizer

这行代码导入了Tokenizer类,这是一个用于文本标记化的工具,可以将每个词映射到一个数值。

  1. 定义文本数据
python 复制代码
words = ['LaoWang has a Wechat account.', 'He is not a nice person.', 'Be careful.']

这里定义了一个包含三个句子的列表。

  1. 初始化标记器
python 复制代码
tokenizer = Tokenizer(num_words=15)

这里创建了一个Tokenizer对象,设置了最大的单词数为15。这意味着它只会考虑频率最高的15个单词。

  1. 适应数据
python 复制代码
tokenizer.fit_on_texts(words)

这行代码会将定义的句子列表传给标记器,使其学习句子中的单词及其频率。

  1. 获取词到索引的映射
python 复制代码
word_index = tokenizer.word_index
print(word_index, len(word_index))

这里获取了每个词及其对应的索引,并打印它们。len(word_index)将显示总共有多少个唯一单词。

  1. 将文本转化为序列编码
python 复制代码
sequences = tokenizer.texts_to_sequences(words)
print(sequences)

此行代码将原始句子转化为整数序列,每个整数对应句子中的一个单词。例如,如果"LaoWang"对应的索引是1,则"LaoWang"在序列中将被替换为1。

  1. 文本转化为矩阵
python 复制代码
one_hot_matrix = tokenizer.texts_to_matrix(words, mode='binary')

这行代码将句子转换为二进制矩阵。如果一个词在句子中,那么它的位置为1,否则为0。

  1. 显示单词和矩阵
python 复制代码
print(tokenizer.word_index.keys())
print(one_hot_matrix, one_hot_matrix.shape)

这两行代码首先打印出所有的单词,然后打印出转化后的二进制矩阵以及它的形状。

综上所述,这段代码的主要目的是展示如何使用Tokenizer进行文本的预处理,从而为后续的神经网络模型做准备。

给出每一步的输出

在每行代码的末尾添加注释,以描述其执行后的结果。

python 复制代码
from tensorflow.keras.preprocessing.text import Tokenizer

words = ['LaoWang has a Wechat account.', 'He is not a nice person.', 'Be careful.']  # words = ['LaoWang has a Wechat account.', 'He is not a nice person.', 'Be careful.']

tokenizer = Tokenizer(num_words=15)  # 初始化了一个 Tokenizer 对象

tokenizer.fit_on_texts(words)  # 这里没有直接的输出,它只是让 tokenizer 学习 words 的内容

word_index = tokenizer.word_index  
print(word_index, len(word_index))  # 输出 word_index 的内容和它的长度, 例如: {'laowang': 1, 'has': 2,...} 12

sequences = tokenizer.texts_to_sequences(words)
print(sequences)  # 输出 sequences, 例如: [[1, 2, 3, 4, 5], [6, 7, 8, 3, 9, 10], [11, 12]]

one_hot_matrix = tokenizer.texts_to_matrix(words, mode='binary')
# 没有直接的输出,但 one_hot_matrix 会变成一个二进制矩阵

print(tokenizer.word_index.keys())  # 输出 word_index 的所有键,例如: dict_keys(['laowang', 'has',...])
print(one_hot_matrix, one_hot_matrix.shape)  # 输出 one_hot_matrix 的内容和形状, 例如: [[0., 1., 1., ...], ...] (3, 15)

注意:以上的输出值示例(例如:'laowang': 1, 'has': 2,...)是基于输入数据而给出的假设。实际的输出可能会根据具体的输入数据和Tokenizer的实现方式而有所不同。

相关推荐
文火冰糖的硅基工坊4 分钟前
[人工智能-大模型-19]:GitHub Copilot:程序员的 AI 编程副驾驶
人工智能·github·copilot
shuououo2 小时前
YOLOv4 核心内容笔记
人工智能·计算机视觉·目标跟踪
DO_Community5 小时前
普通服务器都能跑:深入了解 Qwen3-Next-80B-A3B-Instruct
人工智能·开源·llm·大语言模型·qwen
WWZZ20256 小时前
快速上手大模型:机器学习3(多元线性回归及梯度、向量化、正规方程)
人工智能·算法·机器学习·机器人·slam·具身感知
deephub6 小时前
深入BERT内核:用数学解密掩码语言模型的工作原理
人工智能·深度学习·语言模型·bert·transformer
PKNLP6 小时前
BERT系列模型
人工智能·深度学习·bert
兰亭妙微7 小时前
ui设计公司审美积累 | 金融人工智能与用户体验 用户界面仪表盘设计
人工智能·金融·ux
AKAMAI7 小时前
安全风暴的绝地反击 :从告警地狱到智能防护
运维·人工智能·云计算
岁月宁静7 小时前
深度定制:在 Vue 3.5 应用中集成流式 AI 写作助手的实践
前端·vue.js·人工智能
galaxylove7 小时前
Gartner发布数据安全态势管理市场指南:将功能扩展到AI的特定数据安全保护是DSPM发展方向
大数据·人工智能