「日拱一码」076 深度学习——自然语言处理NLP

目录

深度学习与NLP介绍

什么是自然语言处理(NLP)?

深度学习如何赋能NLP?

[核心概念:词嵌入(Word Embedding)](#核心概念:词嵌入(Word Embedding))

代码示例


深度学习与NLP介绍

什么是自然语言处理(NLP)?

自然语言处理是人工智能的一个子领域,它致力于使计算机能够理解、解释和生成人类语言。它的目标是填补人类自然语言与计算机二进制语言之间的鸿沟。

NLP的应用无处不在,例如:

  • 搜索引擎(如Google、百度)
  • 智能助手(如Siri、Alexa、小爱同学)
  • 机器翻译(如Google Translate、百度翻译)
  • 垃圾邮件过滤
  • 情感分析(分析评论的正负面情绪)
  • 文本自动摘要
  • 聊天机器人

深度学习如何赋能NLP?

在深度学习出现之前,传统的NLP方法严重依赖手工制作的特征和规则,处理过程繁琐且难以覆盖语言的复杂性。

深度学习,特别是循环神经网络(RNN)长短期记忆网络(LSTM)门控循环单元(GRU) 以及革命性的Transformer架构,彻底改变了NLP领域。它们能够:

  1. 自动学习特征:无需人工设计特征,模型能从海量文本数据中自动学习词汇、语法和语义的分布式表示(即词向量)。
  2. 处理序列数据:RNN、LSTM等架构专为处理文本这类序列数据而设计,能考虑上下文信息。
  3. 实现卓越性能:基于Transformer的模型(如BERT, GPT)在几乎所有NLP任务上都取得了前所未有的 state-of-the-art (SOTA) 性能。

核心概念:词嵌入(Word Embedding)

这是深度学习NLP的基石。它将词汇从高维稀疏的one-hot表示,映射到低维稠密的向量空间中。在这个空间中,语义相近的词,其向量在空间中的位置也更接近。例如,"国王"和"女王"的向量距离,会远小于"国王"和"苹果"的向量距离。

代码示例

我们使用一个非常流行的深度学习库 Keras 和一个经典数据集 IMDb电影评论数据集(包含5万条标注了正面/负面情感的评论)来构建一个简单的情感分析模型。

任务:训练一个模型,使其能够判断一条电影评论是正面的还是负面的。

python 复制代码
# 导入必要的库
import tensorflow as tf
from tensorflow.keras.datasets import imdb
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Embedding, SimpleRNN, Dense
from tensorflow.keras.preprocessing import sequence

# 加载数据
# num_words=10000 表示只保留数据集中最常出现的10,000个单词
(top_train_data, top_train_labels), (top_test_data, top_test_labels) = imdb.load_data(num_words=10000)

# 数据预处理(标准化序列长度)
# 每条评论的单词数量不同,我们需要将其统一长度。
# maxlen=500 表示超过500词的评论会被截断,不足500词的会用0填充。
max_review_length = 500
X_train = sequence.pad_sequences(top_train_data, maxlen=max_review_length)
X_test = sequence.pad_sequences(top_test_data, maxlen=max_review_length)
y_train = top_train_labels
y_test = top_test_labels

# 构建模型
model = Sequential()
# 添加嵌入层:将10,000个词的索引映射为32维的向量
model.add(Embedding(input_dim=10000, output_dim=32, input_length=max_review_length))
# 添加一个简单的RNN层,带有32个神经元
model.add(SimpleRNN(32))
# 添加全连接层(Dense Layer)用于输出,使用sigmoid激活函数进行二分类(正面/负面)
model.add(Dense(1, activation='sigmoid'))

# 打印模型结构
model.summary()

# 编译模型
# 配置优化器、损失函数和评估指标
model.compile(optimizer='rmsprop',
              loss='binary_crossentropy',
              metrics=['accuracy'])

# 训练模型
# 将训练数据分为训练集和验证集,训练5个轮次
history = model.fit(X_train, y_train,
                    epochs=5,
                    batch_size=128,
                    validation_split=0.2) # 20%的数据用作验证

# 评估模型
# 在测试集上评估最终性能
test_loss, test_acc = model.evaluate(X_test, y_test)
print(f'\n测试集准确率: {test_acc:.4f}')  # 0.7821

# 进行预测
# 假设我们有一条新评论,需要将其转换为模型可接受的格式(这里用训练数据中的一条代替演示)
sample_review = X_test[0:1] # 取测试集第一条数据
prediction = model.predict(sample_review)
print(f"\n预测结果(值越接近1表示越正面,越接近0表示越负面): {prediction[0]}")  # [0.45097703]
if prediction[0] > 0.5:
    print("这是一条正面评论!")
else:
    print("这是一条负面评论!")  # 这是一条负面评论!
相关推荐
hunteritself19 小时前
DeepSeek 登《自然》封面,OpenAI 推出 GPT-5-Codex,Notion Agent 首亮相!| AI Weekly 9.15-9.21
前端·人工智能·chrome·gpt·深度学习·notion
饕餮怪程序猿19 小时前
(5)机器学习-模型训练的数学原理
人工智能·机器学习
字节高级特工19 小时前
蓝耘智算与DeepSeekR1:低成本高能AI模型
c++·人工智能·机器学习·计算机视觉
七元权19 小时前
论文阅读-Adaptive Multi-Modal Cross-Entropy Loss for Stereo Matching
论文阅读·深度学习·计算机视觉·损失函数·双目深度估计
铮铭19 小时前
【论文阅读】GR00T N1:面向通用人形机器人的开放基础模型
人工智能·机器人
铮铭19 小时前
【论文阅读】AutoDrive-R^2: 激励自动驾驶VLA模型的推理与自我反思能力
论文阅读·人工智能·自动驾驶
Q_Q51100828519 小时前
python+springboot+django/flask的医院食堂订餐系统 菜单发布 在线订餐 餐品管理与订单统计系统
spring boot·python·django·flask·node.js·php
zyplayer-doc20 小时前
知识库新增三方应用AI问答,新增标签管理,集成Excalidraw,重构全文检索,zyplayer-doc 2.5.4 发布啦!
人工智能·编辑器·全文检索·飞书·企业微信·开源软件·有道云笔记
淘源码d20 小时前
医院不良事件管理系统:提升医疗安全的智能化解决方案
大数据·数据库·人工智能·源码·医疗安全·不良事件管理
阿里云大数据AI技术20 小时前
阿里云 PAI 携手 NVIDIA 提供端到端物理 AI 解决方案
人工智能·nvidia