社交网络分析2（下）：社交网络情感分析的方法、挑战与前沿技术

社交网络分析2（下）：社交网络情感分析的方法、挑战与前沿技术

• 写在最前面
• [7. 词嵌入（word embedding）的主要目的是什么？结合某方法简要地说明如何实现词嵌入。](#7. 词嵌入（word embedding）的主要目的是什么？结合某方法简要地说明如何实现词嵌入。)
• • 主要目的
  • 实现方法示例：GloVe
  • • 案例分析
  • CountVectorizer
  • • 工作流程
    • 功能
    • 应用
  • Word2Vec
  • • 核心思想
    • 主要算法
    • Word2Vec的特点
  • [GloVe（Global Vectors for Word Representation）](#GloVe（Global Vectors for Word Representation）)
  • • 关键特性
    • 实现步骤
    • 应用
  • CBOW与skip-gram
  • • [CBOW（Continuous Bag-of-Words）](#CBOW（Continuous Bag-of-Words）)
    • Skip-gram
    • [CBOW vs Skip-gram](#CBOW vs Skip-gram)
  • 传统的神经网络词向量语言模型（DNN）
  • • 语言模型简介
    • DNN结构
    • 实现过程
    • 计算优化
    • 应用场景
• 语言模型
• • 下一单词预测功能
  • 语言模型训练过程
  • • 训练过程
    • 输出解释
  • N-Gram技术
  • • 训练调整
    • 实例应用
  • Skip-Gram模型
  • • 训练过程
    • 模型优化
    • 与CBOW的区别
    • 实际应用
  • [8. 什么是负例采样？其作用是什么？](#8. 什么是负例采样？其作用是什么？)
  • • 作用与应用
    • 实现过程
    • 负例采样在Skip-gram模型中的应用
  • Word2Vec训练过程
  • • 预处理与初始化
    • 训练步骤
    • 训练结束
  • [注意力机制（Attention Mechanism）](#注意力机制（Attention Mechanism）)
  • • 概念来源
    • 工作原理
    • 应用原因
    • 神经网络中的应用
    • 实际案例
  • [注意力机制在Seq2Seq（Sequence to Sequence）模型中的应用](#注意力机制在Seq2Seq（Sequence to Sequence）模型中的应用)
  • • Seq2Seq模型概述
    • seq2seq模型结构
    • 注意力机制的集成
    • 注意力机制的工作原理
    • 应用案例
• 情感分析工具
• • python库
  • Python情感分析库概览
  • • [1. Pattern](#1. Pattern)
    • [2. VADER](#2. VADER)
    • [3. BERT](#3. BERT)
    • [4. TextBlob](#4. TextBlob)
    • [5. spaCy](#5. spaCy)
    • [6. CoreNLP](#6. CoreNLP)
  • Python情感分析库扩展
  • • [7. scikit-learn](#7. scikit-learn)
    • [8. Polyglot](#8. Polyglot)
    • [9. PyTorch](#9. PyTorch)
    • [10. Flair](#10. Flair)
  • 阿里云
  • 百度大脑
  • 微词云

写在最前面

《社交网络分析》课程由鲁宏伟老师授课，其教学方式不仅严谨负责，还充满幽默与个人见解。这个方向对我而言也尤其有吸引力，怀着极大的兴趣选修了这门课程。

二、社交网络情感分析

结合PPT第二章 社交网络情感分析

本章简要介绍社交网络情感分析的基本概念和方法

承接上文：
社交网络分析1：起源发展、不同领域的应用、核心概念
社交网络分析2（上）：社交网络情感分析的方法、挑战与前沿技术

随着社交网络在我们日常生活中的普及，理解和分析这些平台上的情感表达变得越来越重要。社交网络情感分析不仅帮助我们洞察公众情绪，还能在商业、政治和社会研究领域提供关键见解。

本博客旨在深入解析情感分析的核心概念、面临的挑战及其在社交网络领域的应用。我们将探讨不同的情感分析方法、最新的技术进展和主要的Python工具库，为感兴趣的研究者和实践者提供一个全面的指南。

7. 词嵌入（word embedding）的主要目的是什么？结合某方法简要地说明如何实现词嵌入。

主要目的

词嵌入是自然语言处理（NLP）中的一种关键技术，旨在将文本中的词语转换为计算机能够处理的数值形式。其主要目的包括：

1. 捕捉语义信息：通过将词语转换为密集向量（通常为实数向量），词嵌入能够捕获词语间的语义关系和相似性。
2. 降低维度：相较于传统的One-hot编码，词嵌入提供了更低维度的表示，减少了计算复杂性。
3. 提升模型性能：使机器学习模型更好地理解和处理自然语言，特别是在文本分类、情感分析等任务中。

实现方法示例：GloVe

GloVe（Global Vectors for Word Representation）是一种流行的词嵌入技术。以下是使用GloVe进行词嵌入的示例步骤：

1. 训练词向量：在大型语料库（如维基百科）上预训练词向量。
2. 向量表示：每个词被表示为一个固定长度的数值向量，如"king"被表示为50维的数值列表。
3. 可视化：通过颜色编码展示向量的不同维度，红色表示高值，蓝色表示低值，白色接近于零。
4. 比较相似性：通过比较不同词的词向量的颜色分布，观察它们之间的相似性和差异性。

案例分析

• 通过观察不同词的词向量，可以发现"man"和"woman"、"boy"和"girl"在某些维度上具有相似性，反映了它们之间的语义关联。
• "king"和"queen"在向量表示上的相似性可能暗示着"royalty"的概念，而与其他词如"water"明显不同，显示了类别间的差异。

词嵌入在捕捉语义信息和降维方面的优势。

• 词嵌入不仅仅是数值转换，它揭示了词语之间复杂的语义和概念关系。
• 通过维度分析，可以探索词语间的隐含关联，如年龄、性别、社会角色等。

CountVectorizer

CountVectorizer是一种用于将文本数据转换为向量形式的方法，在自然语言处理和机器学习中被广泛应用。它通过计数的方式将文档转换为向量。

工作流程

1. 词频统计：

   • CountVectorizer会根据语料库中的词频进行排序，选出前vocabsize个词构建词汇表。

2. 向量化表示：

   • 构建一个矩阵，其中列对应词汇表中的单词，行对应训练或测试样本。
   • 矩阵中的每个单元格表示对应样本中相应单词出现的次数。

功能

1. 词汇提取：

   • 作为Estimator，CountVectorizer可以在没有预设词汇字典的情况下，从语料库中提取词汇。

2. 生成模型：

   • 生成的CountVectorizer模型能够将文档转换成关于词语的稀疏表示（即词频矩阵）。

3. 与其他算法结合：

   • 生成的稀疏表示可以用于其他算法，例如LDA（隐狄利克雷分配）。

应用

• CountVectorizer可以方便地将文本转换为数字形式，使之适用于机器学习模型处理。它的向量化表示形式简单明了，便于进行后续的文本分析和机器学习任务。

Word2Vec

Word2Vec是一种流行的词嵌入技术，用于将词汇转换为固定长度的密集向量。它通过大量文档的训练数据，将词语映射到向量空间，使得具有相似含义的词汇在向量空间中彼此靠近。

• 提出于2013年的论文《Efficient Estimation of Word Representations in Vector Space》。

核心思想

• 分布式表示：每个词被映射成一个较短的词向量，构成向量空间。这种表示方式可通过统计学方法研究词与词之间的关系。
• 维度选择：词向量的长度由用户在训练时指定，与词典的规模无关。

主要算法

• Skip-gram：通过一个词预测其周围的词。适用于小型数据集，能够捕获更多关于词的细节。
• Continuous Bag of Words (CBoW)：通过周围的词来预测中心词。适用于大型数据集，训练速度更快。

Word2Vec的特点

• 向量化表示：将词汇转换为数值向量，使得机器学习模型能够更好地处理自然语言。
• 语义相似性：在向量空间中，语义相近的词语向量距离较近，可以用于捕捉词语间的语义关联。
• 模型训练：需要大量的训练数据以获得准确的词嵌入。

GloVe（Global Vectors for Word Representation）

GloVe是一种基于无监督学习的词嵌入算法，旨在获取单词的向量表示。它基于Word2Vec模型，通过全局词频统计来有效学习单词向量，展示了词向量空间中的线性子结构。

关键特性

• 全局统计：GloVe利用全局词频统计（count-based）来表征单词。
• 语义特性捕捉：词向量能够捕捉单词之间的语义特性，如相似性和类比性。

实现步骤

1. 共现矩阵构建：

   • 根据语料库构建共现矩阵 X X X，其中 X i j X_{ij} Xij表示单词 i i i与上下文单词 j j j在特定大小的上下文窗口内共同出现的次数。

2. 权重衰减函数：

   • 引入衰减函数 d e c a y = 1 d decay=\frac{1}{d} decay=d1，其中 d d d是两个单词在上下文窗口中的距离，用于计算权重，距离越远的单词对总计数的贡献越小。

3. 词向量关系近似：

   • 使用公式 w i ⋅ w j + b i + b j = l o g ( X i j ) w_i \cdot w_j + b_i + b_j = log(X_{ij}) wi⋅wj+bi+bj=log(Xij)来近似表达词向量和共现矩阵之间的关系。
   • w i w_i wi和 w j w_j wj是要求解的词向量， b i b_i bi和 b j b_j bj是偏置项。

4. 损失函数构造：

   • 构造损失函数以优化词向量，使其更好地近似共现矩阵。

应用

• 通过欧几里得距离或余弦相似度的计算，GloVe可以用来评估两个单词之间的语义相似性。
• 广泛应用于自然语言处理领域，如语义分析、文本分类等。

CBOW与skip-gram

CBOW（Continuous Bag-of-Words）

• 核心概念：CBOW模型的训练目标是根据上下文词汇的词向量来预测中心词的词向量。
• 输入：周围上下文词汇的词向量。
• 输出：特定中心词的词向量。
• 应用场景：适用于较大的数据集，能够较快地训练模型，因为它对上下文词汇进行平均处理，减少了模型的计算量。

Skip-gram

• 核心概念：Skip-gram模型的目标是通过一个特定的中心词来预测其周围上下文词汇的词向量。
• 输入：一个特定的中心词的词向量。
• 输出：周围上下文词汇的词向量。
• 应用场景：更适合于小型数据集，能够更加精确地捕捉到复杂的词汇关系，特别是罕见词或特定词。

CBOW vs Skip-gram

• 效率：CBOW通常训练速度更快，计算成本较低。
• 精度：Skip-gram在处理罕见词或特定的词语时表现更好。
• 适用性：CBOW适合于预测频繁出现的单词，而Skip-gram在处理较少出现的单词时表现更为优秀。

传统的神经网络词向量语言模型（DNN）

传统的神经网络词向量语言模型（DNN）是用于生成词嵌入的一种方法。它通过训练一个语言模型来获取词的向量化表示，即词向量。

语言模型简介

• 目的 ：判断给定的词序列（ x , y x, y x,y）是否符合自然语言的逻辑法则。
• 表示 ： f ( x ) = y f(x) = y f(x)=y，其中 x x x是一个词， y y y是这个词的上下文。
• 产物：词向量作为语言模型训练过程中的副产物，是神经网络的权重。

DNN结构

• 网络层次：一般为三层结构，包括输入层、隐藏层和输出层（softmax层）。
• 参数 ： V V V代表词汇表的大小， N N N代表隐藏层神经元个数（即词向量维度）。
• 输入：输入层采用one-hot编码表示词汇。
• 输出：输出层使用softmax函数计算概率，输出最可能的上下文词。

实现过程

1. 输入层 ：以one-hot编码形式表示词汇，长度为 1 × V 1 \times V 1×V。
2. 隐藏层 ：权重矩阵 W V × N W_{V \times N} WV×N将one-hot码转换为 N N N维词向量。
3. 输出层 ：隐藏层输出的 1 × N 1 \times N 1×N向量输入到softmax层进行分类。

计算优化

• 矩阵简化：由于one-hot编码中只有一个位置为1，输入到隐藏层的计算实际上是查找对应索引的词向量，避免了矩阵乘法的大量计算。

应用场景

• 用于构建词嵌入，支持自然语言处理中的各类任务，如文本分类、情感分析等。

语言模型

语言模型是用于理解和生成自然语言的模型，常用于预测接下来可能出现的单词或短语。它在智能手机输入法中广泛应用于下一单词预测功能。

下一单词预测功能

• 基本过程：模型接收一系列单词（如"thou shalt"），并预测可能紧随其后的单词（如"not"）。
• 概率评分：模型对所有已知单词（词库中的单词，数量可能从几千到几百万不等）进行概率评分，输入法根据这些评分推荐最可能的单词。

语言模型训练过程

1. 数据准备：

   • 从大量文本数据（如维基百科）获取语料。
   • 使用滑动窗口（包含固定数量的单词，如三个）沿文本滑动。

2. 样本生成：

   • 初始阶段：窗口锁定在句子的前三个单词上，前两个单词作为特征，第三个单词作为标签，生成第一个样本。
   • 后续：窗口滑动，生成更多样本，展示不同单词组后出现的单词。

3. 训练阶段：

   • 模型通常在滑动窗口过程中即时训练。
   • 分步骤进行（数据集生成与模型训练）有助于更清晰地理解过程。

训练过程

1. 词嵌入（Embedding）：

   • 训练后的模型生成一个映射矩阵，包含词汇表中所有单词的表示。
   • 在预测时，模型通过查询这个映射矩阵中的输入单词来计算预测值。

2. 数据丰富性：

   • 语言模型的优势之一是可利用大量现有文本资料进行训练，包括书籍、文章、维基百科等。
   • 相比之下，其他类型的机器学习模型可能需要专门设计或采集数据。

输出解释

• 输出格式：模型输出的概率通常以百分比形式表示，例如40%的概率表示为0.4。
• 输出选择：实际应用中，模型可能会输出多个单词的概率评分，输入法程序从中选择得分最高的单词作为推荐。

N-Gram技术

1. 基本原理：

   • 将文本按字节进行滑动窗口操作，形成长度为N的字节片段序列（grams）。
   • 统计每个gram的出现频度，形成关键gram列表，作为文本的向量特征空间。

2. 假设与应用：

   • 假设第N个词的出现仅与前N-1个词相关（例如Bi-Gram、Tri-Gram）。
   • 通过统计语料中词组合出现的次数来计算概率。

训练调整

• 双向考虑：考虑目标单词的左侧和右侧单词，以充分利用上下文信息。
• 调整策略：调整训练模型以考虑目标单词两侧的单词，改进预测准确性。

实例应用

• 情境分析：根据上下文信息，预测填空单词。例如，根据上下文"the big red ___"预测"bus"或"red"等。
• 信息价值：这表明单词的前后上下文都携带重要信息，对预测至关重要。

Skip-Gram模型

Skip-Gram模型是Word2Vec中的一种架构，它的目的是根据当前单词来预测其上下文中可能出现的单词。这种模型与CBOW（连续词袋模型）相反，后者基于上下文单词来预测目标单词。

训练过程

1. 数据集生成：

   • 使用滑动窗口沿文本生成训练样本。
   • 每个窗口生成多个独立样本，其中中心词作为输入，周围单词作为输出。

2. 样本示例：

   • 窗口内的中心单词作为特征输入，周围单词作为可能的输出结果。
   • 每次滑动窗口位置变化，都会产生新的样本组。

3. 模型训练：

   • 输入特征单词，模型预测邻近单词的概率。
   • 未经训练的模型在初期预测可能不准确，但通过目标向量和预测向量的误差调整，逐渐提高预测准确性。
   • 经过多轮训练，生成嵌入矩阵（词向量）。

模型优化

• 误差调整：将预测向量与目标向量的误差用于模型更新，使模型在后续预测中更加准确。

与CBOW的区别

• 架构对比：CBOW预测单个目标单词基于多个上下文单词，而Skip-Gram预测多个上下文单词基于单个目标单词。
• 应用适用性：Skip-Gram在处理罕见词或特定词语时更加有效，适合于较小的数据集。

实际应用

• 词嵌入提取：训练过程中生成的嵌入矩阵即为词向量，可用于其他自然语言处理任务。
• 理解促进：该模型的训练方法有助于理解自然语言模型的工作原理，尽管实际的Word2Vec训练方法可能更复杂。

8. 什么是负例采样？其作用是什么？

负例采样（Negative Sampling）是一种用于提高神经网络训练效率的技术，特别是在处理大量数据时。它主要用于生成高质量的词嵌入，并在此基础上训练语言模型。

作用与应用

1. 改进训练速度：负例采样显著提高了模型训练的速度，特别是在处理大规模数据集时。
2. 模型简化：它将复杂的神经网络模型简化为逻辑回归模型，从而加快了计算速度。
3. 数据集结构调整：将模型的目标转变为判断输入和输出单词是否为邻居（0表示"不是邻居"，1表示"是邻居"）。

实现过程

1. 生成正负样本：在数据集中引入负样本（非邻居单词），标签为0，以平衡所有邻居单词样本（目标为1）。
2. 随机抽取负样本：从词汇表中随机选择非邻居单词作为负样本输出。
3. 对比学习：通过比较真实信号（邻居单词）和噪声（随机非邻居单词），提升模型的鉴别能力。

负例采样在Skip-gram模型中的应用

• Skip-Gram模型：基于负例采样，Skip-Gram模型预测当前单词的上下文单词。
• Word2Vec中的应用：负例采样是Word2Vec中Skip-Gram模型的核心组成部分，提高了模型训练的效率和质量。

Word2Vec训练过程

Word2Vec训练过程详解。

预处理与初始化

1. 词典确定：

   • 词典大小（vocab_size）预先设定，例如10,000词。
   • 选择包含在词典中的单词。

2. 矩阵创建：

   • 创建两个矩阵：Embedding矩阵和Context矩阵。
   • 维度：vocab_size（词汇量）和embedding_size（嵌入长度，如300）。

3. 随机初始化：

   • 使用随机值初始化Embedding矩阵和Context矩阵。

训练步骤

1. 样本生成：

   • 采样邻近词（正样本）和非邻近词（负样本）。
   • 示例："not"（输入词）与"thou"（邻近词）、"aaron"和"taco"（负样本）。

2. 嵌入查找：

   • 输入词的嵌入来自Embedding矩阵。
   • 上下文词的嵌入来自Context矩阵。

3. 相似性计算：

   • 计算输入嵌入与每个上下文嵌入的点积，表示相似性。

4. sigmoid函数转换：

   • 使用sigmoid函数将点积结果转换为类概率值（0到1之间）。

5. 误差计算与反馈：

   • 根据目标标签计算预测误差。
   • 利用误差调整嵌入值，使后续预测更接近目标。

6. 迭代训练：

   • 重复上述过程，遍历整个数据集多次。
   • 不断改进各单词的嵌入表示。

训练结束

• 停止训练：在嵌入足够优化后停止训练过程。
• 结果应用：丢弃Context矩阵，保留并使用Embedding矩阵进行下一步任务。

注意力机制（Attention Mechanism）

概念来源

注意力机制的灵感来源于人类的视觉系统。在观察一个场景时，人们倾向于选择性地集中注意力在特定部分，而忽略其他信息。这种机制使人类能够从大量信息中有效提取重要数据。

工作原理

• 权重调整：注意力机制的本质是调整处理信息的权重，专注于当前任务最相关的部分。
• 信息筛选：在海量数据中筛选并关注最有价值的信息。

应用原因

1. 多任务处理：注意力机制融入的模型能够有效处理多任务，如问题回答、情绪分析等。
2. 可解释性与适用性：增强了模型的可解释性，适用于广泛的实际问题，具有快速的学习能力和高透明度的数据处理。
3. 挑战克服：提高模型在处理长输入序列时的性能，避免因输入长度增加而导致的性能下降。

神经网络中的应用

• 性能提升：在复杂问题处理中显著提高模型性能。
• 应对长序列：在长序列输入的情况下保持稳定的性能，适用于语言模型、序列到序列的转换等。
• 数据透明化：提供更透明的数据处理过程，有助于模型的理解和优化。

实际案例

• 问题回答系统：关注与问题最相关的信息，忽略不相关内容。
• 情绪分析：集中在表达情感的关键词或短语上，提高情绪识别的准确性。

注意力机制在Seq2Seq（Sequence to Sequence）模型中的应用

Seq2Seq模型概述

Seq2Seq（Sequence to Sequence）模型，最初由Google开发，主要用于机器翻译等序列到序列的转换任务。该模型基于循环神经网络（RNN）构建，适用于语言翻译、人机对话、内容生成等多种场景。其核心特征是能够处理可变长度的输入和输出序列。

seq2seq模型结构

• 编码器（Encoder）：负责对输入文本进行编码，将其转化为中间语义向量。编码器通常采用非线性变换的方法处理文本数据。
• 解码器（Decoder）：基于编码器提供的中间语义向量和历史信息，生成目标时刻的输出序列。

注意力机制的集成

1. 信息聚焦：注意力机制允许解码器在生成输出时聚焦于输入序列中的特定部分，从而提高输出的相关性和准确性。
2. 动态权重分配：注意力机制动态地为输入序列的每个部分分配不同的权重，这在处理长序列和复杂结构时尤为重要。

注意力机制的工作原理

• 选择性聚焦：注意力机制通过算法从大量信息中识别并聚焦于关键信息。
• 状态表示：在编码阶段，可以采用CNN或RNN等模型对文本进行编码，并选择特定时刻的隐藏状态作为向量输出。

应用案例

• 机器翻译：Seq2Seq模型将输入语言序列转换为目标语言序列，注意力机制帮助模型关注于翻译过程中的关键信息。
• 人机对话系统：解码器可以更有效地根据对话上下文生成响应，提高对话质量。
• 内容生成：模型能够根据输入内容的关键部分生成相关且连贯的文本。

情感分析工具

python库

根据您的要求，我将为您整理关于Python情感分析库的专业笔记。以下是优化后的笔记内容：

---

Python情感分析库概览

1. Pattern

• 用途：多功能库，处理NLP、数据挖掘、网络分析、机器学习、可视化。
• 特点：支持事实与观点检测，适用于情感分析。提供文本的极性（从正到负）和主观性评分。

2. VADER

• 简介：NLTK中的规则/词典基情感分析器，专为社交媒体情感设计。
• 功能：结合情感词典和词汇特征列表，标记为正面或负面。计算文本情感，输出正面、负面或中性概率。

3. BERT

• 来源：Google 2018年开发，基于Transformers的顶级模型。
• 应用：NLP任务，包括情感分析。训练于英语维基百科和BooksCorpus，展现出色的语言理解和学习能力。

4. TextBlob

• 特性：简单的Python库，支持复杂文本数据分析和操作。
• 方法：基于词典，定义情绪通过语义方向和强度，需要预定义字典。返回句子的极性和主观性。

5. spaCy

• 特征：开源NLP库，适用于建立自然语言理解系统和信息提取系统。
• 应用：可用于各种文本来源的情感分析，如电子邮件、社交媒体、产品评论等。

6. CoreNLP

• 简介：斯坦福大学提供，包含多种人类语言技术工具。
• 语言支持：支持英语、阿拉伯语、德语、中文、法语和西班牙语等。
• 功能：结合了多种斯坦福NLP工具，适用于多语言文本的情感分析。

继续整理Python情感分析库的笔记：

---

Python情感分析库扩展

7. scikit-learn

• 简介：独立Python库，最初是SciPy的第三方扩展，适用于经典机器学习任务。
• 应用于NLP：支持情感分析，提供文本向量化和多种分类器，适用于文本情感判断。

8. Polyglot

• 特点：开源库，基于Numpy，执行速度快，适合执行多种NLP操作。
• 语言支持：提供136种语言的情感分析，适用于涉及spaCy不支持的语言项目。

9. PyTorch

• 开发者：Facebook AI研究团队创建的开源库。
• 功能：支持情绪分析及多种应用程序，可在处理器、CPU和GPU上运行，具有强大的API。

10. Flair

• 基础：建立在PyTorch上的简单开源NLP库。
• 特性：提供预训练模型，包括在IMDB数据集上训练的情感分析模型。可自定义训练分类器。

阿里云

https://ai.aliyun.com/nlp/sa

百度大脑

https://ai.baidu.com/easydl/app/model/sentiment/models/new

微词云

https://fenci.weiciyun.com/cn/sentiment/?iv=S