微博情感分析项目学习笔记

一、demo01字库的提取.py

1.1 导入依赖库

python 复制代码

from tqdm import tqdm
import pickle as pkl

tqdm 是第三方库，用来显示进度条；pickle 是标准库，用来打包 Python 数据。

1.2 设置词表上限与特殊符号

python 复制代码

MAX_VOCAB_SIZE = 4760
UNK, PAD = '<UNK>', '<PAD>'

词表长度最多 4760。UNK 是未知字，PAD 是补齐符号。注释里举了个例子：今天天气真好，我咱要去打球 → 今天天气真好，我<UNK>要去打球<PAD>...

1.3 定义建字库函数

python 复制代码

def build_vocab(file_path, max_size, min_freq):

参数分别是：语料库路径、最多取多少个词、最低词频。

1.4 分字与统计词频

python 复制代码

tokenizer = lambda x: [y for y in x]
vocab_dic = {}

tokenizer 就是把一句话拆成一个个字。vocab_dic 用来统计每个字出现多少次。

1.5 读取语料文件

python 复制代码

with open(file_path, 'r', encoding='UTF-8') as f:
    i = 0
    for line in tqdm(f):
        if i ==0:
            i += 1
            continue
        lin = line[2:].strip()
        if not lin:
            continue

用 UTF-8 打开文件，tqdm(f) 显示进度条。第一行是表头，跳过。line[2:] 是取评论内容，把标签去掉。空内容也跳过。

统计每个字：

python 复制代码

for word in tokenizer(lin):
    vocab_dic[word] = vocab_dic.get(word, 0) + 1

每碰到一个字，就在字典里加 1。get(word, 0) 意思是：有这个字就取原来的次数，没有就当 0。

然后过滤、排序、编号：

python 复制代码

vocab_list = sorted([_ for _ in vocab_dic.items() if _[1] > min_freq], key=lambda x: x[1], reverse=True)[:max_size]
vocab_dic = {word_count[0]: idx for idx, word_count in enumerate(vocab_list)}
vocab_dic.update({UNK: len(vocab_dic), PAD: len(vocab_dic) + 1})

这里只保留出现次数大于 min_freq 的字，再按次数从高到低排，取前 max_size 个。enumerate 给它们从 0 开始编号。最后把 <UNK> 和 <PAD> 加到末尾。

保存字库：

python 复制代码

pkl.dump(vocab_dic, open('simplifyweibo_4_moods.pkl', 'wb'))
print(f"Vocab size: {len(vocab_dic)}")
return vocab_dic

把"字 → 编号"的字典存成 pkl 文件，打印字库大小，再返回。

最后是主入口：

python 复制代码

if __name__ == "__main__":
    vocab = build_vocab('simplifyweibo_4_moods.csv',MAX_VOCAB_SIZE,3)
    print('结束')

只有直接运行这个文件，才会执行这里。调用这个文件时，不会执行。这里 min_freq 传的是 3，代码里是 > min_freq，所以是保留出现次数大于 3 的字。

二、load_dataset.py

2.1 导入依赖库

python 复制代码

from tqdm import tqdm
import pickle as pkl
import random
import torch

tqdm 还是进度条，pkl 读字库，random 打乱数据，torch 后面转张量。

2.2 定义特殊符号

python 复制代码

UNK, PAD = '<UNK>', '<PAD>'

2.3 定义加载数据函数

python 复制代码

def load_dataset(path, pad_size=70):
    contents = []
    vocab = pkl.load(open('simplifyweibo_4_moods.pkl', 'rb'))
    tokenizer = lambda x: [y for y in x]

contents 用来存转换后的句子。vocab 读取刚才保存的字库。tokenizer 还是分字。pad_size=70，表示每条句子统一到 70 个字。

2.4 读取语料文件

python 复制代码

with open(path, 'r', encoding='UTF-8') as f:
    i = 0
    for line in tqdm(f):
        if i ==0:
            i += 1
            continue
        if not line:
            continue
        label = int(line[0])
        content = line[2:].strip('\n')

跳过表头和空行。label 取第一个字符，转成整数。content 从第三个字符开始取，去掉换行。

2.5 补齐或截断句子长度

python 复制代码

words_line = []
token = tokenizer(content)
seq_len = len(token)
if pad_size:
    if len(token) < pad_size:
        token.extend([PAD] * (pad_size - len(token)))
    else:
        token = token[:pad_size]
        seq_len = pad_size

words_line 用来存编号。token 是分好的字。seq_len 记真实长度。少于 70 个字，就补 <PAD>；大于等于 70，就只取前 70 个，长度改成 70。

再把字换成编号：

python 复制代码

for word in token:
    words_line.append(vocab.get(word, vocab.get(UNK)))
contents.append((words_line, int(label), seq_len))

每个字去字库里查编号，查不到就用 <UNK> 的编号。每条数据变成：编号列表、标签、长度。

然后打乱和切分：

python 复制代码

random.shuffle(contents)
train_data = contents[ : int(len(contents)*0.8)]
dev_data = contents[int(len(contents)*0.8) : int(len(contents)*0.9)]
test_data = contents[int(len(contents) * 0.9):]
return vocab, train_data, dev_data, test_data

先打乱，再按 8:1:1 分。前 80% 是训练集，80% 到 90% 是验证集，90% 到最后是测试集。最后返回字库和三个数据集。

主入口：

python 复制代码

if __name__ == "__main__":
    vocab, train_data, dev_data,test_data = load_dataset('simplifyweibo_4_moods.csv')
    print(train_data, dev_data,test_data )
    print('结束')

直接运行就调用 load_dataset，打印数据。注释里说后面可以把三个数据存成 pkl，但这段代码里还没写。

最后是 DatasetIterator 类：

python 复制代码

class DatasetIterator(object):
    def __init__(self, batches, batch_size, device):
        self.batch_size = batch_size
        self.batches = batches
        self.n_batches = len(batches) // batch_size
        self.residue = False
        if len(batches) % self.n_batches != 0:
            self.residue = True
        self.index = 0
        self.device = device

这个类用来打包数据。初始化时记住 batch 大小、全部数据、能切成多少个 batch、有没有剩余、处理到第几个包、设备是什么。

然后是转张量：

python 复制代码

    def _to_tensor(self, datas):
        x = torch.LongTensor([_[0] for _ in datas]).to(self.device)
        y = torch.LongTensor([_[1] for _ in datas]).to(self.device)
        seq_len = torch.LongTensor([_[2] for _ in datas]).to(self.device)
        return (x, seq_len), y

把一批数据里的编号列表、标签、长度分别拿出来，转成 LongTensor，放到设备上。返回时，评论和长度放一起，标签单独放。后面怎么按 batch 取，还没讲。