0数据准备与分析
二分类任务，正负样本共计6W；
数据集下载
样本的分布
正负样本中评论字段的长度 ，超过500的都很少，可以直接截断；
- 处理的时候长文本截断；
- 可以前面取一点，中间取，尾巴取；
下载停用词：备用
import nltk
from nltk.corpus import stopwords
下载停用词资源
nltk.download('stopwords')
获取中文停用词列表
stopwords_cn_list = stopwords.words('chinese')
0 NLP: 数据获取与EDA
汀沿河2023-11-29 5:00
相关推荐
william_yangshun2 小时前
【AI Agent 实战】agent-vision-toolkit 中文版：给纯文本模型（DeepSeek）装上视觉能力智能体与具身智能2 小时前
TVA具身智能的概念、架构与应用（19）AI智能体工作室2 小时前
生产级 RAG 检索增强架构实战：向量数据库、混合检索（Hybrid Search）、RRF 融合与重排（Rerank）全链路geinvse_seg3 小时前
我做了个 AI 架构审查员，把整个微服务项目通读了一遍，还顺手做成了 Skill李帅朋3 小时前
微分基本定义笔记醍醐实验室3 小时前
下一代端到端全模态（Omni）模型解密：离散音频 Token 化与极速双工流式交互架构米小虾3 小时前
你的 Agent 有 1000 万上下文，为什么第 50 轮就开始失忆？东风破_3 小时前
Text2SQL ：用自然语言操作 SQLite 数据库吴佳浩 Alben3 小时前
Agent 怎么做自动化评测？构建端到端的 Agent Evaluation 体系G***技3 小时前
告别“云端依赖”：LH707 如何重构 AI 视频监控的底层逻辑？