0数据准备与分析
二分类任务，正负样本共计6W；
数据集下载
样本的分布
正负样本中评论字段的长度 ，超过500的都很少，可以直接截断；
- 处理的时候长文本截断；
- 可以前面取一点，中间取，尾巴取；
下载停用词：备用
import nltk
from nltk.corpus import stopwords
下载停用词资源
nltk.download('stopwords')
获取中文停用词列表
stopwords_cn_list = stopwords.words('chinese')
0 NLP: 数据获取与EDA
汀沿河2023-11-29 5:00
相关推荐
IT_陈寒2 小时前
React 18实战：7个被低估的Hooks技巧让你的开发效率提升50%逛逛GitHub3 小时前
飞书多维表“独立”了！功能强大的超出想象。机器之心3 小时前
刚刚，DeepSeek-R1论文登上Nature封面，通讯作者梁文锋aneasystone本尊5 小时前
学习 Chat2Graph 的知识库服务IT_陈寒6 小时前
Redis 性能翻倍的 7 个冷门技巧，第 5 个大多数人都不知道！飞哥数智坊16 小时前
GPT-5-Codex 发布，Codex 正在取代 Claude倔强青铜三16 小时前
苦练Python第46天：文件写入与上下文管理器虫无涯17 小时前
Dify Agent + AntV 实战：从 0 到 1 打造数据可视化解决方案Dm_dotnet19 小时前
公益站Agent Router注册送200刀额度竟然是真的算家计算19 小时前
7B参数拿下30个世界第一！Hunyuan-MT-7B本地部署教程：腾讯混元开源业界首个翻译集成模型