零基础入门NLP - 新闻文本分类比赛方案分享 nano- Rank1

nano- 康一帅

简介

环境

  • Tensorflow == 1.14.0
  • Keras == 2.3.1
  • bert4keras == 0.8.4

文件说明

  • EDA:用于探索性数据分析。
  • data_utils:用于预训练语料的构建。
  • pretraining:用于Bert的预训练。
  • train:用于新闻文本分类模型的训练。
  • pred:用于新闻文本分类模型的预测。

其他

赛题分析

赛题背景

通过这道赛题可以引导大家走入自然语言处理的世界,带大家接触NLP的预处理、模型构建和模型训练等知识点。

任务目标

要求选手根据新闻文本字符对新闻的类别进行分类,这是一个经典文本分类问题。

数据示例

文本长度

  • 训练集共200,000条新闻,每条新闻平均907个字符,最短的句子长度为2,最长的句子长度为57921,其中75%以下的数据长度在1131以下。
  • 测试集共50,000条新闻,每条新闻平均909个字符,最短句子长度为14,最长句子41861,75%以下的数据长度在1133以下。
  • 训练集和测试集就长度来说似乎是同一分布。

标签分布

  • 赛题的数据集类别分布存在较为不均匀的情况。在训练集中科技类新闻最多,其次是股票类新闻,最少的新闻是星座新闻。

总体思路

数据划分

  • 使用StratifiedKFold交叉验证。StratifiedKFold能够确保抽样后的训练集和验证集的样本分类比例和原原始数据集基本一致。
  • 利用全部数据,获得更多信息。
  • 降低方差,提高模型性能。

查看本文全部内容,欢迎访问天池技术圈官方地址:零基础入门NLP - 新闻文本分类比赛方案分享 nano- Rank1_天池技术圈-阿里云天池

相关推荐
泯泷12 分钟前
别再“裸聊”大模型了!你家的 AI 为什么总胡说八道?根子在 RAG
人工智能·算法·架构
玖米GEO运营王总监20 分钟前
成都AI数字人视频怎么批量生产?流程与合规标注
大数据·人工智能·音视频
f6m274dww2cmd1 小时前
拆一个类目第一的20个曝光词:43% 的搜索量来自第二页
人工智能
RobinDevNotes1 小时前
24GB Mac 做数字人:声音放本地,画面租云端
人工智能·python·macos·开发工具
user4465117917912 小时前
Agent 也能「过安检」:AgentScope 权限系统设计拆解
人工智能
烟小栀2 小时前
Windows下的深度学习环境配置参考及配置教程
人工智能
tellmewhoisi3 小时前
深度学习0:数学知识:最大似然推导过程
人工智能·深度学习·概率论
oil欧哟3 小时前
从产品经理视角拆解 DeepSeek Super-agent:双层路由与异步调度架构
人工智能
张张123y3 小时前
个人助手型 Agent 的六个工程细节:Hermes 与 OpenClaw 的审批、委派、上下文与调度
网络·人工智能·开源·后端开发·ai agent
Dawson Zhu4 小时前
【模型量化⑦】W4A8与GPTQ-Int4:极限压缩与MLC-LLM部署实战
人工智能·语言模型·架构·aigc·agi