招行数字金融挑战赛数据分析赛带赛题二

赛题描述:根据提供的脱敏资讯新闻数据,选手需要对提供的训练集进行特征工程,构建资讯分类模型,对与测试集进行准确的新闻分类。

最终得分:0.8120。十二点关榜没看到排名,估算100+?

训练集很小,只有八千条数据,痛苦了三天,调参加模型效果不升反降。

训练集只有三列:新闻ID,文字,标签,一共四类标签。

根据文本列中的数字个数加入了文本长度特征,能够反映出文本的复杂性或信息量。

python 复制代码
X_train['length'] = X_train['文本'].apply(lambda x: len(str(x).split()))
X_test['length'] = X_test['文本'].apply(lambda x: len(str(x).split()))

文本列使用TfidfVectorizer:将文本数据转换为 TF-IDF 特征。

length列使用StandardScaler:将其转换为均值为 0,标准差为 1 的数值范围。

python 复制代码
preprocessor = ColumnTransformer(
    transformers=[
        ('text_tfidf', TfidfVectorizer(), '文本'),
        ('length_scaler', StandardScaler(), ['length'])
    ],
    remainder='passthrough'
)

选择线性支持向量机作为分类器:

python 复制代码
classifier = LinearSVC(class_weight='balanced', random_state=42, dual=False)

使用 GridSearchCV 来进行超参数调优。

python 复制代码
param_grid = {
    'preprocessor__text_tfidf__ngram_range': [(1, 2)],
    'preprocessor__text_tfidf__max_features': [50000, 70000, 90000],
    'preprocessor__text_tfidf__min_df': [1, 2, 3],
    'preprocessor__text_tfidf__max_df': [0.85, 0.9, 0.95],
    'classifier__C': [0.5, 1.0, 2.0, 5.0, 8.0, 10.0],
}

ngram_range: 设置为 (1, 2),表示我们使用 1-gram 和 2-gram(单词和双词组合)来表示文本特征。

max_features: 控制 TfidfVectorizer 中考虑的最大特征数量。尝试不同的值可以帮助我们找到最佳的特征数量。

min_df 和 max_df: 这些参数控制了 TfidfVectorizer 在选择特征时的文档频率范围,有助于排除低频和高频的噪声词汇。

C: 正则化参数,控制模型的复杂度和对训练数据的拟合程度。

对模型进行了多次交叉验证,以选择最佳参数组合。

python 复制代码
grid_search = GridSearchCV(pipeline, param_grid, cv=cv_strategy,
                           scoring='f1_macro',
                           n_jobs=-1,
                           verbose=2)
best_model = grid_search.best_estimator_
predictions = best_model.predict(X_test)

小白第一次参加类似比赛,大佬轻喷。

相关推荐
我的xiaodoujiao27 分钟前
Web UI自动化测试学习系列5--基础知识1--常用元素定位1
windows·python·学习·测试工具
SamsongSSS28 分钟前
Django之APPEND_SLASH配置爬坑
后端·python·django
扑克中的黑桃A29 分钟前
Python快速入门专业版(十):字符串特殊操作:去除空格、判断类型与编码转换
python
数据猿1 小时前
AI时代下,我们需要新一代的金融基础软件
大数据·人工智能·金融
有Li1 小时前
EndoChat:面向内镜手术的基于事实依据的多模态大型语言模型|文献速递-文献分享
大数据·论文阅读·人工智能·算法·文献·医学生
范特西_1 小时前
数组的最大美丽值
数据结构·算法
MicroTech20252 小时前
微算法科技(NASDAQ: MLGO)研发基于 DPoS 框架的 DL-DPoS(深度链接委托权益证明)机制,增强区块链的共识算法
算法·区块链
en-route2 小时前
深入理解 Scikit-learn:Python 中最常用的机器学习库
python·机器学习·scikit-learn
努力还债的学术吗喽2 小时前
PyTorch nn.Linear 终极详解:从零理解线性层的一切(含可视化+完整代码)
人工智能·pytorch·python·深度学习·基础组件·线性层·nn.linear
IT毕设梦工厂2 小时前
大数据毕业设计选题推荐-基于大数据的全球经济指标数据分析与可视化系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·数据分析·spark·毕业设计·源码·bigdata