深度学习登上Nature子刊!特征选择创新思路

2025深度学习发论文&模型涨点之------特征选择

特征选择作为机器学习与数据挖掘领域的核心预处理步骤,其重要性在当今高维数据时代日益凸显。

通过识别最具判别性的特征子集,特征选择算法能够有效缓解"维度灾难"、提升模型泛化能力,并增强结果的可解释性。近年来,随着深度学习与异构数据的快速发展,传统过滤式(Filter)、包裹式(Wrapper)和嵌入式(Embedded)方法正面临新的挑战与革新。

我整理了一些特征选择【**论文+代码】**合集,需要的同学公人人人号【AI创新工场】自取。

论文精选

论文1:

Recent advances in feature selection and its applications

特征选择的最新进展及其应用

方法

稀疏性特征选择:通过在损失函数中加入稀疏性约束(如L1范数)来选择特征,适用于高维小样本数据。

多源特征选择:利用来自不同源的知识(如样本相似性或特征属性)来增强特征选择的可靠性。

分布式特征选择:采用分布式计算策略,如MPI和MapReduce,以提高特征选择算法在大规模数据集上的可扩展性。

多视图特征选择:结合来自不同视图(如医学检查中的临床、影像、免疫学等)的信息,以提高特征选择的效果。

创新点

稀疏性特征选择改进:通过结构化稀疏性诱导范数(如组Lasso和弹性网)改进了Lasso方法,能够更好地处理组结构数据。

多源知识融合:提出了将不同源的知识转换为样本或特征知识的方法,提高了特征选择在小样本问题上的性能。

分布式计算支持:通过分布式计算模型,实现了在大规模数据集上的高效特征选择,计算速度提升了约10倍。

多视图学习增强:在多视图学习中,考虑了视图之间的关系,通过张量积空间表示这种关系,提高了特征选择的性能。

论文2:

IGANN SPARSE: BRIDGING SPARSITY AND INTERPRETABILITY WITH NON-LINEAR INSIGHT

IGANN SPARSE:通过非线性洞察力连接稀疏性和可解释性

方法

非线性特征选择:IGANN Sparse通过非线性特征选择过程在训练期间促进稀疏性,确保通过改进模型稀疏性提高可解释性,同时不牺牲预测性能。

极端学习机(ELM):利用ELM进行快速训练,ELM是一种简单的前馈神经网络,使用比基于梯度的算法更快的学习方法。

贝叶斯信息准则(BIC):在特征选择过程中使用BIC来平衡模型拟合和复杂性,仅保留对模型预测具有显著解释能力的特征。

创新点

非线性关系捕捉:IGANN Sparse能够捕捉数据中的非线性关系,这是传统线性特征选择方法所无法实现的。

稀疏性与可解释性平衡:在保持与非稀疏模型相当的预测性能的同时,显著减少了特征数量,提高了模型的可解释性。

性能提升:在多个数据集上,IGANN Sparse的预测性能优于或接近非稀疏模型,同时特征数量减少了约75%。

特征选择能力:与Lasso等传统特征选择方法相比,IGANN Sparse在多数数据集上表现更好,特别是在非线性关系丰富的数据集上。

论文3:

All-optical VPN Utilizing DSP-based Digital Orthogonal Filters Access for PONs

基于DSP数字正交滤波器的全光VPN接入PONs

方法

数字滤波器多址接入(DFMA)技术:利用集中式SDN控制器管理的动态软件可重构嵌入式数字正交滤波器,显著增强基于DSP的光收发器和网络操作的功能性、可升级性和灵活性。

动态数字滤波器分配与回收:通过SDN可控的动态数字滤波器分配和回收机制,实现多个VPN通信的动态建立和取消。

多种信号格式支持:系统支持脉冲幅度调制(PAM)、正交幅度调制(QAM)和正交频分复用(OFDM)等多种信号格式。

单收发器设计:每个ONU仅需一个终端收发器即可同时向上游(US)/VPN数据传输到OLT或其他ONU,显著降低网络建设和运营成本。

创新点

全光VPN的动态性:首次在DFMA-PON中实现全光VPN的动态建立和取消,支持任意流量的VPN通信。

信号格式灵活性:系统不受限于固定信号格式,可使用多种信号格式,提升了网络的适应性和灵活性。

成本效益:通过单收发器设计和数字信号处理(DSP)实现信号复用和解复用,减少了昂贵的光/电组件需求,显著降低了网络复杂性和成本。

性能提升:在25公里单模光纤传输中,DS OFDM信号的误码率(BER)低于前向纠错(FEC)限制的3.8×10^-3,US/VPN信号的功率惩罚小于2dB。

相关推荐
地平线开发者2 分钟前
征程 6 | 征程 6 工具链如何支持 Matmul/Conv 双 int16 输入量化?
算法·自动驾驶
StarPrayers.2 分钟前
卷积神经网络(CNN)入门实践及Sequential 容器封装
人工智能·pytorch·神经网络·cnn
周末程序猿7 分钟前
谈谈上下文工程(Context Engineering)
人工智能
一水鉴天22 分钟前
整体设计 逻辑系统程序 之29 拼语言+ CNN 框架核心定位、三阶段程序与三种交换模式配套的方案讨论 之2
人工智能·神经网络·cnn
海森大数据23 分钟前
AI破解数学界遗忘谜题:GPT-5重新发现尘封二十年的埃尔德什问题解法
人工智能·gpt
望获linux1 小时前
【实时Linux实战系列】Linux 内核的实时组调度(Real-Time Group Scheduling)
java·linux·服务器·前端·数据库·人工智能·深度学习
程序员大雄学编程1 小时前
「深度学习笔记4」深度学习优化算法完全指南:从梯度下降到Adam的实战详解
笔记·深度学习·算法·机器学习
Dev7z1 小时前
河南特色农产品识别系统:让AI守护“中原味道”
人工智能
万俟淋曦1 小时前
【论文速递】2025年第28周(Jul-06-12)(Robotics/Embodied AI/LLM)
人工智能·ai·机器人·大模型·论文·robotics·具身智能