【求助帖(已解决)】用PyTorch搭建MLP网络时遇到奇怪的问题

(已解决,看最后)

求助:我在测试自己搭建的通用MLP网络时,发现它与等价的参数写死的MLP网络相比效果奇差无比,不知道是哪里出了问题,请大佬们帮忙看下。

我写的通用MLP网络:

python 复制代码
class MLP(nn.Module):
    def __init__(self, feature_num, class_num, *hidden_nums):
        super().__init__()
        self.feature_num = feature_num
        self.class_num = class_num
        self.hidden_nums = hidden_nums

        input_num = feature_num
        for i, hidden_num in enumerate(hidden_nums):
            self.__dict__['fc' + str(i)] = nn.Linear(input_num, hidden_num)
            input_num = hidden_num
        self.output = nn.Linear(input_num, class_num)

    def forward(self, x):
        for i in range(len(self.hidden_nums)):
            x = F.relu(self.__dict__['fc' + str(i)](x))
        x = self.output(x)[..., 0] if self.class_num == 1 else F.sigmoid(self.output(x))
        return x

按理说这样实例化时:

python 复制代码
model = MLP(57, 2, 30, 10)

它应该与下面这个网络等价:

python 复制代码
class MLPclassification(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc0 = nn.Linear(57, 30)
        self.fc1 = nn.Linear(30, 10)
        self.output = nn.Linear(10, 2)

    def forward(self, x):
        x = F.relu(self.fc0(x))
        x = F.relu(self.fc1(x))
        x = F.sigmoid(self.output(x))
        return x

但当我用model = MLP(57, 2, 30, 10)训练网络时,在二分类问题中,它把所有数据都预测成了类别0:

而用 model = MLPclassification()训练网络时,预测的效果很好:

我检查了半天,不知道是哪里出了问题,有没有大佬懂的,帮忙看下,十分感谢!


解决了!我检查了nn.Module的__setattr__()方法(向对象的name属性赋值、即定义实例变量时自动调用的方法),发现__setattr__()会将Module类型的变量移到_modules属性下面:

所以批量定义全连接层时不能直接向__dict__属性赋值,这样会绕过__setattr__()方法的类型检查,导致最后优化器无法通过model.parameters()获取并更新隐藏层的权重。所以应该在__dict__['_modules']属性中批量定义全连接层,就能解决这个问题了。更新后的通用MLP网络代码如下:

python 复制代码
class MLP(nn.Module):
    def __init__(self, feature_num, class_num, *hidden_nums):
        super().__init__()
        self.feature_num = feature_num
        self.class_num = class_num
        self.hidden_nums = hidden_nums

        input_num = feature_num
        for i, hidden_num in enumerate(hidden_nums):
            self.__dict__['_modules']['fc' + str(i)] = nn.Linear(input_num, hidden_num)
            input_num = hidden_num
        self.output = nn.Linear(input_num, class_num)

    def forward(self, x):
        for i in range(len(self.hidden_nums)):
            x = F.relu(self.__dict__['_modules']['fc' + str(i)](x))
        x = self.output(x)[..., 0] if self.class_num == 1 else F.softmax(self.output(x), dim=-1)
        return x

预测效果非常好:

感悟:看来没啥事还是不要随便动下划线开头的东西,你不知道会不会牵动到别的地方,出了问题处理起来挺麻烦的。

相关推荐
亿牛云爬虫专家27 分钟前
如何通过subprocess在数据采集中执行外部命令 —以微博为例
爬虫·python·数据采集·多线程·代理ip·subprocess·微博
敲代码不忘补水44 分钟前
Python Pickle 与 JSON 序列化详解:存储、反序列化与对比
开发语言·python·json
蜡笔小新星1 小时前
机器学习和深度学习的区别
开发语言·人工智能·经验分享·深度学习·学习·机器学习
西农小陈2 小时前
python-字符排列问题
数据结构·python·算法
测试19982 小时前
使用Selenium进行网页自动化
自动化测试·软件测试·python·selenium·测试工具·自动化·测试用例
小黄酥2 小时前
Python学习笔记--模块
笔记·python·学习
UvwxyZ6662 小时前
python日志记录与命令行交互
开发语言·python
TechQuester3 小时前
OpenAI 刚刚推出 o1 大模型!!突破LLM极限
人工智能·python·gpt·算法·chatgpt
西农小陈3 小时前
python-简单的数据结构
数据结构·python·算法
无敌开心3 小时前
Django-Celery-Flower实现异步和定时爬虫及其监控邮件告警
爬虫·python·django