tensorboard可视化时save_graph报错ERROR: Graphs differed across invocations!的一个解决方法

在使用tensorboard可视化,经常会将模型通过save_graph方法保存下来,方便查看结构。在使用save_graph经常会遇到错误(至少我经常遇到),对于我,最常见的一个错误为

复制代码
Tracing failed sanity checks!
ERROR: Graphs differed across invocations!
	Graph diff:
.....
First diverging operator:
	Node diff:
...

我是在模型中用了 pytorch 自带的 nn.MultiheadAttention 发生了这个错误,一个简单的解决方法是将原本的

python 复制代码
self.attn = nn.MultiheadAttention(128, 8, 0.1, batch_first=True)

中的 batch_first = True 删去,修改之后为

python 复制代码
self.attn = nn.MultiheadAttention(128, 8, 0.1)

注意删除 batch_first = True 后, 输入格式需要改为 (seq, batch, feature)。

相关推荐
东方佑2 分钟前
打破常规:“无注意力”神经网络为何依然有效?
人工智能·深度学习·神经网络
Mendix9 分钟前
使用 Altair RapidMiner 将机器学习引入您的 Mendix 应用程序
人工智能·机器学习
Francek Chen26 分钟前
【深度学习计算机视觉】03:目标检测和边界框
人工智能·pytorch·深度学习·目标检测·计算机视觉·边界框
九章云极AladdinEdu30 分钟前
AI集群全链路监控:从GPU微架构指标到业务Metric关联
人工智能·pytorch·深度学习·架构·开源·gpu算力
九章云极AladdinEdu38 分钟前
Kubernetes设备插件开发实战:实现GPU拓扑感知调度
人工智能·机器学习·云原生·容器·kubernetes·迁移学习·gpu算力
蒋星熠40 分钟前
深入 Kubernetes:从零到生产的工程实践与原理洞察
人工智能·spring boot·微服务·云原生·容器·架构·kubernetes
aneasystone本尊1 小时前
学习 Chat2Graph 的多智能体协作机制
人工智能
精灵vector1 小时前
LLMCompiler:基于LangGraph的并行化Agent架构高效实现
人工智能·python·langchain
机器之心1 小时前
文心新出的推理大模型,给了我们信心
人工智能·openai
冷水鱼1 小时前
Qoder,不止是编程agent,也是文档神器
人工智能·ai编程