Tensorflow推理时遇见PTX错误,安装CUDA及CuDNN, 解决问题!

问题原因:

使用TensorFlow一个小模型是进行推理的时候,报了PTX错误:

复制代码
Traceback (most recent call last): 20273 2025-06-18 10:20:38.345 INFO 1 --- [checkTask-1] c.l.a.d.a.util.AnalyzeCommonHelper : File "/home/python/common/image_quality_predict.py", line 91, in main 20274 2025-06-18 10:20:38.346 INFO 1 --- [checkTask-1] c.l.a.d.a.util.AnalyzeCommonHelper : nima.build() 20275 2025-06-18 10:20:38.346 INFO 1 --- [checkTask-1] c.l.a.d.a.util.AnalyzeCommonHelper : File "/home/python/common/image_quality_model_builder.py", line 40, in build 20276 2025-06-18 10:20:38.346 INFO 1 --- [checkTask-1] c.l.a.d.a.util.AnalyzeCommonHelper : self.base_model = BaseCnn(input_shape=(224, 224, 3), weights=self.weights, in clude_top=False, pooling='avg') 20277 2025-06-18 10:20:38.346 INFO 1 --- [checkTask-1] c.l.a.d.a.util.AnalyzeCommonHelper : File "/root/anaconda3/envs/llm_data_process/lib/python3.10/site-packages/keras/ src/applications/mobilenet.py", line 192, in MobileNet 20278 2025-06-18 10:20:38.346 INFO 1 --- [checkTask-1] c.l.a.d.a.util.AnalyzeCommonHelper : x = _conv_block(img_input, 32, alpha, strides=(2, 2)) 20279 2025-06-18 10:20:38.346 INFO 1 --- [checkTask-1] c.l.a.d.a.util.AnalyzeCommonHelper : File "/root/anaconda3/envs/llm_data_process/lib/python3.10/site-packages/keras/ src/applications/mobilenet.py", line 320, in _conv_block 20280 2025-06-18 10:20:38.346 INFO 1 --- [checkTask-1] c.l.a.d.a.util.AnalyzeCommonHelper : x = layers.Conv2D( 20281 2025-06-18 10:20:38.346 INFO 1 --- [checkTask-1] c.l.a.d.a.util.AnalyzeCommonHelper : File "/root/anaconda3/envs/llm_data_process/lib/python3.10/site-packages/keras/ src/utils/traceback_utils.py", line 122, in error_handler 20282 2025-06-18 10:20:38.347 INFO 1 --- [checkTask-1] c.l.a.d.a.util.AnalyzeCommonHelper : raise e.with_traceback(filtered_tb) from None 20283 2025-06-18 10:20:38.347 INFO 1 --- [checkTask-1] c.l.a.d.a.util.AnalyzeCommonHelper : File "/root/anaconda3/envs/llm_data_process/lib/python3.10/site-packages/keras/ src/backend/tensorflow/random.py", line 19, in _cast_seed 20284 2025-06-18 10:20:38.347 INFO 1 --- [checkTask-1] c.l.a.d.a.util.AnalyzeCommonHelper : seed = tf.cast(tf.math.floormod(seed, tf.int32.max - 1), dtype="int32") 20285 2025-06-18 10:20:38.347 INFO 1 --- [checkTask-1] c.l.a.d.a.util.AnalyzeCommonHelper : tensorflow.python.framework.errors_impl.InternalError: {{function_node __wrapped_ _FloorMod_device_/job:localhost/replica:0/task:0/device:GPU:0}} 'cuLaunchKernel(function, gridX, gridY, gridZ, blockX, blockY, blockZ, 0, reinterpret_cast<CUstream>(stream), params, nullptr)' failed with 'CUDA_ERROR_INVALID_HANDLE' [Op:FloorMod] name:

查找错误原因是:
驱动和 CUDA/cuDNN 版本不兼容

当前系统里只有cuda驱动没有安装CUDA、CuDNN。

因为牵涉到要尽量兼容其他机器的CUDA版本,就安装了当前这台机器支持的最高版本12.2。

安装CUDA12.2:

找到对应版本
CUDA Toolkit Archive | NVIDIA Developer

选择对应操作系统
CUDA Toolkit 12.2 Downloads | NVIDIA Developer

安装过程:

这里输入accept:

因为已经安装过 Nvidia 显卡驱动了,因此不需要再安装了。如果你尚未安装驱动,可以顺便一起安装了。摁一下空格取消 Driver 安装,直接选择 Install 安装:

安装成功:

安装Cuda12编译所需的CuDNN版本9.3.0:
pip install nvidia-cudnn-cu12==9.3.0.75
问题成功解决!

相关推荐
码农学院2 天前
Neo4j知识图谱赋能跨境电商GEO:LLM实体识别与AI搜索引擎结构化数据输出实战
人工智能·知识图谱·neo4j
TE-茶叶蛋2 天前
RAG智能电商客服什么时候上Neo4j?
neo4j
羊羊小栈2 天前
基于GraphRAG的税务财务智能问答系统(Neo4j_大语言模型)
人工智能·算法·语言模型·自然语言处理·毕业设计·neo4j·大作业
hhzz4 天前
(九)在MCU上跑AI推理:ESP-DL vs TFLite Micro,选哪个?怎么优化?
人工智能·单片机·neo4j·esp·ai推理
༄沐࿆风࿆࿆4 天前
neo4j Desktop下载学习笔记
笔记·学习·neo4j
我是唐青枫4 天前
Java Neo4j 实战指南:从图模型、Cypher 到 Spring Boot 关系查询
java·spring boot·neo4j
AI-好学者9 天前
RDF对比与Neo4j性能优化
人工智能·知识图谱·neo4j·knowledge graph
冷小鱼14 天前
Neo4j 深度解析:从原生图存储到 GraphRAG 的知识图谱革命
人工智能·知识图谱·neo4j
24计网1王仔寿18 天前
Linux运维与云计算全栈系统化学习指南(Shell+虚拟化+OpenStack+Docker+公私云实战)
linux·课程设计·数据库开发·微信公众平台·neo4j·命令模式·sequoiadb
羊羊小栈1 个月前
基于GraphRAG的医疗健康知识诊断系统(Neo4j_大语言模型)
人工智能·语言模型·毕业设计·知识图谱·创业创新·neo4j·大作业