加载GPT-2模型参数报错:TensorFlow不存在

【1】下载OpenAI通过TensorFlow保存的GPT-2模型权重

python 复制代码
import urllib.request

# 下载OpenAI通过TensorFlow保存的GPT-2模型权重
# print("\n step1:下载gpt-download.py")
# url = "https://raw.githubusercontent.com/rasbt/LLMs-from-scratch/main/ch05/01_main-chapter-code/gpt_download.py"
# filename = url.split("/")[-1]
# urllib.request.urlretrieve(url, filename)

【2】从gpt-download.py中 导入 download_and_load_gpt2函数

复制代码
执行上述代码-download_and_load_gpt2 函数, 将下载参数量为1.24亿的GPT-2模型的7个文件;
python 复制代码
# 从gpt-download.py中 导入 download_and_load_gpt2函数
print("\n step2:使用 download_and_load_gpt2函数 加载gpt-2架构设置和权重参数到python会话中")
settings, params = download_and_load_gpt2(
    model_size="124M", models_dir="gpt2"
)
# 执行上述代码-download_and_load_gpt2 函数, 将下载参数量为1.24亿的GPT-2模型的7个文件
print("\n=== 执行上述代码-download_and_load_gpt2函数, 将下载参数量为1.24亿的GPT-2模型的7个文件,, 下载完成")

【报错信息】


【3】安装tensorflow

TensorFlow ImportError: DLL load failed: 动态链接库(DLL)初始化例程失败 问题解决_tensorflow dll load failed-CSDN博客

由上述博文可知,tensorflow1.5版本可以在老cpu上运行,而大于1.5的版本需要cpu支持AVX指令集,因此无法在不支持AVX指令集的cpu上运行。

所以安装tensorfflow1.5

【3.1】安装tensorfflow1.5报错

解决tensorflow的 ImportError: DLL load failed: 动态链接库(DLL)初始化例程失败_动态链接库dll初始化例程失败-CSDN博客

【3.2】使用conda安装tensorflow1.5

参考:

解决tensorflow ==1.15安装不上的问题_pip instrall tensorflow==1.15.2-CSDN博客

cpp 复制代码
conda create -n myenv python=3.7  #创建环境
conda activate myenv
python -m pip install tensorflow==1.15.0

接着我们需要安装conda;


【4】安装conda

conda定义:Conda 是一个开源的 包管理环境管理 工具,主要用于 Python 生态,但也支持其他语言(如 R、Java 等)。它由 Anaconda 公司开发,广泛应用于数据科学、机器学习、科学计算等领域。

【4.1】Pycharm 安装anaconda

参考: PyCharm与Anaconda超详细安装配置教程_anaconda pycharm安装-CSDN博客

相关推荐
重启的码农26 分钟前
ggml 介绍(4) 计算图 (ggml_cgraph)
c++·人工智能
重启的码农28 分钟前
ggml 介绍(5) GGUF 上下文 (gguf_context)
c++·人工智能·神经网络
R-G-B1 小时前
OpenCV Python——报错AttributeError: module ‘cv2‘ has no attribute ‘bgsegm‘,解决办法
人工智能·python·opencv·opencv python·attributeerror·module ‘cv2‘·no attribute
Seeklike1 小时前
diffusers学习--stable diffusion的管线解析
人工智能·stable diffusion·diffusers
数据知道1 小时前
机器翻译:模型微调(Fine-tuning)与调优详解
人工智能·自然语言处理·机器翻译
沫儿笙2 小时前
焊接机器人保护气体效率优化
人工智能·机器人
青岛前景互联信息技术有限公司2 小时前
应急救援智能接处警系统——科技赋能应急,筑牢安全防线
人工智能·物联网·智慧城市
楚韵天工2 小时前
基于多分类的工业异常声检测及应用
人工智能·深度学习·神经网络·目标检测·机器学习·分类·数据挖掘
爱分享的飘哥2 小时前
第六十五章:AI的“精良食材”:图像标注、视频帧抽帧与字幕提取技巧
人工智能·语音识别·ai训练·视频处理·数据预处理·图像标注·字幕提取
技术老金3 小时前
给你的AI应用“降本增效”:吃透模型级联、智能缓存等三大成本优化策略
人工智能·架构