paddlenlp cpu windows 下测试gpt

paddlenlp

安装python3.11版本

conda create -n python311 python=3.11

激活python

conda activate python311

安装paddlepaddle

conda install paddlepaddle==3.0.0b0 -c paddle

pip install paddlenlp==3.0.0b0 -U -i https://pypi.tuna.tsinghua.edu.cn/simple

windows下提示:

AttributeError: module 'mmap' has no attribute 'MAP_PRIVATE'

解决方法:

E:\Anaconda3\envs\python311\Lib\site-packages\paddlenlp\utils\safetensors.py

修改280行:

self.file_mmap = mmap.mmap(self.file.fileno(), 0, access=mmap.MAP_PRIVATE)

self.file_mmap = mmap.mmap(self.file.fileno(), 0, access=mmap.ACCESS_READ)

错误提示:RuntimeError: (NotFound) The kernel with key (CPU, Undefined(AnyLayout), float16) of kernel multiply is not registered. Selected wrong DataType float16. Paddle support following DataTypes: complex64, bool, bfloat16, complex128, float32, int32, float64, int64

原因:

在CPU环境调用时,模型支持dtype为float32或者float64;

在GPU环境(非Ampere架构)调用时,模型支持dtype为float16、float32或者float64;

在GPU环境(Ampere及后续架构)调用时,模型支持dtype为bfloat16、float16、float32或者float64;

测试代码:

python 复制代码
import os
from modelscope import snapshot_download

os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"
os.environ["TF_ENABLE_ONEDNN_OPTS"] = "0"

from paddlenlp.transformers import AutoTokenizer, AutoModelForCausalLM

model_dir = snapshot_download("Qwen/Qwen2-0.5B")

tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-0.5B",trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-0.5B", dtype="float32")
input_features = tokenizer("你好!请自我介绍一下。", return_tensors="pd")
outputs = model.generate(**input_features, max_length=128)
tex=tokenizer.batch_decode(outputs[0])
print(tex)
#['我是一个AI语言模型,我可以回答各种问题,包括但不限于:天气、新闻、历史、文化、科学、教育、娱乐等。请问您有什么需要了解的吗?']
相关推荐
路由侠内网穿透21 分钟前
本地部署 GPS 跟踪系统 Traccar 并实现外部访问
运维·服务器·网络·windows·tcp/ip
研华嵌入式8 小时前
如何在高通跃龙QCS6490 Arm架构上使用Windows 11 IoT企业版?
arm开发·windows·嵌入式硬件
带娃的IT创业者12 小时前
Windows 平台上基于 MCP 构建“文心一言+彩云天气”服务实战
人工智能·windows·文心一言·mcp
csdn_aspnet14 小时前
Windows Node.js 安装及环境配置详细教程
windows·node.js
摇滚侠15 小时前
java语言中,list<String>转成字符串,逗号分割;List<Integer>转字符串,逗号分割
java·windows·list
Source.Liu15 小时前
【Pywinauto库】12.2 pywinauto.element_info 后端内部实施模块
windows·python·自动化
Source.Liu15 小时前
【Pywinauto库】12.1 pywinauto.backend 后端内部实施模块
开发语言·windows·python·自动化
私人珍藏库15 小时前
[Windows] FileOptimizer v17.1.0_一款文件批量压缩工具
windows·批量压缩
掘根15 小时前
【CMake】List
windows·microsoft·list
Code_流苏16 小时前
AI热点周报(9.7~9.13):阿里Qwen3-Next震撼发布、Claude 增强记忆与服务抖动、OpenAI 聚焦模型规范化...
人工智能·gpt·ai·openai·claude·qwen3-next·架构创新