部署Qwen2.5-VL-7B-Instruct-GPTQ-Int3

模型下载

python 复制代码
from modelscope import snapshot_download
model_dir = snapshot_download('ChineseAlpacaGroup/Qwen2.5-VL-7B-Instruct-GPTQ-Int3')

相关包导入

python 复制代码
import os
import numpy as np
import pandas as pd
from tqdm import tqdm
from datetime import datetime,timedelta
from functools import wraps
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers.generation.utils import GenerationConfig

模型配置

python 复制代码
model_path = "/modelscope/hub/models/ChineseAlpacaGroup/Qwen2.5-VL-7B-Instruct-GPTQ-Int3"
tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="cuda", trust_remote_code=True,use_safetensors=True).eval()

模型调用

python 复制代码
query = tokenizer.from_list_format([
    {'image': 'https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/demo.jpeg'},
    {'text': '这是什么'},
])
response, history = model.chat(tokenizer, query=query, history=None)
print(response)
相关推荐
FlagOS智算系统软件栈21 小时前
与创新者同频!与FlagOS共赴开源之约
人工智能·ai·开源
加油吧zkf1 天前
循环神经网络 RNN:从时间序列到自然语言的秘密武器
人工智能·rnn·自然语言处理
koo3641 天前
李宏毅机器学习笔记30
人工智能·笔记·机器学习
长桥夜波1 天前
机器学习日报02
人工智能·机器学习·neo4j
Elastic 中国社区官方博客1 天前
介绍 Elastic 的 Agent Builder - 9.2
大数据·运维·人工智能·elasticsearch·搜索引擎·ai·全文检索
拓端研究室1 天前
专题:2025年制造业数智化发展白皮书:数字化转型与智能制造|附130+份报告PDF、数据、绘图模板汇总下载
人工智能
就不爱吃大米饭1 天前
ChatGPT官方AI浏览器正式推出:ChatGPT Atlas浏览器功能及操作全解!
人工智能·chatgpt
牛客企业服务1 天前
企业招聘新趋势:「AI面试」如何破解在线作弊难题?
人工智能·面试·职场和发展·招聘·ai招聘
infominer1 天前
数据处理像搭乐高?详解 RAGFlow Ingestion Pipeline
人工智能·ai-native
wudl55661 天前
华工科技(000988)2025年4月22日—10月22日
大数据·人工智能·科技