TechGPT2部署

1.环境

conda create -n techgpt python=3.10

conda activate techgpt

2.安装依赖

pip install transformers

pip install torch

pip install accelerate

3.克隆项目

开一下学术加速,然后克隆。

source /etc/network_turbo

git clone https://github.com/neukg/TechGPT-2.0.git

4.登录 Hugging Face 账户

pip install huggingface_hub

huggingface-cli login

5.下载模型到本地

python 复制代码
from huggingface_hub import snapshot_download

snapshot_download(
    repo_id="neukg/TechGPT-2.0-Qwen1.5-7b",
    local_dir="/root/autodl-tmp/TechGPT-2.0-Qwen1.5-7b",
    resume_download=True,
    local_dir_use_symlinks=False
)

6.运行

python 复制代码
from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig
import torch

# ✅ Qwen 的系统提示语(支持中英)
DEFAULT_SYSTEM_PROMPT = "You are a helpful assistant."

# ✅ Qwen 默认不使用 Alpaca 的 [INST] 模板,直接使用自然语言 prompt
example = "请把下列标题扩写成摘要, 不少于100字: 基于视觉语言多模态的实体关系联合抽取的研究。"

# ✅ 模型路径(改为你的 Qwen 模型保存目录)
ckpt_path = "/root/autodl-tmp/TechGPT-2.0-Qwen1.5-7b"

# ✅ 加载模型与 tokenizer(注意 trust_remote_code)
tokenizer = AutoTokenizer.from_pretrained(ckpt_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    ckpt_path,
    device_map="auto",                  # 自动选择 GPU
    torch_dtype=torch.float16,
    trust_remote_code=True
)
model.eval()

# ✅ Qwen 推荐使用的生成配置
generation_config = GenerationConfig(
    temperature=0.8,
    top_p=0.8,
    top_k=40,
    num_beams=1,
    do_sample=True,
    eos_token_id=tokenizer.eos_token_id,
    pad_token_id=tokenizer.pad_token_id,
    max_new_tokens=256,
)

# ✅ 构造输入
example = "请把下列标题扩写成摘要, 不少于100字: 基于视觉语言多模态的实体关系联合抽取的研究。"

prompt = f"<|im_start|>system\n{DEFAULT_SYSTEM_PROMPT}<|im_end|>\n<|im_start|>user\n{example}<|im_end|>\n<|im_start|>assistant\n"

inputs = tokenizer(prompt, return_tensors="pt").to(model.device)


# ✅ 生成回复
with torch.no_grad():
    generation_output = model.generate(
        **inputs,
        generation_config=generation_config,
        return_dict_in_generate=True,
        output_scores=True
    )
    output = generation_output.sequences[0]
    output_text = tokenizer.decode(output, skip_special_tokens=True)

# ✅ 打印结果
print("\n🧠 模型回复:")
print(output_text)

7.效果

相关推荐
ch6236 分钟前
🚀 从零构建本地文档智能审查 Agent:Vibe Coding 实战指南
python
71777710 分钟前
互联网企业研发平台推荐:从工具堆叠到一体化协同的选型逻辑
人工智能·gitee
立青.32 分钟前
AI大模型术语
人工智能
摇滚侠35 分钟前
《On Java 中文版 基础卷》阅读笔记 接口 18
java·笔记·python
Thanks_ks1 小时前
AI Agent 开发入门:用 Function Calling 让大模型学会 “动手干活”,附订单查询机器人实战
python·ai·大模型·openai·agent·通义千问·mcp
专注仿真2 小时前
智能体训练之模仿学习:GAIL 算法详解与实战
python·算法·仿真·多智能体强化学习·afsim智能体训练
databook3 小时前
处理一批 PDF,怎么算真的处理完了
后端·python
土豆12503 小时前
你只说要什么,它负责拆活交付:任务编排插件上手指南
人工智能·llm
无足鸟ICT4 小时前
【RHCA+】swap和物理内存
linux