联想Y7000+RTX4060+i7+Ubuntu22.04运行DeepSeek开源多模态大模型Janus-Pro-1B+本地部署

直接上手搓了:

bash 复制代码
conda create -n myenv python=3.10 -y

git clone https://github.com/deepseek-ai/Janus.git

cd Janus

pip install -e .

pip install webencodings beautifulsoup4 tinycss2

pip install -e .[gradio]

pip install 'pexpect>4.3'

python demo/app_januspro.py

由于RTX4060只有8G显存,只能运行1B的模型,下面是下载模型的代码:

python 复制代码
from modelscope import snapshot_download, AutoTokenizer
from transformers import TrainingArguments, Trainer, DataCollatorForSeq2Seq, Qwen2VLForConditionalGeneration, AutoProcessor
import torch

# 在modelscope上下载Qwen2-VL模型到本地目录下
model_dir = snapshot_download("deepseek-ai/Janus-Pro-1B", cache_dir="./", revision="master")

# 使用Transformers加载模型权重
tokenizer = AutoTokenizer.from_pretrained("./deepseek-ai/Janus-Pro-1B/", use_fast=False, trust_remote_code=True)
# 特别的,Qwen2-VL-2B-Instruct模型需要使用Qwen2VLForConditionalGeneration来加载
model = Qwen2VLForConditionalGeneration.from_pretrained("./deepseek-ai/Janus-Pro-1B/", device_map="auto", torch_dtype=torch.bfloat16, trust_remote_code=True,)
model.enable_input_require_grads()  # 开启梯度检查点时,要执行该方法

修改demo/app_januspro.py中model的名称为1B。运行后用浏览器打开http://127.0.0.1:7860即可。

使用效果图:

相关推荐
灏瀚星空1 小时前
【深度学习基础】主流激活函数的核心原理、应用技巧与选择策略
人工智能·深度学习·机器学习
每天都要写算法(努力版)2 小时前
【神经网络与深度学习】GAN 生成对抗训练模型在实际训练中很容易判别器收敛,生成器发散
深度学习·神经网络·生成对抗网络
kyle~2 小时前
计算机视觉---目标追踪(Object Tracking)概览
人工智能·深度学习·计算机视觉
Vizio<3 小时前
基于MNIST数据集的手写数字识别(CNN)
人工智能·笔记·深度学习·神经网络·cnn
Mr.Winter`4 小时前
深度强化学习 | 基于SAC算法的移动机器人路径跟踪(附Pytorch实现)
人工智能·pytorch·深度学习·神经网络·机器人·自动驾驶·ros
AI糊涂是福5 小时前
人工智能、机器学习与深度学习:概念解析与内在联系
人工智能·深度学习·机器学习
Douglassssssss6 小时前
【深度学习】残差网络(ResNet)
网络·人工智能·深度学习
卡尔曼的BD SLAMer6 小时前
计算机视觉与深度学习 | Python实现EMD-SSA-VMD-LSTM时间序列预测(完整源码和数据)
python·深度学习·算法·cnn·lstm
白熊18814 小时前
【图像生成大模型】Wan2.1:下一代开源大规模视频生成模型
人工智能·计算机视觉·开源·文生图·音视频
四口鲸鱼爱吃盐15 小时前
BMVC2023 | 多样化高层特征以提升对抗迁移性
人工智能·深度学习·cnn·vit·对抗攻击·迁移攻击