联想Y7000+RTX4060+i7+Ubuntu22.04运行DeepSeek开源多模态大模型Janus-Pro-1B+本地部署

直接上手搓了:

bash 复制代码
conda create -n myenv python=3.10 -y

git clone https://github.com/deepseek-ai/Janus.git

cd Janus

pip install -e .

pip install webencodings beautifulsoup4 tinycss2

pip install -e .[gradio]

pip install 'pexpect>4.3'

python demo/app_januspro.py

由于RTX4060只有8G显存,只能运行1B的模型,下面是下载模型的代码:

python 复制代码
from modelscope import snapshot_download, AutoTokenizer
from transformers import TrainingArguments, Trainer, DataCollatorForSeq2Seq, Qwen2VLForConditionalGeneration, AutoProcessor
import torch

# 在modelscope上下载Qwen2-VL模型到本地目录下
model_dir = snapshot_download("deepseek-ai/Janus-Pro-1B", cache_dir="./", revision="master")

# 使用Transformers加载模型权重
tokenizer = AutoTokenizer.from_pretrained("./deepseek-ai/Janus-Pro-1B/", use_fast=False, trust_remote_code=True)
# 特别的,Qwen2-VL-2B-Instruct模型需要使用Qwen2VLForConditionalGeneration来加载
model = Qwen2VLForConditionalGeneration.from_pretrained("./deepseek-ai/Janus-Pro-1B/", device_map="auto", torch_dtype=torch.bfloat16, trust_remote_code=True,)
model.enable_input_require_grads()  # 开启梯度检查点时,要执行该方法

修改demo/app_januspro.py中model的名称为1B。运行后用浏览器打开http://127.0.0.1:7860即可。

使用效果图:

相关推荐
算家计算8 小时前
DeepSeek发布新模型!采用全新稀疏注意力架构设计,与国产芯片协同优化
人工智能·开源·deepseek
春末的南方城市9 小时前
阿里开源视频修复方法Vivid-VR:以独特策略与架构革新,引领生成视频修复高质量可控新时代。
人工智能·深度学习·机器学习·计算机视觉·aigc
补三补四10 小时前
深度学习激活函数:从 Sigmoid 到 GELU 的演变历程
人工智能·深度学习
强盛小灵通专卖员10 小时前
深度学习中Bootstrap详解
人工智能·深度学习·bootstrap·sci·sci期刊·小论文
量子位10 小时前
DeepSeek突然拥抱国产GPU语言!TileLang对标CUDA替代Triton,华为昇腾Day0官宣支持适配
ai编程·deepseek
FIT2CLOUD飞致云12 小时前
推出工具商店,工作流新增支持循环、意图识别、文生视频和图生视频节点,MaxKB v2.2.0版本发布
人工智能·开源·deepseek
진영_12 小时前
深度学习打卡第N7周:调用Gensim库训练Word2Vec模型
人工智能·深度学习·word2vec
AI人工智能+13 小时前
蒙古文识别技术:采用深度学习模型(CNN+RNN)处理蒙古文竖写特性,实现高精度识别
深度学习·ocr·蒙古文识别
l12345sy14 小时前
Day31_【 NLP _1.文本预处理 _(4)文本特征处理、文本数据增强】
人工智能·深度学习·自然语言处理
0xCode 小新14 小时前
【C语言内存函数完全指南】:memcpy、memmove、memset、memcmp 的用法、区别与模拟实现(含代码示例)
linux·c语言·人工智能·深度学习·机器学习·容器·内存函数