llava1.5-部署

zhzxlcc2023-10-21 16:28

llava1.5 ------demo部署

下载代码和权重

新建weights文件夹，并下载到LLaVA/weights/中。->需要修改文件名为llava-版本，例如llava-v1.5-7b.

运行

启动控制台

shell 复制代码

python -m llava.serve.controller --host 0.0.0.0 --port 4006

启动gradio

shell 复制代码

python -m llava.serve.gradio_web_server --controller http://localhost:4006  --model-list-mode reload --share

真正工作的woker，启动模型

shell 复制代码

python -m llava.serve.model_worker --host 0.0.0.0 --controller http://localhost:4006 --port 2006 --worker http://localhost:2006 --model-path /ark-local-data/licc/code/LLaVA/llava-v1.5-7b

注意！权重的文件名需要保持为"llava-v1.5-7b"格式，因为代码会通过名字，解析成相应的模型结构。

运行时会加载"mm_vision_tower": "openai/clip-vit-large-patch14-336"，代码位于LLaVA/llava/model/multimodal_encoder/builder.py，由于网络不通，需要提前下载vit模型，并修改config.json中的vision路径：LLaVA/weights/config.json，mm_vision_tower:{vision_model_path}.

cli命令行对话：

shell 复制代码

python -m llava.serve.cli     --model-path /code/LLaVA/llava-v1.5-7b     --image-file "https://llava-vl.github.io/static/images/view.jpg"     --load-4bit