AutoDL部署大模型dots.ocr

一.AutoDL

• 网址：https://www.autodl.com

  

• 帮助文档：

  https://www.autodl.com/docs/ssh_proxy/

  

二.模型部署

dots-studio/dots.ocr部署

模型地址：https://modelscope.cn/models/dots-studio/dots.ocr

• 1.开机算力云服务器实例

  

  

• 2.本地登录算力云服务器

  ssh -p 39571 root@connect.cqa1.seetacloud.com

  

• 3.登录成功后建立隧道

  登录成功后再建隧道，在本机新开一个终端：

  ssh -CNg -L 6006:127.0.0.1:6006 -p 39571 root@connect.cqa1.seetacloud.com

  

  输入 AutoDL 给的 root 密码 后，终端会停住不动------这是正常的。

• 4.启动服务

export hf_model_path=/root/autodl-tmp/models/DotsOCR 
export PYTHONPATH=/root/autodl-tmp/models:$PYTHONPATH
export LD_LIBRARY_PATH=/root/autodl-tmp/my_envs/my_ocr/lib${LD_LIBRARY_PATH:+:$LD_LIBRARY_PATH}

vllm serve ${hf_model_path} \
  --tensor-parallel-size 1 \
  --gpu-memory-utilization 0.85 \
  --max-model-len 8192 \
  --chat-template-content-format string \
  --served-model-name dots_ocr \
  --port 6006 \
  --trust-remote-code

• 5. 浏览器访问：http://127.0.0.1:6006/docs
     
• 6.本地图片解析
  
  服务器模型调用日志：