大模型部署

大模型:

docker run -d --gpus all -v D:\ai\DeepSeek-R1-Distill-Qwen-1.5B:/models -p 8000:8000 --ipc=host docker.1panel.live/vllm/vllm-openai:latest /models --trust-remote-code --max-model-len 4096 --served-model-name qwen-1.5b --gpu-memory-utilization 0.7 --disable-log-requests

embedding模型

docker run -d --gpus all -v D:\ai\Qwen3-VL-Embedding-2B:/models -p 8001:8001 --ipc=host docker.1panel.live/vllm/vllm-openai:latest /models --trust-remote-code --max-model-len 4096 --served-model-name Embedding-2B --gpu-memory-utilization 0.5 --disable-log-requests

curl http://localhost:8000/v1/completions -H "Content-Type: application/json" -d "{\"model\":\"qwen-1.5b\",\"prompt\":\"你好,你是谁?简单介绍一下自己\",\"max_tokens\":200,\"temperature\":0.7}"

langchain必须结合langchain_openai进行远程调用

相关推荐
大郭鹏宇7 分钟前
适老化农村电商平台实战(上):睿邻AI乡镇商城项目概览与架构设计
人工智能
长三角活动观察24 分钟前
苏州独石传媒项目SOP拆解:从“金鸡湖直播”到“创客中国”,大型活动人流管控与动线设计全流程节点控制方案
大数据·人工智能·传媒
DataScope25 分钟前
去哪里找行业数据?亿欧数据靠谱吗实用吗
大数据·人工智能
江屿风26 分钟前
【STM32基础篇】【嵌入式生态问题及历史追溯】流食般投喂
大数据·开发语言·人工智能·笔记·stm32·嵌入式硬件
智塑未来26 分钟前
高端仿真软件落地的隐藏壁垒:底层适配与专业服务商格局重构
人工智能·重构
mmsx32 分钟前
我明明调用了 zoomToBounds,地图却总是停在别处?延迟加到 5 秒也没用,真相只有一个
android·人工智能·bug·地图
PNP机器人32 分钟前
康奈尔联合Kinova研发自适应触感护理机械臂
人工智能·力控机器人
六年码农35 分钟前
2026最新开源 屏译ScreenTranslator 0.4.4 开源 全屏实时翻译教程
运维·人工智能·flutter·开源
尚可签36 分钟前
基于 Spring Boot + Vue 的 AI 智能在线订餐系统
vue.js·人工智能·spring boot
gb421528739 分钟前
智能客服或AI对话系统里的召回
人工智能