大模型部署

大模型:

docker run -d --gpus all -v D:\ai\DeepSeek-R1-Distill-Qwen-1.5B:/models -p 8000:8000 --ipc=host docker.1panel.live/vllm/vllm-openai:latest /models --trust-remote-code --max-model-len 4096 --served-model-name qwen-1.5b --gpu-memory-utilization 0.7 --disable-log-requests

embedding模型

docker run -d --gpus all -v D:\ai\Qwen3-VL-Embedding-2B:/models -p 8001:8001 --ipc=host docker.1panel.live/vllm/vllm-openai:latest /models --trust-remote-code --max-model-len 4096 --served-model-name Embedding-2B --gpu-memory-utilization 0.5 --disable-log-requests

curl http://localhost:8000/v1/completions -H "Content-Type: application/json" -d "{\"model\":\"qwen-1.5b\",\"prompt\":\"你好,你是谁?简单介绍一下自己\",\"max_tokens\":200,\"temperature\":0.7}"

langchain必须结合langchain_openai进行远程调用

相关推荐
程序员清风13 分钟前
Docker、Nginx 与 Kubernetes 部署 AI 后端服务
nginx·docker·kubernetes
天一生水water22 分钟前
变分模态分解(VMD)的教程
人工智能
荆棘鸟智能31 分钟前
林业遥感长势评估怎么做?从NDVI时序分析到LiDAR蓄积量回归
人工智能·算法·智慧林业
代码方舟40 分钟前
数据科学风控实战:基于天远全能消金报告构建自动化信用评估网关
运维·人工智能·自动化
Yan-英杰40 分钟前
2026年数据采集服务怎么选?4大主流平台(亮数据 Bright Data、Apify、ScrapingBee、Zyte)深度对比
人工智能·神经网络·microsoft·机器学习·ai开发工具
xiaoqi01951 小时前
机器学习因子分析实战:从量化特征到可视化决策
人工智能·python·机器学习
代码AI弗森1 小时前
Twilio 与 OpenAI 合作调研:从验证码客户到实时语音分发层
人工智能
m0_587383001 小时前
深度解析24小时自助健身房系统开发:从架构设计到落地部署
人工智能·小程序·数据挖掘·系统架构·需求分析
zhiyouTech1 小时前
实体基因做底座:新港智优科技旗下机灵AI的GEO增长服务体系观察
人工智能·科技
dozenyaoyida1 小时前
AI与大模型新闻日报 | 2026-09-30
大数据·人工智能·大模型·新闻