大模型部署

大模型:

docker run -d --gpus all -v D:\ai\DeepSeek-R1-Distill-Qwen-1.5B:/models -p 8000:8000 --ipc=host docker.1panel.live/vllm/vllm-openai:latest /models --trust-remote-code --max-model-len 4096 --served-model-name qwen-1.5b --gpu-memory-utilization 0.7 --disable-log-requests

embedding模型

docker run -d --gpus all -v D:\ai\Qwen3-VL-Embedding-2B:/models -p 8001:8001 --ipc=host docker.1panel.live/vllm/vllm-openai:latest /models --trust-remote-code --max-model-len 4096 --served-model-name Embedding-2B --gpu-memory-utilization 0.5 --disable-log-requests

curl http://localhost:8000/v1/completions -H "Content-Type: application/json" -d "{\"model\":\"qwen-1.5b\",\"prompt\":\"你好,你是谁?简单介绍一下自己\",\"max_tokens\":200,\"temperature\":0.7}"

langchain必须结合langchain_openai进行远程调用

相关推荐
jiao糖瓜子11 小时前
Docker 完全指南:从镜像容器到生产部署
docker·容器·eureka·镜像·仓库
陈童学哦11 小时前
别再盲目换AI工具!先盘点你的开发工作流
人工智能
LadenKiller11 小时前
先分清阶段,再让工具帮量化学习
人工智能·python
芯盾时代11 小时前
AI重塑勒索攻击链条:从“广撒网”到“精准狙击”
人工智能
云雀衔光11 小时前
MCP + 应用生成:让 AI 直接产出可交互的应用
java·人工智能·测试工具·microsoft·交互·ai编程
染指111011 小时前
111.Agent-LangChain核心组件-Tools工具
人工智能·langchain·agents
武子康11 小时前
让 SGLang 按 JSON 回答,怎样少写一些补救代码
人工智能·llm·agent
小唔w11 小时前
文字一键生成播客音频,2026年几款AI工具功能梳理
人工智能·音视频
醍醐实验室11 小时前
分布式梯度累加(Gradient Accumulation):通信与计算的交错隐藏
人工智能
vivo互联网技术11 小时前
SmartPhotoCrafter: 先思考后修图,统一理解-生成的图像优化新范式
人工智能·算法·计算机视觉