大模型部署

大模型:

docker run -d --gpus all -v D:\ai\DeepSeek-R1-Distill-Qwen-1.5B:/models -p 8000:8000 --ipc=host docker.1panel.live/vllm/vllm-openai:latest /models --trust-remote-code --max-model-len 4096 --served-model-name qwen-1.5b --gpu-memory-utilization 0.7 --disable-log-requests

embedding模型

docker run -d --gpus all -v D:\ai\Qwen3-VL-Embedding-2B:/models -p 8001:8001 --ipc=host docker.1panel.live/vllm/vllm-openai:latest /models --trust-remote-code --max-model-len 4096 --served-model-name Embedding-2B --gpu-memory-utilization 0.5 --disable-log-requests

curl http://localhost:8000/v1/completions -H "Content-Type: application/json" -d "{\"model\":\"qwen-1.5b\",\"prompt\":\"你好,你是谁?简单介绍一下自己\",\"max_tokens\":200,\"temperature\":0.7}"

langchain必须结合langchain_openai进行远程调用

相关推荐
2601_957888561 分钟前
短视频矩阵系统的AI调度引擎架构解析:从多平台API到智能分发的技术实现
人工智能·矩阵·音视频
m0_687247522 分钟前
AI绘画零基础:从文字到图像的完整指南
人工智能·ai作画·aigc
dxxt_yy4 分钟前
通信对抗新利器:HWG1在铁路高速领域的卓越应用
人工智能·信息与通信
Rocky Ding*4 分钟前
昔日AI绘画框架王者Stable Diffusion WebUI,已死
人工智能·深度学习·机器学习·chatgpt·ai作画·stable diffusion·aigc
localbob4 分钟前
Anima二次元动漫必备大模型教程|20亿参数Anima模型+ComfyUI工作流下载 Anima模型下载、Anima动漫模型、AI绘画模型推荐、动漫AI绘画、ComfyUI工作流、AI游戏美术
人工智能·ai作画·游戏美术
2601_957787586 分钟前
2026年自媒体矩阵系统技术观察:当“人海战术“退场,AI如何重构内容分发逻辑?
人工智能·矩阵·媒体
格桑阿sir12 分钟前
01-大模型智能体开发工程师:AI与大模型发展简史
人工智能·ai·llm·agent·智能体·发展史
threelab13 分钟前
Three.js 抽象艺术着色器效果 | 三维可视化 / AI 提示词
前端·javascript·人工智能·3d·着色器
解局易否结局13 分钟前
GE 和 Runtime:不是上下游,是协同决策
人工智能·pytorch·深度学习
@蔓蔓喜欢你21 分钟前
响应式图像:优化不同设备的图片展示
人工智能·ai