****前言：****随着大模型技术的爆发，多模态大模型（如GPT-4V、LLaVA、Qwen-VL等）已广泛应用于计算机视觉、语音交互、智能分析等场景。但传统的云端部署模式，受网络延迟、带宽成本、数据隐私等问题限制，难以满足自动驾驶、工业物联网、智能终端等对实时性、私密性要求较高的场景需求。
边缘计算作为"靠近终端侧的分布式计算架构"，能够将计算任务下沉到设备端，实现数据本地处理、低延迟响应。将多模态大模型部署到边缘计算设备，成为破解云端部署痛点的关键路径。本文将从环境搭建、模型部署、实操案例三个维度，手把手教你完成边缘设备上的多模态大模型部署，适合技术开发、算法工程、物联网从业者参考。
一、先搞懂：边缘计算+多模态大模型，为什么是趋势？
在聊部署之前，我们先明确核心价值------为什么要在边缘设备上部署多模态大模型？而非继续依赖云端？
- 低延迟响应：多模态任务（如实时图像识别+语音交互）对延迟要求极高（通常需≤100ms），云端部署受网络波动影响，延迟往往在几百毫秒甚至秒级，边缘部署可实现本地数据实时处理，网络延迟降低80%以上。
- **数据隐私保护：**多模态数据（图像、语音、视频）往往包含敏感信息（如工业设备数据、个人人脸信息），边缘部署可实现数据"本地采集、本地处理、本地存储"，避免数据上传云端带来的隐私泄漏风险，符合《数据安全法》《个人信息保护法》要求。
- **离线可用：**在无网络、弱网络场景（如偏远工业场景、户外自动驾驶），云端部署完全失效，边缘部署可实现离线运行，保障业务连续性。
简单来说，边缘计算解决了多模态大模型"落地最后一公里"的问题------让大模型从"云端"走进"终端"，真正实现"即取即用、实时响应"。
- 手把手实操：边缘设备部署多模态大模型
下面以"土星云SE110S-WA32 + Qwen3-VL-2B"为例，完整演示部署流程，步骤清晰，新手可直接跟着操作。
2.1 环境搭建
本次环境搭建使用docker进行环境安装，SE110S-WA32的SDK版本为:v25.03.01。按照下面的命令搭建docker镜像：
|--------------------------------------------------------------------------------------------------------------------------------------------------------|
| cd /data git clone https://gitee.com/saturn-cloud/se110s-wa32-docker.git cd ./se110s-wa32-docker sudo docker build -t llm-tpu:v1.0 -f dockerfile_llm . |
上面脚本执行完成后，会生成一个llm-tpu:v1.0的镜像，或直接拉取已做好的docker镜像：
|------------------------------------------------------------------|
| sudo docker pull uhub.service.ucloud.cn/saturncloud/llm-tpu:v1.0 |
2.2 代码和模型文件获取
|---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| mkdir -p /data/AI git clone https://gitee.com/saturn-cloud/se110s-wa32-samples.git cd ./se110s-wa32-samples/Qwen3-VL/models python3 -m dfss --url=open@sophgo.com:/ext_model_information/LLM/LLM-TPU/qwen3-vl-2b-instruct-w4a16_w4bf16_seq2048_bm1684x_1dev_dynamic_20260318_164243.bmodel |
2.3 容器启动
|-------------------------------------------------------------|
| cd /data/AI/se110s-wa32-samples/Qwen3-VL sh start_docker.sh |
至此，docker容器会启动并加载模型，模型的api接口为：http://{ip}:3000/v1
2.4 模型api接口调用
|--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| import cv2 import base64 import requests import json # 读取图片并转换为 Base64 def encode_image_to_base64(image_path): with open(image_path, "rb") as image_file: encoded_string = base64.b64encode(image_file.read()).decode('utf-8') return encoded_string image_path = "human_1.jpg" ##替换成自己的图片路径 url = "http://192.168.93.199:3000/v1"## 根据自身的设备替换掉IP地址 base64_output = encode_image_to_base64(image_path) data1 = {"image_base64":base64_output,"text":"描述一下这张图片"} ## 输入自己的text response = requests.post(url,json=data1,timeout=(1, 30)) result = json.loads(response.text)'info' print(result) |
2.5 运行实例
三 、总结
在边缘计算设备上部署多模态大模型，核心是"轻量化适配"------通过硬件选型、模型量化、软件优化，解决边缘设备"算力有限、内存不足、功耗约束"的问题。本文以土星云SE110S-WA32为例，完整演示了部署流程，从环境搭建、模型准备到推理测试，新手可直接上手操作。
随着技术的不断进步，边缘计算+多模态大模型将成为未来智能终端、工业物联网、自动驾驶等领域的核心技术，掌握边缘部署能力，将成为技术从业者的核心竞争力。
后续将持续更新边缘部署的进阶技巧，欢迎关注、留言交流，一起探讨边缘AI的落地实践！