一、 引言
随着多模态大模型的发展，让模型"看得懂图、听得懂视频"已成为 AI 落地的重要方向。VILA 是由 Efficient-Large-Model 实验室提出的视觉语言模型（VLM），它通过大规模交错图像-文本数据进行预训练，具备视频理解与多图像理解能力，尤其适合视频内容分析、多图像关系推理以及图像与文本信息的融合处理。本文基于开源示例工程 sophon-demo 中的 Vila 例程，以算法工程师的视角，从算法原理、应用场景、工程部署三个维度展开，介绍如何将 VILA1.5-3b 部署到土星云 SE110S-WA32 与 SE110S-WB16 两款边缘计算微服务器上，完整覆盖模型编译、环境搭建、推理运行与性能调优的落地流程。
二、 VILA 算法原理
2.1 总体架构
VILA 属于自回归式视觉语言模型，整体由视觉编码器（Vision Encoder）、投影器（Projector）与大语言模型（LLM）三部分组成。视觉编码器将图像或视频帧编码为视觉 token；投影器负责把视觉 token 映射到大语言模型的嵌入空间，使两种模态的嵌入能够对齐；随后视觉 token 与文本 token 拼接，由 LLM 以自回归方式逐 token 生成回答。这种把视觉输入当作"外语"的设计，可以处理任意数量的交错图像-文本输入，从而天然支持多图像推理、上下文学习（in-context learning）与视频理解等能力。具体到推理流程，视觉编码器先将输入图像切分为若干图像块并编码为视觉 token，投影器把这些 token 映射到与文本词向量一致的嵌入空间，再与文本 token 拼接送入 LLM 生成回复，整个过程无需引入跨注意力等复杂结构，结构简洁、易于工程实现。
2.2 预训练配方：交错图文数据是关键
VILA 论文在对视觉语言模型预训练进行系统研究后，总结了三个关键发现。第一，仅使用图像-文本对（如图文配对语料）进行预训练并不充分，交错图像-文本数据才是核心。相比图文对，交错语料能更好地保留模型原有的语言能力，同时显著提升视觉上下文学习能力。第二，在交错图文预训练阶段解冻（unfreeze）LLM，模型才能获得上下文学习能力；若在预训练期间冻结 LLM，虽然零样本表现尚可，但会缺失上下文学习能力。第三，指令微调阶段重新混入纯文本指令数据，可同时提升 VLM 与纯文本任务的性能。这三个结论共同构成了 VILA 训练配方的核心。所谓交错图文数据，是指文本与图像按自然语序交错排列的语料，例如"文本-图像-文本"的形态，更接近真实场景中的信息组织方式；相比之下，单纯的"图像-描述"对数据信息量有限，容易导致模型语言能力退化。
2.3 训练流程
VILA 的训练分为两个阶段：第一阶段使用大规模交错图文数据进行图文对齐与预训练，以 LLaVA-CC3M-Pretrain-595K 等数据集完成文本与视觉模态的对齐；第二阶段进行文本-视觉联合指令微调（SFT），将多模态数据与纯文本指令数据混合，在保证模型通用能力的同时完成下游任务适配。VILA1.5 在这一范式上进一步稳定了多图与视频理解能力，其中 VILA1.5-3b 默认采用 384×384 的输入分辨率，视频场景下采样 8 帧。
2.4 高效推理设计
面向边缘部署，VILA 在推理效率上做了针对性优化。一方面，通过控制视觉 token 数量，其视觉 token 约为同类主流模型的四分之一，显著降低了大语言模型的输入计算量；另一方面，支持 AWQ 4bit 量化，借助 TinyChat 推理框架可在算力有限的边缘设备上以几乎可忽略的精度损失完成推理。这两点设计使得 VILA 既具备较强的多模态能力，又能跑在边缘端，是后续在土星云 SE110S 系列上部署的重要前提。
三、 使用场景
基于上述能力，VILA 可广泛应用于以下典型场景：
（1）视频理解与视频问答：对监控录像、教学视频、直播内容等进行描述与问答，例如提问"请描述这段视频中发生了什么"，可用于内容审核、安防事件摘要等；
（2）多图像推理与对比：在同一上下文中输入多张图片，完成跨图像的关系推理、差异对比与上下文学习，适用于商品比对、文档对照、图纸复核等场景；
（3）图像理解与视觉问答：图像描述、OCR 辅助问答、图文检索等通用多模态交互；
（4）边缘 AI 应用：在安防、智慧交通、工业质检、零售分析、具身智能等场景中，将多模态推理下沉到本地边缘设备，满足数据不出域、低时延、高隐私的刚性需求。
四、 在土星云 SE110S 系列上的部署
4.1 硬件平台
土星云 SE110S-WA32 与 SE110S-WB16 是面向边缘场景推出的 AI 计算微服务器，均内置国产 NPU 并支持 INT8/INT4 低比特推理，可在 -20℃～60℃ 环境下稳定运行。两款设备关键规格对比如下表：
表 1 SE110S-WA32 与 SE110S-WB16 关键规格对比
|---------|-------------------------------|------------------|
| 对比项 | SE110S-WA32 | SE110S-WB16 |
| CPU | 8 核 ARM A53 @2.3GHz | ARM 多核架构 |
| AI 算力 | 32 TOPS@INT8 / 16 TFLOPS@FP16 | 16 TOPS@INT8 |
| 内存 / 存储 | 16GB / 64GB eMMC + M.2 SATA | 8GB / 32GB eMMC |
| 视频硬解码 | 支持 | 16 路 1080P@25fps |
从算力与内存配置看，SE110S-WA32 规格更高，适合对吞吐与上下文长度要求较高的场景；SE110S-WB16 功耗与成本更低，并具备多路视频硬解码能力，更适合视频流接入类业务。
4.2 部署流程
VILA 例程的整体部署流程为：模型导出（ONNX）→ bmodel 编译 → 运行环境搭建 → SAIL 推理测试。具体步骤如下。
第一步，准备模型。例程在 scripts 目录下提供了 download.sh 下载脚本，执行后即可获得已编译好的 bmodel 与测试数据集。其中视觉模块为 vision_embedding_6batch.bmodel（负责将图像/视频帧编码为向量），语言模块为 llama_int4_seq2560.bmodel（负责生成回答），二者分别对应 VILA 的视觉编码器与 LLM 两个子模块。如需自行编译，可参考模型编译指南，先用 export_onnx.py 导出 ONNX，再通过 gen_bmodel.sh 生成 INT8/INT4 的 bmodel。
第二步，搭建运行环境。SoC 边缘设备刷机后，/opt/sophon 下已预装 libsophon、sophon-opencv、sophon-ffmpeg 等运行库，再安装 sophon-sail 及 requirements.txt 中的第三方依赖即可。由于例程依赖较新版本的 sophon-sail，建议按官方说明安装对应的 whl 包或源码编译。
第三步，运行推理。Python 例程 vila.py 无需编译，直接在 Vila 目录下执行，关键参数如下：
|----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| python3 python/vila.py \ --llm ./models/BM1684X/llama_int4_seq2560.bmodel \ --vision ./models/BM1684X/vision_embedding_6batch.bmodel \ --video datasets/test_car_person_1080P.mp4 \ --dev_id 0 |
其中 --llm 指定语言模型 bmodel，--vision 指定视觉模块 bmodel，--video/--image 指定输入，--dev_id 指定推理设备号。运行后会进入交互提问环节，例如输入"Please describe this video"即可获得视频理解结果。此外，例程还提供基于 SAIL 的 C++ 例程 vila_sail，接口与 Python 一致，更适用于对性能与稳定性要求较高的生产环境。C++ 例程通过 CMake 构建，核心文件包括 main.cpp、vila.cpp 与 vila.hpp，编译产物可直接在 SoC 设备上运行。
4.3 性能测试
以 8 核 ARM A53 @2.3GHz、32 TOPS 算力平台为基准（与 SE110S-WA32 同规格），官方例程实测数据如下（来源：sophon-demo Vila 例程 README，SDK 版本 BM1684X V24.04.01）：
表 2 官方例程性能测试数据（平台：8 核 A53 @2.3GHz + 32 TOPS INT8）
|---------|--------------------|--------------------|---------------------|
| 测试项 | 输入/模型 | 首 token 时延 (s) | 生成速度 (tokens/s) |
| 视觉编码 | (1,3,384,384) FP16 | 0.08 | --- |
| LLM | llama_int4_seq512 | 0.377 | 24.2 |
| LLM | llama_int4_seq2560 | 1.8 | 18.85 |
| CPP | llama_int4_seq2560 | 1.7 | 19.9 |
需要说明的是，性能数据存在一定波动，建议多次测试取平均值；
4.4 部署建议与优化
结合两款设备的特点，给出如下部署建议。
（1）算力与内存适配：SE110S-WB16 的算力（16 TOPS）与内存（8GB）相对有限，建议优先选用 INT4 量化模型，并适当缩短上下文序列长度（如 seq512/seq1024），或将视觉模块的 batch 从 6 调整为 1，以降低显存与内存占用，保证推理稳定；
（2）视频流并发：SE110S-WB16 支持 16 路 1080P 硬解码，可结合多路解码与批量推理提升整体吞吐，适合视频监控类业务；SE110S-WA32 则更适合长上下文、高并发的多模态对话场景；同时 SE110S-WA32 具备 16 TFLOPS@FP16 浮点算力，对精度要求较高的场景可选用 FP16 视觉模块搭配 INT4 语言模块，兼顾精度与生成速度；
（3）工程化落地：生产环境建议使用 C++ 例程，并通过模型预热、线程池、流水线调度等方式降低首包时延、提高吞吐；上线前应对典型样本进行多次测试，建立性能基线，再根据时延与吞吐指标做针对性优化。
五、 总结
VILA 以"交错图文预训练 + 解冻 LLM + 文本-视觉联合指令微调"为核心配方，在较好保留语言能力的同时获得了多图像推理与视频理解能力；配合视觉 token 压缩与低比特量化，使模型能够在土星云 SE110S 系列等边缘设备上完成本地化部署。借助 bmodel 编译与 SAIL 推理框架，开发者可以快速将 VILA1.5-3b 落地到安防、交通、工业质检等真实业务中，实现数据不出域、低时延的边缘多模态智能。希望本文能为正在做视觉语言模型边缘部署的同行提供参考。