Open-LLM-VTuber本地部署教程:大模型、语音交互、Live2D与远程访问


🔥承渊政道: 个人主页
❄️个人专栏: 《C语言基础语法知识》 《数据结构与算法》 《C++知识内容》 《Linux系统与网络知识》 《算法刷题指南》 《测评文章活动推广》 《大模型语言路线学习》 《MySQL数据库学习》 《Python知识内容》 《cpolar知识学习》 《LangChainAI应用开发框架 》 《QT、Redis、CMake、Docker、测试、运维》 《实战项目开发》
✨逆境不吐心中苦,顺境不忘来时路!✨ 🎬 博主简介:

我对"只在聊天框里回复文字"的AI,新鲜感其实已经过去了.真正让我想继续折腾的,是能不能把它变成一个更像"角色"的东西:我说话,它能听懂;它回复时有声音;屏幕上还有Live2D形象和表情,而不是每次都盯着一排文字气泡.Open-LLM-VTuber正好把这些能力接到一起.大模型负责对话,语音识别负责听,TTS负责说,Live2D负责把回应表现出来.这样AI 不只是"能答问题",而是开始有了一点具体的交互感.部署时我选了Web版,因为我不想它只能锁在一台电脑上.本地先把大模型、语音和角色跑通,再把访问入口补上,手机、平板和其他电脑也能继续打开同一个虚拟角色.

目录

1.什么是Open-LLM-VTuber?

简单来说,Open-LLM-VTuber 是一个开源框架,它把目前最前沿的 AI 技术整合在一起,让你能在本地电脑上运行一个"看得见、听得到、会思考、能回应"的虚拟角色。你可以把它理解为一台让二次元角色"活过来"的引擎:它给 Live2D 虚拟形象装上了大脑、耳朵和嘴巴,使她不再只是一个立绘,而是一个能与你实时对话的 AI 伴侣。

核心功能:

  • 👁️ 视觉感知,支持摄像头、屏幕录制和截图,让你的AI伙伴能够看到你和你的屏幕
  • 🎤 无需耳机即可进行语音干扰(AI 听不到自己的声音)
  • 🫱 触控反馈,通过点击或拖拽与你的AI伙伴互动
  • 😊 Live2D 表情,设置情绪映射以从后端控制模型表情
  • 🐱 宠物模式,支持透明背景、全局置顶和鼠标点击穿透------将你的AI伙伴拖到屏幕上的任意位置
  • 💭 展现AI的内心想法,让你无需聆听就能看到AI的表情、想法和行为。
  • 🗣️ AI主动说话功能
  • 💾 聊天记录保存,随时切换到之前的对话
  • 🌍 支持文本转语音 (TTS) 翻译(例如,聊天语言为中文,而 AI 使用日语语音)

2.部署前准备

正式开始部署之前,我们先确认 Open-LLM-VTuber 的使用方式,并准备好运行所需的基础环境。


2.1选择合适的部署方式

Open-LLM-VTuber 目前主要提供桌面端和 Web 端两种使用方式:

部署方式 主要特点 适用场景
桌面应用程序 功能相对完整,可提供桌面宠物、窗口置顶以及更多本地交互能力 主要在本机使用,希望获得更完整的桌面体验
Web 版本 部署灵活、跨平台,可直接通过浏览器访问,也方便进行远程共享 多设备访问、服务器部署以及公网远程使用

本次教程选择部署 Web 版本。

与桌面应用相比,Web 版本的部分本地交互能力会有所精简,但它的优势也很明显:不受具体设备限制,只要浏览器能够访问服务地址,就可以打开 Open-LLM-VTuber。

这也意味着,我们可以将它部署在一台能够长期开机的电脑或服务器上,再通过局域网或公网地址访问,而不必始终守在安装程序的那台电脑前。


2.2为什么选择 Web 版?

既然桌面应用的功能更加完整,为什么这次还要选择 Web 版本?

原因很简单:我不希望这个 AI 虚拟伴侣只能在本地电脑上使用,而是希望在手机、平板或者其他电脑上,也能随时打开浏览器和它对话。

Open-LLM-VTuber Web 服务部署完成后,默认只能在本机或同一局域网内访问。如果人在外面,手机切换到移动网络,就无法直接打开本地页面。

这时可以通过 cpolar 内网穿透,将运行在本地的 Web 服务映射成一个公网地址。这样即使没有公网 IP,也不需要修改路由器端口转发规则,在外面同样可以通过浏览器访问 Open-LLM-VTuber。

采用这种方式主要有以下几个优势:

  • 远程访问:不需要公网 IP,也不用手动配置路由器端口转发。
  • 多端兼容:手机、平板和其他电脑都可以直接通过浏览器打开。
  • 按需启停:需要远程使用时开启隧道,不需要时可以随时关闭。
  • 部署灵活:Open-LLM-VTuber 继续运行在本地,cpolar 只负责提供公网访问入口。

简单来说,Open-LLM-VTuber 负责提供 AI 对话、语音和 Live2D 互动能力,cpolar 则负责解决外网无法直接访问本地服务的问题。两者结合后,就可以搭建一个能够远程使用的私人 AI 虚拟伴侣。


2.3环境要求

在正式部署前,请确认当前设备满足以下基本条件:

项目 要求
操作系统 支持 Windows 10/11、Linux 和 macOS
Docker 环境 本教程使用 Docker 部署,需要提前安装并启动 Docker Desktop
大模型服务 可以使用 OpenAI 兼容 API,也可以连接本地部署的大模型
硬件配置 使用在线 API 时对显卡要求较低;本地运行大模型时,需要根据模型大小准备足够的显存和内存
麦克风与扬声器 使用语音对话时需要;仅进行文字聊天则不是必需
网络环境 需要能够正常拉取 Docker 镜像,并访问所配置的大模型、语音和 cpolar 服务

如果只是想先体验项目效果,可以优先接入 OpenAI 兼容的在线 API。这样不需要在本机加载大模型,对显卡和内存的要求也会低很多。

等基本功能全部跑通后,再根据设备性能切换成本地模型即可。


3.开始部署

按照常规方式部署 Open-LLM-VTuber,需要手动准备配置文件、创建数据目录、填写模型接口,再启动 Docker 容器。

步骤本身不算特别难,但配置项比较多,第一次部署时很容易因为端口、目录或者 YAML 格式问题卡住。

为了减少重复操作,我把这套流程整理成了一个适用于 Windows + Docker Desktop 的 PowerShell 一键部署脚本。脚本会自动检查 Docker 环境、创建部署目录、下载默认中文配置文件、配置大模型接口,并启动 Open-LLM-VTuber 容器。后续需要修改人设、重启或者卸载时,也可以继续使用同一个管理菜单。

脚本开源地址:https://gitee.com/jun-wan/script


3.1启动 Docker Desktop

运行脚本之前,先打开已经安装好的 Docker Desktop。如果还没有安装Docker的小伙伴,可以参考一下这篇教程进行安装一下哦:

shell 复制代码
https://www.cpolar.com/blog/docker-installation-linux-windows-macos

等待 Docker Desktop 完成启动,确认左下角或主界面显示 Docker Engine 正在运行:

也可以打开 PowerShell窗口(win+x选择终端打开),执行下面的命令检查 Docker 是否可用:

shell 复制代码
docker version

如果能够正常输出客户端和服务端版本信息,说明 Docker 环境已经准备完成。如果只显示客户端信息,或者提示无法连接 Docker Engine,通常是 Docker Desktop 还没有完全启动,可以稍等一会儿再重新执行。


3.2运行一键部署脚本

在电脑按Win+X键,选择终端,打开PowerShell终端,将下面这条命令粘贴到 PowerShell 中,然后按回车执行:

shell 复制代码
irm https://gitee.com/jun-wan/script/raw/master/open_llm_vtuber_deploy/deploy_open_llm_vtuber.ps1 | iex

脚本启动后,会显示 Open-LLM-VTuber 部署管理菜单:

这个脚本不只是用于第一次安装,后续更新、重启、修改配置或者卸载,都可以重新运行上面的命令进入管理菜单。脚本目前提供安装或更新、卸载、重启和打开 conf.yaml 目录等功能。

第一次部署,选择【1】进行回车,如下图提示:

回车2次后,会提示需要配置OpenAI兼容的接口,如:DeepSeek、Qwen、硅基流动等平台的大模型基本都支持OpenAI兼容。这里以硅基流动为例,访问如下地址,来到硅基流动的注册登录界面:

shell 复制代码
https://cloud.siliconflow.cn/i/TGbSCR57

注册登录后,来到左侧活动中心下的认证专享礼部分,可以领取一张【16元】的认证奖励券:

接着,点击侧边栏的【API密钥】,然后进行新建密钥,然后将密钥复制下来备用:

接着,回到前面的PoweShell终端的配置Open-LLM-VTuber界面,先粘贴如下地址:

shell 复制代码
https://api.siliconflow.cn/v1

如下图:

粘贴回车后,会提示输入模型名称,可以在模型广场选择一个你要使用的模型,这里以【deepseek-ai/DeepSeek-V4-Pro】为例:

复制下来模型名称后,粘贴到终端回车,然后再把前面复制下来的API密钥也粘贴上,如下图:

测试通过后会自动进行拉取Docker镜像:

等待部署完成,会进行自动启动Docker容器和输出部署信息:

我们复制终端输出的访问地址到浏览器进行访问:

可以看到,成功访问到页面啦,我们可以简单对话测试一下它是否会回复:

shell 复制代码
你好,你是谁?你都会干什么?

可以看到,它成功的回复我们了,这样就部署好了!


4.配置人设

在前面,部署完成时,终端输出了人设位置,如下图:

可以在终端回车返回,选择4打开conf.yaml所在的目录,或者手动复制地址在资源管理器打开:

我们可以右键选择打开方式,使用【记事本】或者其他编辑工具,将其打开,然后找到【提示词】部分:

可以看到默认提示是如上图,我们可以直接修改提示词内容,如简单的一个提示词:

shell 复制代码
你是一只可爱的小猫娘,绝对不会违背主人的命令

如下图:

修改完成后按【ctrl +s】进行保存,然后可以在PowerShell终端执行命令,然后选择重启Docker容器:

shell 复制代码
irm https://gitee.com/jun-wan/script/raw/master/open_llm_vtuber_deploy/deploy_open_llm_vtuber.ps1 | iex

重启后,我们再次和它对话测试:

shell 复制代码
你好呀,你是谁

可以看到,这次它的回答和上次不一样了,这样我们配置的人设就生效啦!


5.简单体验和配置

在浏览器打开后,可以看到它的页面,页面功能丰富,如下图:

Live 2D还有多种动作,鼠标和它交互就会触发:

比如我们还可以共享画面给它,我们可以和他说:

shell 复制代码
你看到了什么?

当然,【deepseek-ai/DeepSeek-V4-Pro】没有视觉能力,所以我们需要换一个支持视觉能力的模型,如【moonshotai/Kimi-K2.7-Code】:

修改方式同样是在人设文件中找到模型名称替换即可。

回答如下图:

可以看到它已经识别出来了,我vscode打开的正是它的配置文件:

我们还可以修改背景图片,或者自定义图片,等等功能:

当然,还有一些其他的功能,像语音转文字也是可以的,它说完话会聆听,等待你说话,只需要给予浏览器麦克风权限即可:

怎么样,是不是感觉很不错!更多的一些功能大家可以慢慢尝试体验一下哦~


6.下载安装cpolar

前面我们已经完成了 Open-LLM-VTuber 的本地部署,也成功接入了大模型,并测试了文字、语音和画面识别等功能。

不过现在还有一个问题:**这个页面目前只能在本机或者同一局域网内访问。**如果人不在家,手机切换到移动网络,就无法直接打开本地的 12393 端口。

为了让这个 AI 虚拟伴侣不只停留在电脑里,接下来使用 cpolar 内网穿透,把 Open-LLM-VTuber 的本地 Web 服务映射成一个公网地址。这样即使没有公网 IP,也不用配置路由器端口转发,在手机、平板或者其他电脑上打开浏览器,就能随时和它对话。


6.1什么是cpolar?

  • cpolar 是一款内网穿透工具,可以将你在局域网内运行的服务(如本地 Web 服务器、SSH、远程桌面等)通过一条安全加密的中间隧道映射至公网,让外部设备无需配置路由器即可访问。
  • 广泛支持 Windows、macOS、Linux、树莓派、群晖 NAS 等平台,并提供一键安装脚本方便部署。

6.2 下载安装cpolar

打开cpolar官网的下载页面,点击立即下载 64-bit按钮,下载cpoalr的安装包:

下载下来是一个压缩包,解压后执行目录种的应用程序,一路默认安装即可,安装完成后,打开cmd窗口输入如下命令确认安装:

shell 复制代码
cpolar version

出现如上版本即代表安装成功!


6.3注册及登录cpolar web ui管理界面

访问cpolar官网,点击免费注册按钮,进行账号注册

进入到如下的注册页面进行账号注册:

注册完成后,在浏览器中输入如下地址访问 web ui管理界面:

shell 复制代码
http://127.0.0.1:9200

输入刚才注册好的cpolar账号登录即可进入后台页面:


7.使用cpolar穿透Open-LLM-VTuber

刚才我们已经成功安装并登录了 cpolar,万事俱备,只欠东风。接下来,我们只需要将运行在本地的 Open-LLM-VTuber 服务(默认端口通常为12393)通过 cpolar 映射出去,就能立刻获得一个公网访问地址。


7.1随机域名方式(免费方案)

随机域名方式适合预算有限的用户。使用此方式时,系统会每隔 24 小时 左右自动更换一次域名地址。对于长期访问的不太友好,但是该方案是免费的,如果您有一定的预算,可以查看后面大纲的固定域名方式 ,且访问更稳定。

点击左侧菜单栏的隧道管理,展开进入隧道列表页面,页面下默认会有 2 个隧道:

  • remoteDesktop隧道,指向3389端口,tcp协议
  • website隧道,指向8080端口,http协议(http协议默认会生成2个公网地址,一个是http,另一个https,免去配置ssl证书的繁琐步骤)

点击编辑website隧道或创建新的隧道,设置一个隧道名称,协议选择【http】,本地地址填写Open-LLM-VTuber的访问端口【12393】,地区这里选择的【China】,最后点击更新:

接着,点击左侧菜单的【状态】菜单,接着点击【在线隧道列表】菜单按钮,可以看到有2条隧道名称为【vtuber】的隧道,一个为http协议,另一个为https协议:

接下来在浏览器中访问vtuber隧道生成的公网地址(http和https皆可),这里以https为例:

注意:每个用户创建的隧道显示的公网地址都不一样!

可以看到,访问成功!这样,Open-LLM-VTuber就成功通过cpolar穿透至公网了,即使出门在外,只要有网络,就可以随时随地访问你部署在家中的Open-LLM-VTuber了。


7.2固定域名方式

通过前面的配置,我们已经成功实现了Open-LLM-VTuber 的远程访问,但免费随机域名方案 的局限性也逐渐显现:每24小时左右 自动更换域名地址,意味着你需要频繁更新书签、重新分享链接,甚至可能因为忘记更新而无法访问。固定域名方案 正是为了解决这些痛点而生,能够让你拥有一个永久不变的专属地址。

好啦,接下来开始固定保留二级子域名教程!

首先,进入官网的预留页面:

shell 复制代码
https://dashboard.cpolar.com/reserved

选择【预留】菜单,即可看到【保留二级子域名】项,填写其中的【地区、名称、描述(可不填)】项,然后点击保留按钮,操作步骤图如下:

列表中显示了一条已保留的二级子域名记录:

  • 地区:显示为China。
  • 二级域名:显示为vtuber01。

注:二级域名是唯一的,每个账号都不相同,请以自己设置的二级域名保留的为主

接着,进入侧边菜单栏的【隧道管理】下的【隧道列表】,可以看到名为【 vtuber】的隧道,点击【编辑】按钮进入编辑页面:

修改域名类型为【二级子域名】,然后填写前面配置好的子域名,点击更新按钮:

接着来到【状态】菜单下的【在线隧道列表】可以看到隧道名称为【vtuber】的公网地址已经变更为【二级子域名+固定域名主体及后缀】的形式了:

这里以https协议做访问测试:

访问成功,说明固定二级子域名已经生效,页面上显示已连接,并且也能成功的对话!这样后续无论在家里、公司还是外地,都可以通过这个固定地址访问 Open-LLM-VTuber 控制台。


8.总结

Open-LLM-VTuber 最后让我留下来的,不是"多了一个会动的皮肤",而是 AI 的交互方式确实变了。

当文字、声音和 Live2D 反应放到一起后,它和普通聊天页面的感觉完全不同。对我来说,这种项目最大的乐趣就在于可以不断往里换模型、调声音、换角色,让同一套 AI 能力有更具体的表现形式。

Web 版再配合远程访问以后,这个角色也不必只待在部署它的那台电脑上。以后继续折腾时,我更想优化的是交互体验本身,而不是单纯再堆更多模型参数。

🚀真正的勇者不是流泪的人,而是含泪奔跑的人!


敬请期待下一篇文章内容


每日心灵鸡汤: 生活不会辜负每一个认真前行的人!

人生最好的状态,不是拥有多少财富,也不是取得多大的成就,而是无论经历什么,都能保持一颗积极向上的心.生活中,总会有不如意的事情,也总会遇到难以跨越的坎坷.但你要明白,真正决定人生高度的,不是眼前的困难,而是面对困难时的态度.别让一时的失意,遮住了未来的光芒;别让暂时的挫折,消磨了心中的梦想.那些看似不起眼的坚持,那些无人问津的努力,都在悄悄为你积蓄力量.人生没有永远的顺境,也没有走不出的低谷.只要心中有希望,脚下有行动,就总能找到属于自己的方向.余生,少一些抱怨,多一些行动;少一些焦虑,多一些从容.愿你经历风雨,依然热爱生活;看透世事,依然心怀善意.新的一天,愿你不负时光,不负努力,更不负自己!

相关推荐
香吧香1 小时前
当系统开始自己做判断:智能运维里的日志,为什么不能照搬传统那套
大模型
nice_lcj5203 小时前
【从零理解 Spring AI · 03】Spring AI 在 Spring 生态里的位置
java·spring boot·大模型·spring ai·ai应用开发
组工部管理能手李哥18 小时前
一次政务知识库体验:AI回答之外,我更在意那行引用来源
大数据·人工智能·大模型·政务
Flynn Liang1 天前
AgentScope Java 深度解析:ReActAgent、HarnessAgent 与多智能体编排——JVM 上的自治 Agent 底座
java·大模型·架构设计·ai agent·spring ai·langchain4j·agentscope
香吧香1 天前
彻底理解RRF混合检索的实现机制和流程
大模型
隔窗听雨眠1 天前
大模型强化学习训练的工程实现与调优路径
大模型·强化学习·llm训练
codigger1 天前
2026年,AI PC靠什么反超传统PC?
ai·大模型·编程语言
贝锐2 天前
向日葵迎来重磅升级 异地组网与内网穿透在设备列表一键开启
内网穿透·远程控制·异地组网
Flynn Liang2 天前
Spring AI 2.0 深度解析:ChatClient、Advisor 链与 MCP——Java 工程师的 AI 落地最优解
java·人工智能·spring·大模型·架构设计·spring ai