打造类ChatGPT服务,本地部署大语言模型(LLM),如何远程访问?

ChatGPT的成功,让越来越多的人开始关注大语言模型(LLM)。如果拥有了属于自己的大语言模型,就可以对其进行一些专属优化。例如:打造属于自己的AI助理,或是满足企业自身的业务及信息安全需求。

所以,这段时间,围绕LLM出现了不少的开源方案,能够实现私有化部署的同时打造专属模型。

以LangChain-Chatchat为例:

不仅最新版本可使用FastChat接入Vicuna, Alpaca, LLaMA, Koala, RWKV等模型。

同时,支持API调用服务,并可通过基于Streamlit的WebUI进行操作,满足多人使用,或是项目集成的需求。

然而,如需远程访问自建的私有LLM服务,还需解决不少的问题。

面对这类难题,贝锐花生壳无需公网IP、无需设置路由/网关,即可实现局域网服务的远程访问。

以下是贝锐花生壳搭配LangChain-Chatchat实现远程访问的整体流程:

首先,完成LangChain-Chatchat部署,具体可参考其github主页,本次使用了docker一键安装。

其次,在贝锐官网下载、安装花生壳的客户端,并在安装完成后,登录注册好的贝锐账号。

花生壳除了支持Windows、Mac、Linux、树莓派、OpenWRT、Android等多种操作系统及设备。

此外,花生壳还提供了硬件------花生壳盒子,适用于一些不便于安装软件客户端的场景。

随后,只需在花生壳主界面的内网穿透一栏点击新增映射,进入云端管理平台,根据提示信息填写,提交后就会自动生成外网访问地址。

例如:需浏览器远程访问LangChain-Chatchat Web UI,在填写时选择映射类型HTTPS,并填入Web UI局域网IP+端口号即可。

完成上述配置后,如需要远程访问LangChain-Chatchat时,只要使用贝锐花生壳生成的外网访问地址即可。

当然除了能够实现快速部署,贝锐花生壳还拥有其他诸多优势。同时,经过多年的迭代升级,贝锐花生壳内网穿透已被1800万+用户广泛应用于OA/ERP/CRM办公系统、私有云、视频监控、Web服务器、软件开发调试、遥感测绘、工业4.0等各种场景,助力企业快速实现内外网信息互联互通。

相关推荐
sunoo-2292 分钟前
【网络编程 + 数据库】select 与 epoll 核心区别详解 + SQLite 入门到 C 接口全攻略
linux·网络·数据库·vscode·学习·sqlite
长脖鹿Johnny5 分钟前
游戏输入系统框架设计(三):网络输入权威与可验证性
网络·游戏·游戏开发·架构设计·输入系统·网络同步
Mortalbreeze15 分钟前
深入理解 Linux IO 模型(二):多路复用——select
linux·运维·服务器·网络·tcp/ip
SamChan9028 分钟前
PDF翻译服务端到端基准测试:4款主流方案的吞吐量、延迟、内存占用对比
服务器·网络·python·ai·pdf·wpf
Sagittarius_A*29 分钟前
CVE-2026-42271:从 MCP stdio 测试接口看 LiteLLM 的命令执行风险与防御闭环
网络·windows·安全·cve·rce
DLYSB_36 分钟前
旧上位机不肯改怎么办:原生 TCP 字节帧接入声光语音终端的改造实录
网络·网络协议·tcp/ip·报警灯
ACP广源盛1392462567338 分钟前
M6/M5 Pro Mac mini 端侧 AI 爆发@ACP#YLB3118 存储扩展芯片在本地 AI 服务中的机会与落地场景
大数据·网络·数据库·人工智能·嵌入式硬件·macos
程序员夏洛44 分钟前
HTTP 2.0 和 3.0 有什么区别?
网络·网络协议·http
丶浅行DE时光1 小时前
管道式电磁流量计选型指南 介质腐蚀与工况适配方案推荐
大数据·网络·人工智能·科技·推荐算法
段一凡-华北理工大学1 小时前
高炉智能布料技术与炉料分布优化~系列文章03:布料矩阵解码:环位、角度、圈数与料流的量化控制
java·网络·人工智能·矩阵·高炉智能化·高炉布料矩阵优化·高炉智能布料技术