无公网IP 外网访问本地部署 llamafile 大语言模型

llamafile 是一种AI大模型部署(或者说运行)的方案,它的特点就是可以将模型和运行环境打包成一个独立的可执行文件,这样就简化了部署流程。用户只需要下载并执行该文件,无需安装运行环境或依赖库,这大大提高了使用大型语言模型的便捷性。

本文将详细的介绍如何在 Windows 系统电脑端下载运行llamafile ,并且结合路由侠内网穿透实现外网访问本地的llamafile 。

第一步,下载 llamafile

1,先下载llamafile,下载包:https://www.modelscope.cn/api/v1/models/bingal/llamafile-models/repo?Revision=master\&FilePath=llamafile-0.6.2.win.zip

2,下载后,需要解压文件,解压后可以看到一个llamafile.exe文件,不用点击这个文件。

3,进入这个链接:魔搭社区,去下载对应的大语言模型,本文以下载的是第一个模型为例。

4,下载好后,把下载的大语言模型和上面我们下载的llamafile.exe文件放在一起。

5,在llamafile目录下,点击左上角文件,直接打开powershell命令窗口。

6,执行输入下面命令运行llamafile。

复制代码
.\llamafile-0.6.2.exe -m .\Qwen-7B-Chat-q4_0.llamafile -ngl 9999 --port 8080 --host 0.0.0.0

.\llamafile-0.6.2.exe 表示运行llamafile;

.\Qwen-7B-Chat-q4_0.llamafile表示运行自己下载的大语言模型;

-ngl 999 表示调用GPU显卡运行;

8080 是web 界面访问端口,可以自己修改;

后面-host 默认即可。

7,打开浏览器,输入本地访问地址,就能看到 llama 的web ui 界面,这样表示启动就成功了

第二步,如何在外网访问本地局域网的llamafile

在内网的电脑上安装路由侠,点此下载

1,下载安装完成后,打开路由侠界面,点击【内网映射】。

2,点击【添加映射】。

3,选择【原生端口】。

4,在内网端口里填写默认端口 8080 后点击【创建】按钮,如下图。

5,创建好后,就可以看到一条映射的公网地址,鼠标右键点击【复制地址】。

6,在外网的浏览器的地址栏输入复制的外网地址就可以访问llamafile了。

相关推荐
EMQX38 分钟前
ESP32 + MCP over MQTT:实现智能设备语音交互
人工智能·mqtt·语言模型·智能硬件
DisonTangor3 小时前
MiniMax 开源一个为极致编码与智能体工作流打造的迷你模型——MiniMax-M2
人工智能·语言模型·开源·aigc
青春不败 177-3266-05208 小时前
GPT、DeepSeek等大语言模型应用
人工智能·gpt·深度学习·机器学习·语言模型·科研绘图
渡我白衣9 小时前
C++ 同名全局变量:当符号在链接器中“相遇”
开发语言·c++·人工智能·深度学习·microsoft·语言模型·人机交互
せいしゅん青春之我9 小时前
【JavaEE初阶】TCP核心机制3——连接管理
网络·网络协议·tcp/ip·java-ee
移远通信9 小时前
MQTT协议:物联网时代的通信革命
python·物联网·网络协议
运维行者_11 小时前
运维实战:SSL 证书故障避坑指南(精简版)
运维·网络协议·ssl
clear sky .11 小时前
ETH, Lwip,Tcp之间关系
服务器·网络·tcp/ip
我叫汪枫11 小时前
《从点击到响应:HTTP 请求是如何传出去的》
网络·网络协议·http
wifi chicken13 小时前
Linux Wlan 无线协议栈开发-传输层详解
linux·网络协议