无公网IP 外网访问本地部署 llamafile 大语言模型

llamafile 是一种AI大模型部署(或者说运行)的方案,它的特点就是可以将模型和运行环境打包成一个独立的可执行文件,这样就简化了部署流程。用户只需要下载并执行该文件,无需安装运行环境或依赖库,这大大提高了使用大型语言模型的便捷性。

本文将详细的介绍如何在 Windows 系统电脑端下载运行llamafile ,并且结合路由侠内网穿透实现外网访问本地的llamafile 。

第一步,下载 llamafile

1,先下载llamafile,下载包:https://www.modelscope.cn/api/v1/models/bingal/llamafile-models/repo?Revision=master\&FilePath=llamafile-0.6.2.win.zip

2,下载后,需要解压文件,解压后可以看到一个llamafile.exe文件,不用点击这个文件。

3,进入这个链接:魔搭社区,去下载对应的大语言模型,本文以下载的是第一个模型为例。

4,下载好后,把下载的大语言模型和上面我们下载的llamafile.exe文件放在一起。

5,在llamafile目录下,点击左上角文件,直接打开powershell命令窗口。

6,执行输入下面命令运行llamafile。

复制代码
.\llamafile-0.6.2.exe -m .\Qwen-7B-Chat-q4_0.llamafile -ngl 9999 --port 8080 --host 0.0.0.0

.\llamafile-0.6.2.exe 表示运行llamafile;

.\Qwen-7B-Chat-q4_0.llamafile表示运行自己下载的大语言模型;

-ngl 999 表示调用GPU显卡运行;

8080 是web 界面访问端口,可以自己修改;

后面-host 默认即可。

7,打开浏览器,输入本地访问地址,就能看到 llama 的web ui 界面,这样表示启动就成功了

第二步,如何在外网访问本地局域网的llamafile

在内网的电脑上安装路由侠,点此下载

1,下载安装完成后,打开路由侠界面,点击【内网映射】。

2,点击【添加映射】。

3,选择【原生端口】。

4,在内网端口里填写默认端口 8080 后点击【创建】按钮,如下图。

5,创建好后,就可以看到一条映射的公网地址,鼠标右键点击【复制地址】。

6,在外网的浏览器的地址栏输入复制的外网地址就可以访问llamafile了。

相关推荐
xwz小王子31 分钟前
从LLM到WM:大语言模型如何进化成具身世界模型?
人工智能·语言模型·自然语言处理
静心问道32 分钟前
FLAN-T5:规模化指令微调的语言模型
人工智能·语言模型·自然语言处理
李师兄说大模型33 分钟前
KDD 2025 | 地理定位中的群体智能:一个多智能体大型视觉语言模型协同框架
人工智能·深度学习·机器学习·语言模型·自然语言处理·大模型·deepseek
weisian15139 分钟前
人工智能-基础篇-18-什么是RAG(检索增强生成:知识库+向量化技术+大语言模型LLM整合的技术框架)
人工智能·语言模型·自然语言处理
THMOM9141 分钟前
TinyWebserver学习(9)-HTTP
网络协议·学习·http
创小匠3 小时前
创客匠人视角下创始人 IP 打造与知识变现的底层逻辑重构
人工智能·tcp/ip·重构
xiangduanjava3 小时前
关于安装Ollama大语言模型本地部署工具
人工智能·语言模型·自然语言处理
en-route3 小时前
HTTP 缓存
网络协议·http·缓存
一 铭6 小时前
AI领域新趋势:从提示(Prompt)工程到上下文(Context)工程
人工智能·语言模型·大模型·llm·prompt
一只小鱼儿吖12 小时前
进程代理单窗口单IP技术:原理、应用与实现
网络·网络协议·tcp/ip