本地AI部署成趋势:LocalAl+cpolar安全指南

文章目录

    • 前言
    • 【视频教程】
    • [1. Docker部署](#1. Docker部署)
    • [2. 简单使用演示](#2. 简单使用演示)
    • [3. 安装cpolar内网穿透](#3. 安装cpolar内网穿透)
    • [4. 配置公网地址](#4. 配置公网地址)
    • [5. 配置固定公网地址](#5. 配置固定公网地址)

前言

企业数据分析师小张最近遇到个两难问题:需要用AI处理客户敏感数据,但公司规定禁止上传至云端。直到发现了LocalAI这个开源项目,他才找到解决方案------在本地服务器部署后,无需GPU也能运行轻量级大模型,所有数据处理都在公司内网完成。

通过cpolar的内网穿透服务,这个AI系统变得更加灵活。比如在家加班时,小张用平板访问cpolar生成的安全链接,就能调用办公室服务器上的LocalAI,继续分析白天未完成的客户数据。整个过程数据不离开公司内网,却实现了如同本地操作的流畅体验。

本文主要介绍如何在本地服务器部署无需依托高昂价格的GPU,也可以在本地运行离线AI项目的开源AI神器LoaclAI,并结合cpolar内网穿透轻松实现远程使用的超详细教程。

【视频教程】

1. Docker部署

本例使用Ubuntu 22.04进行演示,使用Docker进行部署,如果没有安装Docker,可以查看这篇教程进行安装:《Docker安装教程------Linux、Windows、MacOS》

安装好Docker后,打开终端执行这行命令启动容器即可:

shell 复制代码
sudo docker run -ti --name local-ai -p 8080:8080 localai/localai:latest-cpu

这里使用的镜像是仅使用CPU来运行的镜像,如果大家有Nvidia显卡的好GPU,也可以使用下方命令拉取支持N卡的镜像来运行容器:

shell 复制代码
sudo docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-12

更多项目配置与使用详情大家也可以访问作者的github主页进行查看:https://github.com/mudler/LocalAI

2. 简单使用演示

容器启动后,我们在Ubuntu中使用浏览器访问 http://localhost:8080 即可打开LocalAI的Web UI页面:

能看到页面中央提示我们现在还没有添加大模型,我们可以点击Gallery,在跳转页面选择一个大模型:

可以看到在这个界面中有600多个大模型,并且可以根据用途标签(文字转语音、图片生成、文章生成等等)进行筛选或者在下方输入框搜索指定的模型:

我这里以添加llama-3.2-1b模型来进行演示:点击install按钮安装等待完成即可

安装完成后,点击页面上方导航条中的HOME回到主页即可发现刚刚添加的llama-3.2模型:

想要使用这个AI大模型,点击上方导航中的chat即可与它聊天了:

点击右侧的模型选择,下拉框中会显示你已经安装的大模型:

目前我只安装了这一个,如果想继续安装其他大模型,可以点击页面上方导航栏中的Models进行选择:(跳转的就是首次挑选模型安装的那个页面)

3. 安装cpolar内网穿透

不过我们目前只能在本地局域网内访问刚刚部署的LocalAI来使用AI大模型聊天,如果想不在同一局域网内时,也能在外部网络环境使用手机、平板、电脑等设备远程访问与使用它,应该怎么办呢?我们可以使用cpolar内网穿透工具来实现远程访问的需求。无需公网IP,也不用设置路由器那么麻烦。

下面是安装cpolar步骤:

Cpolar官网地址: https://www.cpolar.com

使用一键脚本安装命令:

shell 复制代码
sudo curl https://get.cpolar.sh | sh

安装完成后,执行下方命令查看cpolar服务状态:(如图所示即为正常启动)

shell 复制代码
sudo systemctl status cpolar

Cpolar安装和成功启动服务后,在浏览器上输入ubuntu主机IP加9200端口即:【http://localhost:9200】访问Cpolar管理界面,使用Cpolar官网注册的账号登录,登录后即可看到cpolar web 配置界面,接下来在web 界面配置即可:

4. 配置公网地址

登录cpolar web UI管理界面后,点击左侧仪表盘的隧道管理------创建隧道:

  • 隧道名称:可自定义,本例使用了: localai ,注意不要与已有的隧道名称重复
  • 协议:http
  • 本地地址:8080
  • 域名类型:随机域名
  • 地区:选择China Top

点击创建:

创建成功后,打开左侧在线隧道列表,可以看到刚刚通过创建隧道生成了两个公网地址,接下来就可以在其他电脑或者移动端设备(异地)上,使用任意一个地址在浏览器中访问即可。

如图所示,现在就已经成功实现使用公网地址异地远程访问本地部署的LocalAI来用AI大模型聊天啦!

小结

为了方便演示,我们在上边的操作过程中使用cpolar生成的HTTP公网地址隧道,其公网地址是随机生成的。这种随机地址的优势在于建立速度快,可以立即使用。然而,它的缺点是网址是随机生成,这个地址在24小时内会发生随机变化,更适合于临时使用。

如果有长期使用LocalAI,或者异地访问与使用其他本地部署的服务的需求,但又不想每天重新配置公网地址,还想让公网地址好看又好记并体验更多功能与更快的带宽,那我推荐大家选择使用固定的二级子域名方式来配置公网地址。

5. 配置固定公网地址

由于以上使用cpolar所创建的隧道使用的是随机公网地址,24小时内会随机变化,不利于长期远程访问。因此我们可以为其配置二级子域名,该地址为固定地址,不会随机变化。

注意需要将cpolar套餐升级至基础套餐或以上,且每个套餐对应的带宽不一样。【cpolar.cn已备案】

点击左侧的预留,选择保留二级子域名,地区选择china top,然后设置一个二级子域名名称,我这里演示使用的是mylocal,大家可以自定义。填写备注信息,点击保留。

保留成功后复制保留的二级子域名地址:

登录cpolar web UI管理界面,点击左侧仪表盘的隧道管理------隧道列表,找到所要配置的隧道localai,点击右侧的编辑

修改隧道信息,将保留成功的二级子域名配置到隧道中

  • 域名类型:选择二级子域名
  • Sub Domain:填写保留成功的二级子域名
  • 地区: China Top

点击更新

更新完成后,打开在线隧道列表,此时可以看到随机的公网地址已经发生变化,地址名称也变成了保留和固定的二级子域名名称。

最后,我们使用固定的公网地址在任意设备的浏览器中访问,可以看到成功访问本地部署的LocalAI Web UI页面,这样一个永久不会变化的二级子域名公网网址即设置好了。

以上就是如何在本地Ubuntu系统使用Docker快速部署开源AI服务LocalAI,并安装cpolar内网穿透工具配置固定不变的二级子域名公网地址,实现随时随地远程在线与AI大模型交互的全部流程,感谢您的观看,有任何问题欢迎留言交流。

总结:从金融报表分析到医疗数据处理,LocalAI与cpolar的组合为隐私敏感场景提供了可行方案。在AI技术普及的今天,数据安全与使用便利本不该是选择题。

本篇文章知识点来源[cpolar官网][https://www.cpolar.com]

相关推荐
BullSmall16 分钟前
汽车HIL测试:电子开发的关键验证环节
人工智能·机器学习·自动驾驶
woshihonghonga18 分钟前
停止Conda开机自动运行方法
linux·人工智能·conda
深盾科技19 分钟前
C/C++逆向分析实战:变量的奥秘与安全防护
c语言·c++·安全
海洲探索-Hydrovo2 小时前
TTP Aether X 天通透传模块丨国产自主可控大数据双向通讯定位模组
网络·人工智能·科技·算法·信息与通信
触想工业平板电脑一体机2 小时前
【触想智能】工业安卓一体机在人工智能领域上的市场应用分析
android·人工智能·智能电视
墨染天姬4 小时前
【AI】数学基础之矩阵
人工智能·线性代数·矩阵
2401_841495645 小时前
【计算机视觉】基于复杂环境下的车牌识别
人工智能·python·算法·计算机视觉·去噪·车牌识别·字符识别
你的人类朋友6 小时前
“签名”这个概念是非对称加密独有的吗?
前端·后端·安全
倔强青铜三6 小时前
苦练Python第66天:文件操作终极武器!shutil模块完全指南
人工智能·python·面试
倔强青铜三6 小时前
苦练Python第65天:CPU密集型任务救星!多进程multiprocessing模块实战解析,攻破GIL限制!
人工智能·python·面试