部署一个本地的ChatGPT(Ollama)

一 下载Ollama

Ollama下载地址:https://ollama.com/download

下载完后

二 安装运行

双击下载好的OllamaSetup.exe开发 安装Ollama:

安装完成后,多了一个Ollama的菜单如下图 :

Ollama安装好默认是配置开机运行,如果没有运行可以在菜单上点击一下即可,正常情况要查看是否运行状态看一下任务栏这个图标即可。

在命令行运行

复制代码
ollama

首次运行需要选择下载的模型

bash 复制代码
ollama run gemma:7b

指定使用的模型gemma:7b,这里可以选择其它模型,第一次调用当本地不存在时会自动下载该模型,运行成功可直接在命令行模型上发问如下图:

模型

可以根据电脑配置和自己的爱好选择模型:

注意:运行7B机型至少应该有8gb可用内存,运行13B机型至少应该有16gb可用内存,运行33B机型至少应该有32gb可用内存。

三 配置Chat Ollama 客户端

配置Chat Ollama 客户端,加一个壳用来调用的。

在github找到一个开源的web客户端 https://github.com/ivanfioravanti/chatbot-ollama

开发环境运行:

配置好的Chat Ollama 客户端,运行效果,界面不够美的可以直接修改页面代码。

这里我们只需配置本地的服务配置即可,如下图:

选好模型开始聊天:

可以开始聊天了,如下图:

帮助写代码如下图:

这样跑起来方便很多

相关推荐
陈敬雷-充电了么-CEO兼CTO21 小时前
具身智能模拟器:解决机器人实机训练场景局限与成本问题的创新方案
大数据·人工智能·机器学习·chatgpt·机器人·具身智能
陈敬雷-充电了么-CEO兼CTO2 天前
具身智能多模态感知与场景理解:融合语言模型的多模态大模型
人工智能·python·gpt·语言模型·自然语言处理·chatgpt·多模态
一杯敬朝阳 一杯敬月光2 天前
记录下chatgpt的openai 开发过程
python·chatgpt·flask
小杨互联网2 天前
如何确保 ChatGPT 不会让你变“傻”?——四个防止认知萎缩的习惯
人工智能·chatgpt
AMiner:AI科研助手2 天前
警惕!你和ChatGPT的对话,可能正在制造分布式妄想
人工智能·分布式·算法·chatgpt·deepseek
今天也要学习吖3 天前
OpenAI开放ChatGPT Projects功能,免费用户也能用了!
人工智能·chatgpt·aigc·openai·chatgptprojects
美人鱼战士爱学习3 天前
2023 arXiv MapperGPT: Large Language Models for Linking and Mapping Entities
chatgpt
GEO_JYB3 天前
大语言模型的“思考”逻辑:从Token生成到上下文理解的内部流程
人工智能·chatgpt
陈敬雷-充电了么-CEO兼CTO4 天前
66具身智能让人形机器人 “活” 起来:懂语言、能感知、会行动,智能进化再提速
人工智能·gpt·机器学习·chatgpt·机器人·机器翻译·具身智能
Virgil1394 天前
如何正确使用ChatGPT做数学建模比赛——数学建模AI使用技巧
人工智能·数学建模·chatgpt