部署一个本地的ChatGPT(Ollama)

一 下载Ollama

Ollama下载地址:https://ollama.com/download

下载完后

二 安装运行

双击下载好的OllamaSetup.exe开发 安装Ollama:

安装完成后,多了一个Ollama的菜单如下图 :

Ollama安装好默认是配置开机运行,如果没有运行可以在菜单上点击一下即可,正常情况要查看是否运行状态看一下任务栏这个图标即可。

在命令行运行

复制代码
ollama

首次运行需要选择下载的模型

bash 复制代码
ollama run gemma:7b

指定使用的模型gemma:7b,这里可以选择其它模型,第一次调用当本地不存在时会自动下载该模型,运行成功可直接在命令行模型上发问如下图:

模型

可以根据电脑配置和自己的爱好选择模型:

注意:运行7B机型至少应该有8gb可用内存,运行13B机型至少应该有16gb可用内存,运行33B机型至少应该有32gb可用内存。

三 配置Chat Ollama 客户端

配置Chat Ollama 客户端,加一个壳用来调用的。

在github找到一个开源的web客户端 https://github.com/ivanfioravanti/chatbot-ollama

开发环境运行:

配置好的Chat Ollama 客户端,运行效果,界面不够美的可以直接修改页面代码。

这里我们只需配置本地的服务配置即可,如下图:

选好模型开始聊天:

可以开始聊天了,如下图:

帮助写代码如下图:

这样跑起来方便很多

相关推荐
奈落249 小时前
Codex 并进 ChatGPT 之后,“编程智能体“是变浅了还是变顺了:从官方概览页的功能分工到五家公司开发者反馈,读一次产品化合并的得与失
人工智能·chatgpt·工作流·ai 编程
xiaoye-duck12 小时前
《C++ 项目:手写大模型接入 SDK》ChatGPT接口设计(中):全量响应实现和测试
网络·c++·语言模型·chatgpt
孤狼GPT15 小时前
ChatGPT、Codex数据库实战:MyBatis-Plus第一页查询正常,翻到第10000页为什么越来越慢?
mysql·chatgpt·mybatis-plus·codex·深分页
jerrywus1 天前
普通人怎么用 Codex:从表格、文件和小工具开始
chatgpt·agent·mcp
仙逆GPT2 天前
ChatGPT、Codex工程实战:Agent接入企业知识库,文档明明更新了,为什么回答还是旧版本?
chatgpt·codex·rag·企业知识库·ai agent
lucas_AI3 天前
「无限 Codex」白嫖项目终结?OpenAI 12 月起把 ChatGPT 与 Codex 额度合成一个池子
chatgpt·openai
孤狼GPT3 天前
ChatGPT、Codex工程实战:Spring Boot的SSE一直在推送,为什么经过Nginx后前端才一次性显示?
spring boot·chatgpt·sse·codex·chatgptplus
孤狼GPT3 天前
ChatGPT、Codex性能实战:MySQL升级到8.0后,SQL没改,为什么接口P99反而翻倍?
spring boot·chatgpt·sql优化·codex·mysql8.0
lucas_AI4 天前
点开一条 ChatGPT 分享链接,私聊就被端了:数学键盘 + YouTube JSONP 组成的 P1 漏洞链
chatgpt
奈落244 天前
全局切换器之后:从 ChatGPT 桌面端把聊天、工作、编程并进一个窗口,看“三合一”改了什么、没改什么
chatgpt·工作流·ai 编程