哈喽各位码友👋,作为天天写CRUD的Java开发者,平时用ChatGPT、文心一言总有两个痛点:
-
必须联网:断网直接没法用,内网开发环境完全无法对接大模型
-
数据不安全:代码、业务敏感数据丢给公有云大模型,存在泄密风险
今天给大家安利一款神器:Ollama ,一句话概括:本地大模型管家,不用联网、一行命令就能在自己电脑/服务器上跑各类开源大模型。
全文无晦涩概念,零基础也能看懂,文末附带Java项目极简对接代码,直接复制就能用!
一、Ollama到底是什么?
不用看官方生硬定义,我用程序员最熟悉的东西做类比:
Ollama 之于大模型 = Docker 之于容器镜像
-
Docker:一键拉取、运行、管理各种应用镜像
-
Ollama:一键拉取、运行、管理各种开源大模型(DeepSeek、Llama3、Qwen、Phi3等)
核心优势,句句戳中开发者痛点:
-
完全本地运行:断网也能用,敏感代码、业务数据不外泄
-
配置要求低:普通笔记本、无独显办公电脑也能跑轻量化模型
-
命令极简:不用复杂环境配置,没有CUDA折磨,一条命令启动大模型
安装全程零门槛,不用配置环境变量,傻瓜式下一步即可。
官网直达:https://ollama.com/,根据自己系统选择安装包
打开终端/CMD,输入命令:
输出版本号即安装完成,整个过程不到1分钟。
三、核心常用命令
| 命令 | 作用 | 说明 |
|---|---|---|
| ollama run qwen | 运行通义千问大模型 | 直接开启对话,本地聊天 |
| ollama list | 查看已下载的所有模型 | 看本地装了哪些大模型 |
| ollama rm qwen | 删除指定模型 | 清理磁盘空间 |
| ollama pull llama3 | 下载模型不启动 | 提前缓存模型,后续秒启动 |
| ollama serve | 启动后台服务 | 默认监听11434端口,供代码调用 |
终端输入 ollama run qwen,首次运行会自动下载模型,等待片刻后,直接输入问题即可:
Ollama默认开放接口地址:http://localhost:11434,兼容OpenAI接口格式,Java接入极其简单。
方式1:原生HTTP调用(无第三方依赖)
方式2:SpringAI快速集成(企业项目首选)
第一步:引入依赖
第二步:yml配置
第三步:控制器直接调用
启动项目,访问接口即可,全程本地交互,没有任何数据外传,内网项目、涉密业务完美适配。
五、适合Java开发者的轻量化模型推荐
-
qwen:3b:通义千问小模型,速度最快,低配电脑无脑冲,适合日常写代码
-
llama3:8b:综合能力最强,问答+代码都能打,推荐有独显电脑使用
六、总结
-
个人开发:本地AI助手,随时生成代码、排查bug
-
成本控制:完全免费,不用花一分钱调用token
👉 关注我,持续分享通俗易懂的Java+AI实战干货