告别联网!5分钟本地跑大模型,Java开发者必懂的Ollama上手教程

哈喽各位码友👋,作为天天写CRUD的Java开发者,平时用ChatGPT、文心一言总有两个痛点:

  1. 必须联网:断网直接没法用,内网开发环境完全无法对接大模型

  2. 数据不安全:代码、业务敏感数据丢给公有云大模型,存在泄密风险

今天给大家安利一款神器:Ollama ,一句话概括:本地大模型管家,不用联网、一行命令就能在自己电脑/服务器上跑各类开源大模型

全文无晦涩概念,零基础也能看懂,文末附带Java项目极简对接代码,直接复制就能用!


一、Ollama到底是什么?

不用看官方生硬定义,我用程序员最熟悉的东西做类比:

Ollama 之于大模型 = Docker 之于容器镜像

  • Docker:一键拉取、运行、管理各种应用镜像

  • Ollama:一键拉取、运行、管理各种开源大模型(DeepSeek、Llama3、Qwen、Phi3等)

核心优势,句句戳中开发者痛点:

  1. 完全本地运行:断网也能用,敏感代码、业务数据不外泄

  2. 配置要求低:普通笔记本、无独显办公电脑也能跑轻量化模型

  3. 命令极简:不用复杂环境配置,没有CUDA折磨,一条命令启动大模型


安装全程零门槛,不用配置环境变量,傻瓜式下一步即可。

官网直达:https://ollama.com/,根据自己系统选择安装包

打开终端/CMD,输入命令:

输出版本号即安装完成,整个过程不到1分钟。

三、核心常用命令

命令 作用 说明
ollama run qwen 运行通义千问大模型 直接开启对话,本地聊天
ollama list 查看已下载的所有模型 看本地装了哪些大模型
ollama rm qwen 删除指定模型 清理磁盘空间
ollama pull llama3 下载模型不启动 提前缓存模型,后续秒启动
ollama serve 启动后台服务 默认监听11434端口,供代码调用

终端输入 ollama run qwen,首次运行会自动下载模型,等待片刻后,直接输入问题即可:


Ollama默认开放接口地址:http://localhost:11434,兼容OpenAI接口格式,Java接入极其简单。

方式1:原生HTTP调用(无第三方依赖)

方式2:SpringAI快速集成(企业项目首选)

第一步:引入依赖

第二步:yml配置

第三步:控制器直接调用

启动项目,访问接口即可,全程本地交互,没有任何数据外传,内网项目、涉密业务完美适配。

五、适合Java开发者的轻量化模型推荐

  • qwen:3b:通义千问小模型,速度最快,低配电脑无脑冲,适合日常写代码

  • llama3:8b:综合能力最强,问答+代码都能打,推荐有独显电脑使用

六、总结

  1. 个人开发:本地AI助手,随时生成代码、排查bug

  2. 成本控制:完全免费,不用花一分钱调用token

👉 关注我,持续分享通俗易懂的Java+AI实战干货