本文基于 Spring AI 2.0.0 / LangChain4j 1.19.0(截至 2026-08-19)编写。该领域迭代极快,请以官方文档为准。
开篇
"AI 都是 Python 的事"------这种说法在 2023 年也许成立,在 2026 年已经不准了。
过去两年,Java 生态在 AI 这一波发生了三件事:
- 主流框架全部 GA:Spring AI 2.0(2026-06)、LangChain4j 1.19(2026-08)、Spring AI Alibaba 1.1.2、AgentScope Java 2.0(2026-07)齐头并进;
- 协议层成型:MCP(工具接入)、A2A(Agent 互联)、Agent Skills(能力复用)三大开放标准在 Java 端都有官方实现;
- 推理引擎补齐:Jlama 让你在纯 JVM 进程里直接跑 Llama,不再依赖 Python 运行时。
结果:今天的 AI 应用开发 ≈ 调 API + 编排 + 工程化------这恰好是 Java 工程师做了十几年的事。

现状盘点:Java 生态在 2026 有什么
把目前 Java 生态里值得关注的 AI 项目整理成一张速查表(数据截至 2026-08-19):
| 项目 | 版本 | 一句话定位 |
|---|---|---|
| Spring AI | 2.0.0 GA | Spring 生态 AI 原生运行时,类比"AI 世界的 JDBC" |
| LangChain4j | 1.19.0 | 全功能 LLM 应用框架,Java 8+ 起步 |
| Spring AI Alibaba | 1.1.2.0 | Agent 全家桶,Graph 编排 + 阿里云生态 |
| AgentScope Java | 2.0.0 GA | 阿里独立多 Agent 框架,ReAct 范式,主打生产工程化 |
| Google ADK Java | 持续迭代 | code-first Agent 工具包,绑 Vertex AI + A2A |
| spring-ai-agent-utils | v0.10.0 | Claude Code 的 Java/Spring 移植 |
| MCP Java SDK | 2.0.0 GA | Spring 团队维护的官方 MCP 实现 |
| Solon AI | 3.5.x+ | 框架无关轻量方案,支持 Java 8~26 |
| Jlama | 持续迭代 | 纯 Java LLM 推理引擎(GGUF) |
补一句市场观察(非正式数据,仅供参考):据招聘平台近期的非正式统计,国内头部云厂商近八成的 Java 后端 JD 已经把 AI 能力写进任职要求。数字未必精确,但方向非常清楚------AI 正在成为 Java 后端工程师的默认技能,而不是另起炉灶的方向。
五大框架,怎么选
不是每个项目都要上 AgentScope。选框架前先问两个问题:
- 是否已经在 Spring 生态里? 是 → Spring AI 2.0 是最低摩擦的选择。
- 要做什么形态的应用? 单轮/多轮对话用基座层;复杂多 Agent 用 Agent 框架。
| 框架 | 适合谁 | 拿手戏 | 注意事项 |
|---|---|---|---|
| Spring AI 2.0 | Spring 商 | ChatClient + Advisor 链;工具调用循环变成可插拔组件 | 基线跳到 Boot 4 + Framework 7,升级有破坏性变更 |
| LangChain4j 1.19 | 非 Spring / Java 8+ 起步 | AiServices 声明式接口;率先支持 MCP 2026-07-28 规范 | 三条并行维护线,版本选型要留意 |
| Spring AI Alibaba 1.1.2 | 阿里云生态 | Graph Core(对标 LangGraph 的部分)+ Agent 全家桶 | 基于 Spring AI 1.1.2 + Boot 3.5.x,尚未跟上 Spring AI 2.0 / Boot 4 |
| AgentScope Java 2.0 | 多 Agent 生产场景 | 模型容错、事件流、多租户、Workspace 隔离 | 与 SAA 是同一团队两条产品线,路线之争值得另文 |
| Solon AI | 不喜欢 Spring 重量的团队 | 框架无关,支持 Java 8~26 | 社区规模相对小 |
如果你还在犹豫:先用 Spring AI 2.0 跑通最小 demo,然后再根据是否需要图工作流 / 多 Agent 协作,决定要不要叠加 SAA Graph 或 AgentScope。
Java 做 AI 的三张牌
牌一:企业级工程能力
这是 Java 社区几十年积累的家底。把它和 AI 结合,恰好覆盖生产环境最难的部分:
- 强类型与编译期检查:提示词、工具签名、结构化输出都能在编译期发现错误。
- 事务与一致性:LangChain4j 1.19 的工具补偿机制(#5823)就是给 AI Agent 加"Saga 风格的事务"。
- 可观测:Micrometer + OpenTelemetry 在 Spring AI / SAA / AgentScope 里都是一等公民。
- 安全与多租户:OAuth、API-Key、租户隔离直接复用 Spring Security。
- 可组合的横切关注点:Spring AI 2.0 的 Advisor 链就是为此而生的------一个 Advisor 解决一个横切问题(日志、重试、限流、审计),可以像 Servlet Filter 一样自由组合。
Python 框架在工程化方向上正在追赶,但十年以上的成熟度差距不是一年能填的。
牌二:JVM 性能与部署
JVM 不是最快的运行时,但是最稳的之一:
- GC 调优:从 G1 到 ZGC,JVM 的 GC 调优是生产工程师的"基本功"。
- 虚拟线程(Loom):Java 21+ 的虚拟线程对 LLM 调用的高延迟场景非常友好,几万个并发 ChatClient 调用不再需要复杂的线程池调参。
- 容器化与 K8s:Java 应用在 K8s 上的 JVM 参数调优、Sidecar 注入、内存/CPU 限制都有大量成熟实践。
- AOT/原生镜像:Spring Boot 3+ 的 GraalVM 原生镜像启动毫秒级、内存占用百兆级,AI Serverless 部署非常合适。
- 纯 JVM 推理:Jlama 让你的 Java 进程直接跑 GGUF 格式的 Llama 模型,零 Python 依赖。
牌三:存量系统集成
这是 Java 工程师最大的"地利":
- 企业数据在哪? 90% 以上的企业核心数据在 Oracle / MySQL / PostgreSQL 上,Java 生态连接这些数据库最自然。
- 业务系统在哪? 订单、库存、支付、ERP------几乎都是 Java 写的。AI Agent 要调用业务接口?同一进程、同一事务边界。
- RAG 数据源在哪? 文档库、知识库、Confluence、内部 Wiki------Java 生态有现成的连接器。
- 可观测与告警:现有 SRE 体系、APM、链路追踪全部可以复用,AI 调用链路只是普通 Java 进程的可观测对象。
Python 生态在科研和模型训练侧有压倒性优势,但在企业应用集成侧,Java 仍然是事实标准。AI 应用最后 100 米的工程问题,绝大多数落在 Java 工程师手里。
10 分钟示例:Spring AI 2.0 + DeepSeek
这里选 DeepSeek 而不是 OpenAI,是因为它在 2026 仍是国内最易得的 OpenAI 兼容 API 之一。OpenAI 兼容意味着换一个 base-url 就能切到 Qwen、Moonshot、智谱、零一万物等任意国产模型,无需改业务代码。
完整工程已经够跑:Maven + Spring Boot 4.0 + Spring AI 2.0 + Java 17。
pom.xml
xml
<parent>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-parent</artifactId>
<version>4.0.0</version>
</parent>
<properties>
<java.version>17</java.version>
</properties>
<dependencyManagement>
<dependencies>
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-bom</artifactId>
<version>2.0.0</version>
<type>pom</type>
<scope>import</scope>
</dependency>
</dependencies>
</dependencyManagement>
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-starter-model-openai</artifactId>
</dependency>
</dependencies>
src/main/resources/application.yml
yaml
spring:
ai:
openai:
api-key: ${DEEPSEEK_API_KEY}
base-url: https://api.deepseek.com
chat:
model: deepseek-chat
Spring AI 2.0 把配置里的
.options段去掉了,spring.ai.openai.chat.options.model在 2.0 里直接写成spring.ai.openai.chat.model。这是 1.x 升 2.0 的一个高频踩坑点,后续升级篇会展开。
src/main/java/com/example/ChatController.java
java
package com.example;
import org.springframework.ai.chat.client.ChatClient;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;
@RestController
@RequestMapping("/ai")
public class ChatController {
private final ChatClient chatClient;
public ChatController(ChatClient.Builder builder) {
this.chatClient = builder
.defaultSystem("你是一名资深 Java 架构师,回复简洁有力。")
.build();
}
@GetMapping("/chat")
public String chat(@RequestParam String message) {
return chatClient.prompt()
.user(message)
.call()
.content();
}
}
跑起来:
bash
export DEEPSEEK_API_KEY=sk-xxx
./mvnw spring-boot:run
# 另一个终端
curl 'http://localhost:8080/ai/chat?message=用一句话介绍%20Spring%20AI%202.0'
到这里你已经跑通了一个生产可用的最小 AI 服务------10 分钟不到。
接下来想给模型接工具?只要在 Spring Bean 上加一个
@Tool注解的方法,传入chatClient.prompt().tools(bean)即可------一个注解把现有 Java 服务变成 AI 可调用的工具。这是 Java 程序员独有的"加注解式 AI 集成",Python 框架里没有这种和现有 Spring 生态无缝衔接的体验。完整示例见本系列下一篇。
什么场景仍然需要 Python
不粉饰------以下场景 Python 仍是更优解:
- 模型训练与微调:PyTorch + CUDA + 全套训练工具链是 Python 的统治区,Java 侧(DJL、ONNX Runtime)能做推理但做训练不主流。
- 前沿模型实验:新论文、新架构、新数据集几乎都先有 Python 实现,Java 跟进通常滞后 6~12 个月。
- 数据科学快速迭代:Jupyter + pandas + numpy 的循环反馈速度仍然最快。
- GPU 编程与底层算子优化:CUDA 一手生态,PyTorch / JAX 是首选。
但请注意:这些是"模型生产"侧的事,不是"模型消费/应用"侧的事。作为一个应用开发者,你的工作是在模型之上构建产品,这部分 Java 已经够用。
更准确地说:
- 做模型(训练、研究、底层算子) → Python 仍是必选
- 用模型(调 API、做应用、做编排、跑生产) → Java 已经是不弱于 Python 的选择
写在最后:别转语言,转思维
如果你是一个犹豫要不要转 Python 的 Java 工程师,我的建议是:
- 不要急着换语言。先用一周时间把 Spring AI 2.0 跑通,做一个小 Demo。你会发现调模型的 API 比调数据库还简单。
- 把精力放在概念上:Prompt、Tool、Memory、RAG、Agent------这些概念在 Java 和 Python 里完全一致,今天学了在任何生态都受用。
- 回归工程主战场:AI 的下半场比赛一定在生产工程化------容错、可观测、安全、多租户、成本控制------这些是 Java 工程师十几年积累的看家本领。
- Java 生态在 2026 已经"够用且好用"。Spring AI 2.0 的 Advisor 链、SAA 的 Graph Core、AgentScope 的工程化、Jlama 的纯 JVM 推理------单拎出任何一个都值得研究半年。
焦虑通常来自信息差,不是来自能力差。