Spring AI 多模态实战(下):文生图 + TTS 语音合成(含 2.0 流式音频分片)

Spring AI 多模态实战(下):文生图 + TTS 语音合成(含 2.0 流式音频分片)

系列:Spring AI 深入浅出(第 17 篇)

版本:Spring AI 2.0.1 / Spring Boot 4.1.x / JDK 21

标签:#SpringAI #文生图 #TTS #语音合成

前置阅读:第 16 篇《图像理解 Vision》

预计字数:6000 字|可复制源码 + 生成式多模态图 + 踩坑 FAQ

本文将解决:除了"看懂",多模态还能"造出来"------文生图 + 语音合成(TTS),一篇讲完生成式多模态。

你将学到:

  • 文生图:ImageModel / ImagePrompt
  • TTS:SpeechModel / SpeechPrompt
  • 2.0 流式音频分片
  • 生成物落盘与成本控制

一、版本标注

本文基于 Spring AI 2.0.1 / Boot 4.1 / JDK 21。文生图走 ImageModel/ImagePrompt,TTS 走 SpeechModel/SpeechPrompt(不同厂商 starter 提供对应实现);2.0 流式音频分片的具体 API 以 2.0.1 官方文档为准。


二、文生图:ImageModel / ImagePrompt

文生图是"输入文字 → 输出图片",走独立的 ImageModel 抽象(和聊天的 ChatModel 分开):

java 复制代码
import org.springframework.ai.image.ImageModel;
import org.springframework.ai.image.ImagePrompt;
import org.springframework.ai.image.ImageResponse;

@Service
public class ImageService {
    private final ImageModel imageModel;

    public ImageService(ImageModel imageModel) {
        this.imageModel = imageModel;
    }

    public String generateImage(String prompt) {
        ImageResponse response = imageModel.call(new ImagePrompt(prompt));
        // 取第一张图(返回 URL 或 base64,取决于实现)
        return response.getResult().getOutput().getUrl();
    }
}

要点:

  • ImageModel.call(ImagePrompt) 返回 ImageResponse
  • 图片输出一般是 URL (云端)或 base64(本地模型)
  • URL 会过期,生产上要及时落盘到对象存储

三、TTS:SpeechModel / SpeechPrompt

TTS 是"输入文字 → 输出音频":

java 复制代码
import org.springframework.ai.speech.SpeechModel;
import org.springframework.ai.speech.SpeechPrompt;
import org.springframework.ai.speech.SpeechResponse;

@Service
public class SpeechService {
    private final SpeechModel speechModel;

    public SpeechService(SpeechModel speechModel) {
        this.speechModel = speechModel;
    }

    public byte[] textToSpeech(String text) {
        SpeechResponse response = speechModel.call(new SpeechPrompt(text));
        return response.getResult().getOutput().getAudio(); // 音频字节
    }
}

得到的音频字节可写文件、存对象存储,或直接返回前端播放。


四、2.0 流式音频分片

长文本的 TTS 如果等全部生成完才返回,用户要等很久。2.0 支持流式音频分片------边合成边返回音频块:

java 复制代码
// 思路:流式 TTS,边生成边拿到音频分片
// 精确 API 以 2.0.1 官方文档为准(Flux<byte[]> 或类似)

适用:长文本朗读、实时语音播报等需要低延迟的场景。


五、生成物落盘与成本控制

生成式多模态(尤其文生图、长文本 TTS)成本不低,要控制:

手段 说明
缓存 相同 prompt 不重复生成,直接返回缓存
落盘 URL 会过期,及时存对象存储/本地
限流 文生图/TTS 设配额,防止刷爆成本
选型 本地模型(如 Ollama 的 TTS/图模型)可省云端费用

六、原理图解:生成式多模态请求-响应

#mermaid-svg-9Ne5Sip1blvozKU5{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-9Ne5Sip1blvozKU5 .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-9Ne5Sip1blvozKU5 .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-9Ne5Sip1blvozKU5 .error-icon{fill:#552222;}#mermaid-svg-9Ne5Sip1blvozKU5 .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-9Ne5Sip1blvozKU5 .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-9Ne5Sip1blvozKU5 .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-9Ne5Sip1blvozKU5 .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-9Ne5Sip1blvozKU5 .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-9Ne5Sip1blvozKU5 .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-9Ne5Sip1blvozKU5 .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-9Ne5Sip1blvozKU5 .marker{fill:#333333;stroke:#333333;}#mermaid-svg-9Ne5Sip1blvozKU5 .marker.cross{stroke:#333333;}#mermaid-svg-9Ne5Sip1blvozKU5 svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-9Ne5Sip1blvozKU5 p{margin:0;}#mermaid-svg-9Ne5Sip1blvozKU5 .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-9Ne5Sip1blvozKU5 .cluster-label text{fill:#333;}#mermaid-svg-9Ne5Sip1blvozKU5 .cluster-label span{color:#333;}#mermaid-svg-9Ne5Sip1blvozKU5 .cluster-label span p{background-color:transparent;}#mermaid-svg-9Ne5Sip1blvozKU5 .label text,#mermaid-svg-9Ne5Sip1blvozKU5 span{fill:#333;color:#333;}#mermaid-svg-9Ne5Sip1blvozKU5 .node rect,#mermaid-svg-9Ne5Sip1blvozKU5 .node circle,#mermaid-svg-9Ne5Sip1blvozKU5 .node ellipse,#mermaid-svg-9Ne5Sip1blvozKU5 .node polygon,#mermaid-svg-9Ne5Sip1blvozKU5 .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-9Ne5Sip1blvozKU5 .rough-node .label text,#mermaid-svg-9Ne5Sip1blvozKU5 .node .label text,#mermaid-svg-9Ne5Sip1blvozKU5 .image-shape .label,#mermaid-svg-9Ne5Sip1blvozKU5 .icon-shape .label{text-anchor:middle;}#mermaid-svg-9Ne5Sip1blvozKU5 .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-9Ne5Sip1blvozKU5 .rough-node .label,#mermaid-svg-9Ne5Sip1blvozKU5 .node .label,#mermaid-svg-9Ne5Sip1blvozKU5 .image-shape .label,#mermaid-svg-9Ne5Sip1blvozKU5 .icon-shape .label{text-align:center;}#mermaid-svg-9Ne5Sip1blvozKU5 .node.clickable{cursor:pointer;}#mermaid-svg-9Ne5Sip1blvozKU5 .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-9Ne5Sip1blvozKU5 .arrowheadPath{fill:#333333;}#mermaid-svg-9Ne5Sip1blvozKU5 .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-9Ne5Sip1blvozKU5 .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-9Ne5Sip1blvozKU5 .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-9Ne5Sip1blvozKU5 .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-9Ne5Sip1blvozKU5 .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-9Ne5Sip1blvozKU5 .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-9Ne5Sip1blvozKU5 .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-9Ne5Sip1blvozKU5 .cluster text{fill:#333;}#mermaid-svg-9Ne5Sip1blvozKU5 .cluster span{color:#333;}#mermaid-svg-9Ne5Sip1blvozKU5 div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-9Ne5Sip1blvozKU5 .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-9Ne5Sip1blvozKU5 rect.text{fill:none;stroke-width:0;}#mermaid-svg-9Ne5Sip1blvozKU5 .icon-shape,#mermaid-svg-9Ne5Sip1blvozKU5 .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-9Ne5Sip1blvozKU5 .icon-shape p,#mermaid-svg-9Ne5Sip1blvozKU5 .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-9Ne5Sip1blvozKU5 .icon-shape rect,#mermaid-svg-9Ne5Sip1blvozKU5 .image-shape rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-9Ne5Sip1blvozKU5 .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-9Ne5Sip1blvozKU5 .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-9Ne5Sip1blvozKU5 :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 文生图
TTS
文字 prompt
模型类型
ImageModel
SpeechModel
图片 URL/base64
音频字节/流式分片


七、踩坑 FAQ

坑 1:图片 URL 过期

现象 :返回的图片 URL 过段时间就打不开了。

原因 :云端图片 URL 有有效期。

解决:拿到 URL 后及时下载落盘到对象存储。

坑 2:TTS 音频格式/编码不匹配

现象 :前端播放音频失败或音质异常。

原因 :音频格式(mp3/wav/opus)或编码与前端不匹配。

解决:核对 TTS 输出格式,统一转成前端支持的格式(如 mp3)。

坑 3:流式分片拼接顺序错

现象 :流式音频分片拼起来后播放乱序。

原因 :分片顺序没保证,或拼接逻辑错。

解决:按分片序号拼接,注意结束标记。

坑 4:生成成本高

现象 :文生图/TTS 调用多,成本飙升。

原因 :生成式多模态单价高,无缓存无配额。

解决:加缓存(相同 prompt 复用)+ 配额限流 + 必要时换本地模型。

坑 5:图片/音频没有落盘,丢了

现象 :重启或过期后生成物丢失。

原因 :只返回了 URL/临时数据,没持久化。

解决:生成后立即落盘对象存储/数据库,记录元数据。


八、小结与合集导航

本篇补全生成式多模态:

  • 文生图 ImageModel/ImagePrompt
  • TTS SpeechModel/SpeechPrompt
  • 2.0 流式音频分片
  • 落盘 + 缓存 + 限流的成本控制

下一篇:《流式输出对接前端》------类 ChatGPT 打字机效果,Flux + SSE 打通前后端。


九、互动钩子

投票:文生图和 TTS,你更需要哪个?

  • 文生图
  • TTS 语音合成
  • 两个都要
  • 都用不上

评论区聊聊你的生成式多模态场景;源码见置顶评论。

相关推荐
土豆12501 小时前
你只说要什么,它负责拆活交付:任务编排插件上手指南
人工智能·llm
jaysee-sjc2 小时前
【黑马点评】Day02:优惠券秒杀与分布式锁
java·分布式·nginx·spring·node.js·tomcat·maven
GoldenSpider.AI3 小时前
讲透 Claude Code 的 Code Mode:原理、流程、用法与 24 轮实测
人工智能·ai编程·claude code
oak隔壁找我3 小时前
一款运行在 DSH(DeepSeek Harness)中的工作区文件管理插件
人工智能
江屿风3 小时前
AI Agent架构全解析:从规划到记忆的智能跃迁
人工智能·笔记·架构·agent·c/s·mcp工作流
ZONGYUAN-ROOT3 小时前
【API配额】多源 LLM API 配额池化实战:轮换调度、变化量监控、故障自愈一套方案(Python 完整实现)
人工智能
syso_稻草人3 小时前
qwen-image-2.1 高清放大拆解:Qwen21LatentUpscale 潜空间 2x + denoise 0.35 修细节,12 组场景实测
人工智能·stable diffusion·prompt·comfyui·qwen-image2.1
CoderYanger4 小时前
Java EE 进阶:10. MyBatis-Plus使用(第一弹)
java·spring boot·后端·sql·spring·java-ee·mybatis
羲云网络4 小时前
GPT Image 2.6 动态表情怎么改:从情绪歧义到动作节奏验收
人工智能·gif·图像编辑