生成式多模态图像模型返回格式的处理方法

1. 主要多模态模型的图片返回格式

不同的API设计理念导致了返回格式的多样化,主要可以分为三大类:直接返回图片URL、返回Base64编码数据,以及返回包含图片数据的JSON对象。

模型/服务 典型返回格式 说明
Nano Banana (Gemini 2.5 Flash Image) inline_data (二进制) 或 image_url[ 响应可能包含 inline_data 字段,内含原始图像字节;也可能通过 image_url 提供访问链接。
OpenAI DALL·E 3 JSON对象中的图片URL (url) 或Base64字符串 (b64_json) 响应结构为 response.data[0].url 或 response.data[0].b64_json,URL链接通常在生成后一小时内有效。
Google Gemini (Vision/Image) parts 中的 inline_data 或 url 生成的图像可能以 inline_data 内嵌二进制数据,或以 url 形式返回。
Stability AI / Stable Diffusion JSON对象中的Base64字符串 (base64) API返回值通常是JSON格式,图片数据存储在 artifacts[0].base64 或 image 字段中。
Midjourney (API) 异步任务ID,完成后返回图片URL 由于生成过程耗时,请求通常先返回 task_id,完成后通过回调或查询接口获取最终图片URL。

2. 后续处理详细实例

无论何种格式,处理流程通常遵循:提取数据 → 解码/下载 → 保存/显示。以下是几个通用示例。

示例1:处理直接返回的图片URL

如果你的API响应像DALL·E或部分Midjourney结果那样,直接给出了图片的URL,通常需要使用 requests 库来下载它。

python 复制代码
import requests

# 假设从响应中提取到了URL
image_url = response.data[0].url  # OpenAI DALL·E 示例[[22]]
# image_url = response.images[0]["image_url"]["url"]  # 类似Nano Banana格式

# 下载图片
image_data = requests.get(image_url).content

# 保存为本地文件
with open('generated_image.png', 'wb') as f:
    f.write(image_data)
print("图片已保存。")
示例2:处理Base64编码的图片数据

对于Stability AI或可选的DALL·E b64_json 返回格式,你需要解码Base64字符串。

python 复制代码
import base64
from PIL import Image
from io import BytesIO

# 假设从响应中提取到Base64字符串(注意去除可能存在的Data URL前缀)
b64_string = response.artifacts[0].base64  # Stability AI 示例[[23]]
# 或 response.data[0].b64_json  # OpenAI DALL·E 示例[[24]]

# 如果是 "data:image/png;base64,..." 格式,需要先分割
if b64_string.startswith('data:'):
    b64_string = b64_string.split(',', 1)[1]

# 解码并保存
image_data = base64.b64decode(b64_string)
image = Image.open(BytesIO(image_data))
image.save('generated_image.jpg')
print("Base64图片已解码并保存。")
示例3:处理内联二进制数据(如Nano Banana/Gemini)

一些API(如Nano Banana)可能在响应中直接包含图像的二进制数据块。

python 复制代码
from PIL import Image
from io import BytesIO

# 假设响应结构如 part.inline_data.data[[25]]
image_bytes = response.candidates[0].content.parts[0].inline_data.data

# 直接使用字节数据
image = Image.open(BytesIO(image_bytes))
image.save('generated_image.png')
print("二进制图片数据已保存。")
示例4:处理异步任务(如Midjourney)

对于Midjourney这类异步API,处理流程稍复杂,需要轮询或等待回调。

python 复制代码
import time
import requests

# 1. 提交任务,获取任务ID
submit_response = requests.post('https://api.midjourney.example/submit', json={'prompt': 'a cat'})
task_id = submit_response.json()['task_id']  # 假设返回格式[[27]]

# 2. 轮询查询结果
while True:
    query_response = requests.get(f'https://api.midjourney.example/query?result={task_id}')
    result = query_response.json()
    
    if result['status'] == 'completed':
        # 3. 任务完成,获取图片URL并下载
        image_url = result['image_url']
        image_data = requests.get(image_url).content
        with open('midjourney_result.png', 'wb') as f:
            f.write(image_data)
        print("异步任务图片已保存。")
        break
    elif result['status'] == 'failed':
        print("任务失败:", result.get('error'))
        break
    else:
        print("任务处理中,等待...")
        time.sleep(5)  # 等待5秒后再次查询

总结

不同多模态模型的图片返回格式各有特点,需要根据具体API的文档,从响应中正确提取出图片URL 、Base64字符串 或二进制数据,然后选择对应的下载或解码方法来处理。在处理异步生成任务时,还需要设计轮询或回调机制来获取最终结果。

相关推荐
字节跳动视频云技术团队11 分钟前
接大模型别再自己配 Key、搭代理了,火山引擎 IGA Pages 一步搞定
人工智能
阿里云大数据AI技术35 分钟前
EMR Serverless StarRocks 产品介绍:从统一 OLAP 走向多模态分析与检索
人工智能
Forget the Dream1 小时前
Spring AI 2.0 系列(二):第一个 ChatClient——从注入到一次完整调用
java·人工智能·spring boot·ai·springai
郝学胜-神的一滴2 小时前
Effective Python 条款35:用类封装替代生成器异常注入
开发语言·人工智能·python·金融·pandas·scikit-learn·matplotlib
火山引擎开发者社区2 小时前
豆包工作,3 个月,800 万,20 亿
人工智能
Chuck.li2 小时前
AI 长篇创作工具选型:工作流对照与自测清单
人工智能·大模型·ai写作·网文作者·ai网文·豆包写作
aleimu2 小时前
Windows 11 右键打开 Cmder 2.0:从找不到菜单到默认使用 Cmder
前端·人工智能·后端
SwanArc技术笔记3 小时前
读技术文档,先用哪个 AI?模型指南筛选与 GPT-6.2 Astra 实操
人工智能
深海鱼在掘金3 小时前
深入浅出RAG——第21章:回顾与展望
人工智能
羲云网络3 小时前
GPT Image 2.6 GIF 交付排障:上线后为什么只剩第一帧?
图像处理·人工智能·前端开发·gif