在 DigitalOcean GPU 云服务上使用 LangChain 构建Serverless AI 应用

当你在构建 AI 应用时,合适的工具往往能起到决定性的作用。LangChain 多年来一直是开发者首选的框架之一,它丰富的集成生态系统能帮助开发者从创意快速走向生产落地。

如今,借助 ​langchain-gradient ​------DigitalOcean 官方推出的 LangChain 集成方案,你可以将 DigitalOcean Gradient AI的 Serverless 推理接口LangChain 的 agents、tools 和 chains 无缝结合。

本文将介绍为什么 langchain-gradient 能帮助开发者优化智能体(agent)工作流、如何在几分钟内将 Gradient AI 的 Serverless 推理连接到 LangChain,以及如何使用 invokestream 方法(附简明示例)。

什么是 LangChain-Gradient?

全新的 langchain-gradient 集成可以在多方面提升你的开发效率:

  • 兼容现有 LangChain 代码的即插即用 方案:只需几行代码即可切换到 Gradient AI 的推理端点,无需重写或重构。
  • **延续 LangChain 的熟悉抽象(Chains、Tools、Agents)**:继续使用你熟悉的构建方式------组合链、接入工具、启动智能体,无需更改工作流。
  • 多模型可选:在 DigitalOcean 上即时访问多种 GPU 加速的 Serverless AI 模型。
  • 开放与灵活:该软件包完全开源,并与最新版本的 LangChain 和 Gradient AI 平台保持兼容。

LangChain 官方文档中已有该集成的使用说明,同时也可以通过 PyPI 上的项目包实现快速集成。

获取 DigitalOcean API Key

要运行 ​langchain-gradient ​,首先需要从 DigitalOcean Cloud 控制台 获取推理访问密钥:

  1. 登录 DigitalOcean Cloud 控制台。

  2. 打开 Agent Platform → Serverless Inference

  3. 点击 "Create model access key",命名并生成密钥。

  4. 将生成的密钥作为环境变量:

    export DIGITALOCEAN_INFERENCE_KEY="your_key_here"

安装 LangChain-Gradient

使用以下命令安装软件包:

复制代码
pip install langchain-gradient

可用功能

1. invoke:单次调用

适用于一次性生成完整输出的场景。

模型生成完成后返回完整字符串或消息对象,适合同步脚本、批处理任务或仅需一次响应的服务端接口。

2. stream:流式输出(令牌级别)

适用于希望实时接收部分输出的场景。

模型会逐步输出生成内容,可用于终端、Notebook 或聊天界面中的实时展示,也便于日志追踪或中途取消任务。

使用示例:Invoke 调用

复制代码
import os  
from langchain_gradient import ChatGradient  

llm = ChatGradient(  
    model="llama3.3-70b-instruct",  
    api_key=os.getenv("DIGITALOCEAN_INFERENCE_KEY"),  
)

result = llm.invoke(  
    "Summarize the plot of the movie 'Inception' in two sentences, and then explain its ending."  
)  

print(result)

解释:

  • ChatGradient:与 LangChain 兼容的 Gradient AI LLM 客户端。
  • llm = ChatGradient(...):创建一个 LLM 实例。
  • model:指定模型名称(如 "llama3.3-70b-instruct"),可选自 Gradient AI 平台提供的模型。
  • api_key:从环境变量读取你的 DigitalOcean 推理 API 密钥。
  • llm.invoke("..."):将提示词发送给模型并返回完整的生成结果。

使用示例:流式输出(Streaming)

复制代码
from langchain_gradient import ChatGradient  
llm = ChatGradient(  
    model="llama3.3-70b-instruct",  
    api_key=os.getenv("DIGITALOCEAN_INFERENCE_KEY"),  
)

for chunk in llm.stream("Give me three fun facts about octopuses."):  
    print(chunk, end="", flush=True)

解释:

  • llm.stream("..."):请求以流式方式返回生成结果。
  • for chunk in ...:逐步获取生成的令牌/文本块并实时输出。

这种方式可实现实时打印,非常适合命令行界面(CLI)、Notebook 或聊天前端。

常见问题(FAQs)

Q1:什么是 LangChain? LangChain 是一个用于构建大语言模型应用的框架,提供标准化抽象(Chains、Tools、Agents)和丰富的集成生态,帮助开发者快速搭建端到端 LLM 应用。

Q2:什么是 langchain-gradient? 它是 DigitalOcean 官方推出的 LangChain 集成,允许开发者通过 LangChain 兼容客户端 ChatGradient 调用 Gradient AI 的 Serverless 推理端点。

Q3:可以使用哪些模型? 你可以选择 Gradient AI 平台托管的多种模型(如 Llama 系列等)。只需在 Gradient 文档中查找模型 ID,并将其传入 ChatGradientmodel 参数即可。

Q4:如何进行身份验证? 在 DigitalOcean Cloud 控制台的 Agent Platform → Serverless Inference 中创建访问密钥,然后将其导出为 DIGITALOCEAN_INFERENCE_KEY 环境变量,并传递给 ChatGradient

Q5:是否支持流式输出? 是的。可使用 llm.stream(...) 实现逐步接收输出(适用于 CLI、Notebook、聊天应用),或使用 llm.invoke(...) 进行单次同步调用。

总结

langchain-gradient 让从想法到生产的过程更加快速高效。 凭借即插即用的客户端接口、熟悉的 LangChain 抽象、以及 DigitalOcean 提供的 GPU 加速 Serverless 推理,你可以快速原型验证、实时流式输出,并轻松扩展应用规模而无需重构。

该集成完全开源、灵活,并始终与最新的 LangChain 和 Gradient AI 更新保持同步,帮助开发者持续高效地构建下一代智能应用。如需了解更多关于 DigitalOcean Gradient AI 平台的信息,或 GPU 服务器产品信息,可直接咨询DigitalOcean 中国区独家战略合作伙伴卓普云 aidroplet.com。DigitalOcean 可提供比一线云平台更便宜,并兼具可靠性的 GPU 算力资源。

相关推荐
亚马逊云开发者2 小时前
Agentic AI基础设施实践经验系列(六):Agent质量评估
人工智能
郁大锤3 小时前
OpenAI responses使用教程(三) ——Responses create python SDK 介绍
人工智能·python·ai·openai
余衫马3 小时前
聚类算法入门:像魔法一样把数据自动归类
人工智能·算法·机器学习·聚类
半臻(火白)3 小时前
Kimi K2 Thinking:开源时代的「思考代理」革命,重新定义AI复杂任务处理
人工智能
FreeCode3 小时前
LangChain1.0智能体开发:上下文工程
后端·langchain·agent
水如烟3 小时前
孤能子视角:“十五五“规划动力学分析
人工智能
AI人工智能+3 小时前
无缝对接与数据驱动:护照MRZ识别技术在智慧景区管理中的深度应用
人工智能·计算机视觉·ocr·护照mrz码识别
一水鉴天3 小时前
整体设计 全面梳理复盘之30 Transformer 九宫格三层架构 Designer 全部功能定稿(初稿)之2
前端·人工智能
luoganttcc3 小时前
DiffusionVLA 与BridgeVLA 相比 在 精度和成功率和效率上 有什么 优势
人工智能·算法