在 DigitalOcean GPU 云服务上使用 LangChain 构建Serverless AI 应用

当你在构建 AI 应用时,合适的工具往往能起到决定性的作用。LangChain 多年来一直是开发者首选的框架之一,它丰富的集成生态系统能帮助开发者从创意快速走向生产落地。

如今,借助 ​langchain-gradient ​------DigitalOcean 官方推出的 LangChain 集成方案,你可以将 DigitalOcean Gradient AI的 Serverless 推理接口LangChain 的 agents、tools 和 chains 无缝结合。

本文将介绍为什么 langchain-gradient 能帮助开发者优化智能体(agent)工作流、如何在几分钟内将 Gradient AI 的 Serverless 推理连接到 LangChain,以及如何使用 invokestream 方法(附简明示例)。

什么是 LangChain-Gradient?

全新的 langchain-gradient 集成可以在多方面提升你的开发效率:

  • 兼容现有 LangChain 代码的即插即用 方案:只需几行代码即可切换到 Gradient AI 的推理端点,无需重写或重构。
  • **延续 LangChain 的熟悉抽象(Chains、Tools、Agents)**:继续使用你熟悉的构建方式------组合链、接入工具、启动智能体,无需更改工作流。
  • 多模型可选:在 DigitalOcean 上即时访问多种 GPU 加速的 Serverless AI 模型。
  • 开放与灵活:该软件包完全开源,并与最新版本的 LangChain 和 Gradient AI 平台保持兼容。

LangChain 官方文档中已有该集成的使用说明,同时也可以通过 PyPI 上的项目包实现快速集成。

获取 DigitalOcean API Key

要运行 ​langchain-gradient ​,首先需要从 DigitalOcean Cloud 控制台 获取推理访问密钥:

  1. 登录 DigitalOcean Cloud 控制台。

  2. 打开 Agent Platform → Serverless Inference

  3. 点击 "Create model access key",命名并生成密钥。

  4. 将生成的密钥作为环境变量:

    export DIGITALOCEAN_INFERENCE_KEY="your_key_here"

安装 LangChain-Gradient

使用以下命令安装软件包:

复制代码
pip install langchain-gradient

可用功能

1. invoke:单次调用

适用于一次性生成完整输出的场景。

模型生成完成后返回完整字符串或消息对象,适合同步脚本、批处理任务或仅需一次响应的服务端接口。

2. stream:流式输出(令牌级别)

适用于希望实时接收部分输出的场景。

模型会逐步输出生成内容,可用于终端、Notebook 或聊天界面中的实时展示,也便于日志追踪或中途取消任务。

使用示例:Invoke 调用

复制代码
import os  
from langchain_gradient import ChatGradient  

llm = ChatGradient(  
    model="llama3.3-70b-instruct",  
    api_key=os.getenv("DIGITALOCEAN_INFERENCE_KEY"),  
)

result = llm.invoke(  
    "Summarize the plot of the movie 'Inception' in two sentences, and then explain its ending."  
)  

print(result)

解释:

  • ChatGradient:与 LangChain 兼容的 Gradient AI LLM 客户端。
  • llm = ChatGradient(...):创建一个 LLM 实例。
  • model:指定模型名称(如 "llama3.3-70b-instruct"),可选自 Gradient AI 平台提供的模型。
  • api_key:从环境变量读取你的 DigitalOcean 推理 API 密钥。
  • llm.invoke("..."):将提示词发送给模型并返回完整的生成结果。

使用示例:流式输出(Streaming)

复制代码
from langchain_gradient import ChatGradient  
llm = ChatGradient(  
    model="llama3.3-70b-instruct",  
    api_key=os.getenv("DIGITALOCEAN_INFERENCE_KEY"),  
)

for chunk in llm.stream("Give me three fun facts about octopuses."):  
    print(chunk, end="", flush=True)

解释:

  • llm.stream("..."):请求以流式方式返回生成结果。
  • for chunk in ...:逐步获取生成的令牌/文本块并实时输出。

这种方式可实现实时打印,非常适合命令行界面(CLI)、Notebook 或聊天前端。

常见问题(FAQs)

Q1:什么是 LangChain? LangChain 是一个用于构建大语言模型应用的框架,提供标准化抽象(Chains、Tools、Agents)和丰富的集成生态,帮助开发者快速搭建端到端 LLM 应用。

Q2:什么是 langchain-gradient? 它是 DigitalOcean 官方推出的 LangChain 集成,允许开发者通过 LangChain 兼容客户端 ChatGradient 调用 Gradient AI 的 Serverless 推理端点。

Q3:可以使用哪些模型? 你可以选择 Gradient AI 平台托管的多种模型(如 Llama 系列等)。只需在 Gradient 文档中查找模型 ID,并将其传入 ChatGradientmodel 参数即可。

Q4:如何进行身份验证? 在 DigitalOcean Cloud 控制台的 Agent Platform → Serverless Inference 中创建访问密钥,然后将其导出为 DIGITALOCEAN_INFERENCE_KEY 环境变量,并传递给 ChatGradient

Q5:是否支持流式输出? 是的。可使用 llm.stream(...) 实现逐步接收输出(适用于 CLI、Notebook、聊天应用),或使用 llm.invoke(...) 进行单次同步调用。

总结

langchain-gradient 让从想法到生产的过程更加快速高效。 凭借即插即用的客户端接口、熟悉的 LangChain 抽象、以及 DigitalOcean 提供的 GPU 加速 Serverless 推理,你可以快速原型验证、实时流式输出,并轻松扩展应用规模而无需重构。

该集成完全开源、灵活,并始终与最新的 LangChain 和 Gradient AI 更新保持同步,帮助开发者持续高效地构建下一代智能应用。如需了解更多关于 DigitalOcean Gradient AI 平台的信息,或 GPU 服务器产品信息,可直接咨询DigitalOcean 中国区独家战略合作伙伴卓普云 aidroplet.com。DigitalOcean 可提供比一线云平台更便宜,并兼具可靠性的 GPU 算力资源。

相关推荐
lulu12165440788 小时前
Claude Code项目大了响应慢怎么办?Subagents、Agent Teams、Git Worktree、工作流编排四种方案深度解析
java·人工智能·python·ai编程
大橙子打游戏8 小时前
talkcozy像聊微信一样多项目同时开发
人工智能·vibecoding
deephub8 小时前
LangChain 还是 LangGraph?一个是编排一个是工具包
人工智能·langchain·大语言模型·langgraph
OidEncoder9 小时前
编码器分辨率与机械精度的关系
人工智能·算法·机器人·自动化
Championship.23.249 小时前
Harness工程深度解析:从理论到实践的完整指南
人工智能·harness
扬帆破浪9 小时前
开源免费的WPS AI 软件 察元AI文档助手:链路 002:executeAssistantFromRibbon 与任务进度窗
人工智能·开源·wps
叶子Talk10 小时前
GPT-Image-2正式发布:文字渲染99%,Image Arena三项第一,AI图像生成彻底变天了
人工智能·gpt·计算机视觉·ai·openai·图像生成·gpt-image-2
uncle_ll10 小时前
LangChain基础学习笔记
笔记·学习·langchain·llm·rag
不知名的老吴10 小时前
逆转训练针对大语言模型逆转训练的重要性
人工智能·深度学习·语言模型
pingao14137810 小时前
智联未来:4G温湿度传感器如何重塑数据监测新生.态
大数据·网络·人工智能