在 DigitalOcean GPU 云服务上使用 LangChain 构建Serverless AI 应用

当你在构建 AI 应用时,合适的工具往往能起到决定性的作用。LangChain 多年来一直是开发者首选的框架之一,它丰富的集成生态系统能帮助开发者从创意快速走向生产落地。

如今,借助 ​langchain-gradient ​------DigitalOcean 官方推出的 LangChain 集成方案,你可以将 DigitalOcean Gradient AI的 Serverless 推理接口LangChain 的 agents、tools 和 chains 无缝结合。

本文将介绍为什么 langchain-gradient 能帮助开发者优化智能体(agent)工作流、如何在几分钟内将 Gradient AI 的 Serverless 推理连接到 LangChain,以及如何使用 invokestream 方法(附简明示例)。

什么是 LangChain-Gradient?

全新的 langchain-gradient 集成可以在多方面提升你的开发效率:

  • 兼容现有 LangChain 代码的即插即用 方案:只需几行代码即可切换到 Gradient AI 的推理端点,无需重写或重构。
  • **延续 LangChain 的熟悉抽象(Chains、Tools、Agents)**:继续使用你熟悉的构建方式------组合链、接入工具、启动智能体,无需更改工作流。
  • 多模型可选:在 DigitalOcean 上即时访问多种 GPU 加速的 Serverless AI 模型。
  • 开放与灵活:该软件包完全开源,并与最新版本的 LangChain 和 Gradient AI 平台保持兼容。

LangChain 官方文档中已有该集成的使用说明,同时也可以通过 PyPI 上的项目包实现快速集成。

获取 DigitalOcean API Key

要运行 ​langchain-gradient ​,首先需要从 DigitalOcean Cloud 控制台 获取推理访问密钥:

  1. 登录 DigitalOcean Cloud 控制台。

  2. 打开 Agent Platform → Serverless Inference

  3. 点击 "Create model access key",命名并生成密钥。

  4. 将生成的密钥作为环境变量:

    export DIGITALOCEAN_INFERENCE_KEY="your_key_here"

安装 LangChain-Gradient

使用以下命令安装软件包:

复制代码
pip install langchain-gradient

可用功能

1. invoke:单次调用

适用于一次性生成完整输出的场景。

模型生成完成后返回完整字符串或消息对象,适合同步脚本、批处理任务或仅需一次响应的服务端接口。

2. stream:流式输出(令牌级别)

适用于希望实时接收部分输出的场景。

模型会逐步输出生成内容,可用于终端、Notebook 或聊天界面中的实时展示,也便于日志追踪或中途取消任务。

使用示例:Invoke 调用

复制代码
import os  
from langchain_gradient import ChatGradient  

llm = ChatGradient(  
    model="llama3.3-70b-instruct",  
    api_key=os.getenv("DIGITALOCEAN_INFERENCE_KEY"),  
)

result = llm.invoke(  
    "Summarize the plot of the movie 'Inception' in two sentences, and then explain its ending."  
)  

print(result)

解释:

  • ChatGradient:与 LangChain 兼容的 Gradient AI LLM 客户端。
  • llm = ChatGradient(...):创建一个 LLM 实例。
  • model:指定模型名称(如 "llama3.3-70b-instruct"),可选自 Gradient AI 平台提供的模型。
  • api_key:从环境变量读取你的 DigitalOcean 推理 API 密钥。
  • llm.invoke("..."):将提示词发送给模型并返回完整的生成结果。

使用示例:流式输出(Streaming)

复制代码
from langchain_gradient import ChatGradient  
llm = ChatGradient(  
    model="llama3.3-70b-instruct",  
    api_key=os.getenv("DIGITALOCEAN_INFERENCE_KEY"),  
)

for chunk in llm.stream("Give me three fun facts about octopuses."):  
    print(chunk, end="", flush=True)

解释:

  • llm.stream("..."):请求以流式方式返回生成结果。
  • for chunk in ...:逐步获取生成的令牌/文本块并实时输出。

这种方式可实现实时打印,非常适合命令行界面(CLI)、Notebook 或聊天前端。

常见问题(FAQs)

Q1:什么是 LangChain? LangChain 是一个用于构建大语言模型应用的框架,提供标准化抽象(Chains、Tools、Agents)和丰富的集成生态,帮助开发者快速搭建端到端 LLM 应用。

Q2:什么是 langchain-gradient? 它是 DigitalOcean 官方推出的 LangChain 集成,允许开发者通过 LangChain 兼容客户端 ChatGradient 调用 Gradient AI 的 Serverless 推理端点。

Q3:可以使用哪些模型? 你可以选择 Gradient AI 平台托管的多种模型(如 Llama 系列等)。只需在 Gradient 文档中查找模型 ID,并将其传入 ChatGradientmodel 参数即可。

Q4:如何进行身份验证? 在 DigitalOcean Cloud 控制台的 Agent Platform → Serverless Inference 中创建访问密钥,然后将其导出为 DIGITALOCEAN_INFERENCE_KEY 环境变量,并传递给 ChatGradient

Q5:是否支持流式输出? 是的。可使用 llm.stream(...) 实现逐步接收输出(适用于 CLI、Notebook、聊天应用),或使用 llm.invoke(...) 进行单次同步调用。

总结

langchain-gradient 让从想法到生产的过程更加快速高效。 凭借即插即用的客户端接口、熟悉的 LangChain 抽象、以及 DigitalOcean 提供的 GPU 加速 Serverless 推理,你可以快速原型验证、实时流式输出,并轻松扩展应用规模而无需重构。

该集成完全开源、灵活,并始终与最新的 LangChain 和 Gradient AI 更新保持同步,帮助开发者持续高效地构建下一代智能应用。如需了解更多关于 DigitalOcean Gradient AI 平台的信息,或 GPU 服务器产品信息,可直接咨询DigitalOcean 中国区独家战略合作伙伴卓普云 aidroplet.com。DigitalOcean 可提供比一线云平台更便宜,并兼具可靠性的 GPU 算力资源。

相关推荐
大飞记Python9 分钟前
AI大模型Token计费全解析:输入/输出、缓存命中、阶梯计价一文看懂
人工智能·缓存
Dave12054610 分钟前
Day17:Agent Memory高级设计——短期记忆、长期记忆与向量语义记忆
人工智能·学习
40岁资深老架构师尼恩12 分钟前
工业级 AI问数 AST语法 + 知识图谱语义+ 质量规则 三层安全校验 架构设计与实现
人工智能·安全·知识图谱
武子康17 分钟前
旧对话为什么没有恢复代码:Pi Session Tree 与上下文投影
人工智能
武子康18 分钟前
DeepSeek 把 Agent Core 也插件化了:Harness 的真正赌注
人工智能·llm·agent
wu_jing_sheng028 分钟前
哨兵卫星数据下载工具:基于CDSE的PySide6桌面应用开发实践
人工智能
小唔w29 分钟前
2026年AI培训行业观察:主流学习渠道一览
人工智能·学习
美狐美颜sdk31 分钟前
直播APP开发技术架构解析:从音视频流到第三方美颜SDK接入的完整方案
大数据·人工智能·音视频·美颜sdk·美颜api
CIO_Alliance39 分钟前
AI认知系列(3)| 数据、算法、算力、场景四要素协同
人工智能·算法·ipaas·系统集成·企业cio联盟·企业级ai化转型
技术传感器1 小时前
让 Hermes 自动完成一个软件需求:从 Issue 到 PR 的 AI 开发流水线
人工智能·架构·aigc·需求分析·issue