进军AI大模型-Langchain程序部署

前提

安装langserve

执行命令

复制代码
pip install "langserve[all]" 

代码实现

使用python性能最好的fastapi框架

python 复制代码
import os

from fastapi import FastAPI
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_openai import ChatOpenAI
from langserve import add_routes

# 1. 准备环境
os.environ['OPENAI_API_BASE'] = "https://api.mctools.online/v1"
# 2. 定义模型
model = ChatOpenAI(model="gpt-4o")
# 3. prompt提示词
prompt = ChatPromptTemplate.from_messages([
    ('system', '请计算以下的结果'),
    ('user', '{text}')
])
# 4. 解析
parser = StrOutputParser()
# 5. 创建链
chain = prompt | model | parser

# 6. 调用
print(chain.invoke({'text': '当x趋于正无穷,求x分之一的极限'}))


app = FastAPI(title="langchain部署服务",version="V1",description="langchian第一个应用")

add_routes(app,chain,path="/chain/demo01",)

if __name__ == "__main__":
    import uvicorn
    uvicorn.run(app,host="localhost",port=8000)

执行结果

request: http://localhost:8000/chain/demo01/invoke

method:post

body:

python 复制代码
{
    "input":
    {
        "text":"当x趋于正无穷,求x分之一的极限"
    }
}

代码重构

用client调用

touch client.py

python 复制代码
from langserve import RemoteRunnable

if __name__ == '__main__':
    client = RemoteRunnable('http://127.0.0.1:8000/chain/demo01')
    print(client.invoke({'text': '当x趋于正无穷,求x分之一的极限'}))

执行结果

当 \( x \) 趋于正无穷大时,\( \frac{1}{x} \) 的极限是 0。

代码解释

这段代码使用了langserve库中的RemoteRunnable类来创建一个客户端实例,用于与运行在本地(127.0.0.1)的服务器通信,该服务器监听8000端口,并且指定路径为/chain/demo01。这通常意味着有一个后端服务在运行,能够处理来自这个客户端的请求。

当执行client.invoke({'text': '当x趋于正无穷,求x分之一的极限'})时,客户端会向服务器发送一个包含文本的问题,即"当x趋于正无穷,求x分之一的极限"。

相关推荐
Python大数据分析@19 分钟前
Origin、MATLAB、Python 用于科研作图,哪个最好?
开发语言·python·matlab
jingyu飞鸟44 分钟前
linux系统源代码安装apache、编译隐藏版本号
linux·运维·apache
编程零零七1 小时前
Python巩固训练——第一天练习题
开发语言·python·python基础·python学习·python练习题
世事如云有卷舒1 小时前
Ubunt20.04搭建GitLab服务器,并借助cpolar实现公网访问
linux·服务器·gitlab
Zonda要好好学习1 小时前
Python入门Day4
java·网络·python
王国强20091 小时前
LangChain 核心原理全解析 —— 拆解智能体系统的底层逻辑
langchain
2401_858286112 小时前
OS15.【Linux】gdb调试器的简单使用
linux·运维·服务器·开发语言·gdb
小龙在山东2 小时前
Python 包管理工具 uv
windows·python·uv
大模型开发2 小时前
Java开发者LLM实战——使用LangChain4j构建本地RAG系统
程序员·langchain·llm
weixin_307779132 小时前
批量OCR的GitHub项目
python·github·ocr