进军AI大模型-Langchain程序部署

前提

安装langserve

执行命令

复制代码
pip install "langserve[all]" 

代码实现

使用python性能最好的fastapi框架

python 复制代码
import os

from fastapi import FastAPI
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_openai import ChatOpenAI
from langserve import add_routes

# 1. 准备环境
os.environ['OPENAI_API_BASE'] = "https://api.mctools.online/v1"
# 2. 定义模型
model = ChatOpenAI(model="gpt-4o")
# 3. prompt提示词
prompt = ChatPromptTemplate.from_messages([
    ('system', '请计算以下的结果'),
    ('user', '{text}')
])
# 4. 解析
parser = StrOutputParser()
# 5. 创建链
chain = prompt | model | parser

# 6. 调用
print(chain.invoke({'text': '当x趋于正无穷,求x分之一的极限'}))


app = FastAPI(title="langchain部署服务",version="V1",description="langchian第一个应用")

add_routes(app,chain,path="/chain/demo01",)

if __name__ == "__main__":
    import uvicorn
    uvicorn.run(app,host="localhost",port=8000)

执行结果

request: http://localhost:8000/chain/demo01/invoke

method:post

body:

python 复制代码
{
    "input":
    {
        "text":"当x趋于正无穷,求x分之一的极限"
    }
}

代码重构

用client调用

touch client.py

python 复制代码
from langserve import RemoteRunnable

if __name__ == '__main__':
    client = RemoteRunnable('http://127.0.0.1:8000/chain/demo01')
    print(client.invoke({'text': '当x趋于正无穷,求x分之一的极限'}))

执行结果

当 \( x \) 趋于正无穷大时,\( \frac{1}{x} \) 的极限是 0。

代码解释

这段代码使用了langserve库中的RemoteRunnable类来创建一个客户端实例,用于与运行在本地(127.0.0.1)的服务器通信,该服务器监听8000端口,并且指定路径为/chain/demo01。这通常意味着有一个后端服务在运行,能够处理来自这个客户端的请求。

当执行client.invoke({'text': '当x趋于正无穷,求x分之一的极限'})时,客户端会向服务器发送一个包含文本的问题,即"当x趋于正无穷,求x分之一的极限"。

相关推荐
鹿鸣天涯15 分钟前
Wine 10.15 发布!Linux 跑 Windows 应用更丝滑了
linux·运维·windows
应用市场20 分钟前
无人机编队飞行原理与Python仿真实现完整指南
python·无人机·cocos2d
蓝桉~MLGT1 小时前
Python学习历程——字符串相关操作及正则表达式
python·学习·正则表达式
一晌小贪欢1 小时前
Python爬虫第5课:正则表达式与数据清洗技术
爬虫·python·正则表达式·网络爬虫·python爬虫·python3·网页爬虫
新手村领路人1 小时前
Ubuntu18.04 libc.so.6: version `GLIBC_2.28‘ not found问题
linux·ubuntu·pycharm
至此流年莫相忘1 小时前
LangChain HelloWorld
langchain
Nina_7171 小时前
Google提示词白皮书总结(2)
人工智能·python
Lynnxiaowen1 小时前
今天我们继续学习python3编程之python基础
linux·运维·python·学习
hour_go2 小时前
Linux Shell 实验一:数据采集与脚本调试错误总结
linux·笔记·bash·shell·实验报告·错误排查
hui函数2 小时前
Python全栈(基础篇)——Day10:后端内容(map+reduce+filter+sorted+实战演示+每日一题)
后端·python