开发篇1:使用原生api和Langchain调用大模型

对大模型的调用通常有以下几种方式:方式一、大模型厂商都会定义http风格的请求接口,在代码中可以直接发起http请求调用;方式二、在开发环境中使用大模型厂商提供的api;方式三、使用开发框架Langchain调用,这个就像java对数据库的调用一样,可以直接用jdbc也可以使用第三方框架,第三方框架调用会封装一些共性问题,比如参数配置,多数据库统一调用方式,连接处理,缓存处理等等,使用第三方框架调用往往会大幅提高开发效率。下面逐一说明几种调用方式
方式一: post请求调用,以openai(chatgpt)为例,demo如下,举例代码语言为python,http调用各种语言都有这个能力,个人建议还是python来做大模型相关开发,pandas对数据集合处理已经比较成熟,内存运算性能也很高,下面的例子中requests为python的requests的模块
response = requests.post(
"https://api.openai.com/v1/chat/completions",
headers=headers,
json=json_data,
)
其中head封装了在openai上注册的key
headers = {
"Content-Type": "application/json",
"Authorization": "Bearer " + openai.api_key,
}
json是一个python的字典,封装了模型名称和messages(prompt请求)
json_data = {"model": model, "messages": messages}
方式二:python使用使用大模型厂商提供的api(openai为例),首先要在开发环境中pip安装tiktoken和openai模块,openai有两个接口,1个是对话模型,1个语言模型,调用方式分别如下
pip install tiktoken openai
#调用Completion api,openai会以json返回回答
data = openai.Completion.create(
model="text-davinci-003",
prompt="牛肉面故乡在哪里",
max_tokens=1000,
temperature=0
)
#调用 chat Completion api,chat Completion api是GPT3.5开始使用的问答模型,可以使用这个模型实现一问一答
messages=[
{
"role": "user",
"content": "你好"
}
]
data = openai.ChatCompletion.create(
model="gpt-3.5-turbo",
messages = messages
)
方式三:用使用langchain调用,使用langchain自带的OpenAI类,
from langchain.llms import OpenAI
llm = OpenAI(model_name="text-davinci-003")
llm("牛肉面起源于哪个城市")
Langchain有model,Data Connection,chains,Memory,Agents,Callbacks,每个模块的使用会在下一篇说明,OpenAI类属于model模块,如下图所示,Model 模块的主要职责1个是提示词的生成,1个是解决对大模型的调用的封装,这个有点像java里面Springboot template对jdbc的封装,封装后统一了对各类模型的调用

相关推荐
angleboy81 天前
【LLM Agents体验 1】Dify框架的安装指南
人工智能·语言模型·大模型·nlp
AI_小站1 天前
LLM——10个大型语言模型(LLM)常见面试题以及答案解析
人工智能·程序人生·语言模型·自然语言处理·大模型·llm·大模型面试
GPUStack1 天前
制作并量化GGUF模型上传到HuggingFace和ModelScope
大模型·huggingface·modelscope·genai·gguf
AI_小站2 天前
多模态大模型微调实践!PAI+LLaMA Factory搭建AI导游
人工智能·程序人生·语言模型·大模型·llm·产品经理·多模态大模型
小嗷犬2 天前
【论文笔记】Dense Connector for MLLMs
论文阅读·人工智能·语言模型·大模型·多模态
AI_小站2 天前
【AI工作流】FastGPT - 深入解析FastGPT工作流编排:从基础到高级应用的全面指南
人工智能·程序人生·语言模型·大模型·llm·fastgpt·大模型应用
微学AI3 天前
关于基于AGI和大模型技术下养老服务高质量发展解决方案项目,以及实现代码过程实战
人工智能·python·大模型·agi
黑客-雨3 天前
AI时代的产品经理修炼手册:《人工智能产品经理》
人工智能·学习·大模型·产品经理·大模型学习·大模型入门·大模型教程
发菜君4 天前
2024年大厂AI大模型面试题精选与答案解析
人工智能·学习·大模型·产品经理·大模型学习·大模型入门·大模型教程
大数据AI人工智能培训专家培训讲师叶梓4 天前
自适应对话式团队构建,提升语言模型代理的复杂任务解决能力
人工智能·语言模型·自然语言处理·chatgpt·大模型·agent·智能体