LangChain + Qwen(DashScope)

文章目录


引言

常见的 RAG 示例,一般使用 OpenAI,你也可以使用 Qwen 作为 LLM。

在 LangChain 中,调用 Tongyi 来实现。(而不是 Qwen)

官方文档描述:
https://python.langchain.com/docs/integrations/llms/tongyi

中文:http://docs.autoinfra.cn/docs/integrations/llms/tongyi


如果你想看 langchain 支持哪些 llm,也可以前往代码安装包查看,我的地址是:
~/miniconda3/lib/python3.11/site-packages/langchain_community/llms


DashScope API KEY

你需要在阿里云平台,创建 DashScope API KEY。

创建前,需要经过实名认证。

https://help.aliyun.com/document_detail/611472.html


关于 DashScope 和 ModelScope

参考文章:https://developer.aliyun.com/article/1377012

ModelScope是一个开源技术社区,从其立场来看,它并不承担营收的使命。DashScope可以看作是ModelScope的"孪生兄弟",它们有着相同的底层架构。

两者的区别在于,ModelScope上的许多开发者是基于模型的checkpoint进行Fine-tune,而DashScope更多地为模型提供商(如百川智能、智谱AI、Stability.AI等)提供服务,通过API的方式向下游厂商提供Fine-tune和Influence链路服务。

ModelScope和DashScope是模型的一体两面,都是MaaS(Model as a Service)的一部分。

相对较小的小模型走开源路线,相对较大的大模型则走商业路线。

例如,智谱AI的ChatGLM-6B模型就在ModelScope上进行了开源,并且已经形成了一定的用户规模和影响力。

未来,它的13B、50B、130B模型将通过DashScope进行商业化落地。

无独有偶,阿里云的通义千问也是同样的情况,Qwen-7B模型是开源的,而Qwen-50B模型未来可能会通过DashScope去做API模式的商业化。


代码

python 复制代码
import os
from langchain_community.llms import Tongyi

DASHSCOPE_API_KEY = 'sk-xxxx'
os.environ["DASHSCOPE_API_KEY"] = DASHSCOPE_API_KEY

text = "What NFL team won the Super Bowl in the year Justin Bieber was born?"
Tongyi().invoke(text)  

python 复制代码
from langchain_core.prompts import PromptTemplate

# llm = Tongyi()
llm = Tongyi(dashscope_api_key=DASHSCOPE_API_KEY)

# 指定模型
llm=Tongyi(model_name="qwen-plus",temperature=0.1)

template = """Question: {question}

Answer: Let's think step by step."""

prompt = PromptTemplate.from_template(template)

chain = prompt | llm

question = "What NFL team won the Super Bowl in the year Justin Bieber was born?"

chain.invoke({"question": question})


'Justin Bieber was born on March 1, 1994. The Super Bowl that took place in the same calendar year was Super Bowl XXVIII, which was played on January 30, 1994. The winner of Super Bowl XXVIII was the Dallas Cowboys, who defeated the Buffalo Bills with a score of 30-13.'

 

可用模型及费用

本文记录于 2024-03-19

https://help.aliyun.com/zh/dashscope/developer-reference/tongyi-thousand-questions-metering-and-billing


模型说明

模型名称 模型简介 模型输入/输出限制
qwen-turbo 通义千问超大规模语言模型,支持中文、英文等不同语言输入。 模型支持8k tokens上下文,为了保证正常的使用和输出,API限定用户输入为6k tokens
qwen-plus 通义千问超大规模语言模型增强版,支持中文、英文等不同语言输入。 模型支持32k tokens上下文,为了保证正常的使用和输出,API限定用户输入为30k tokens
qwen-max 通义千问千亿级别超大规模语言模型**,**支持中文、英文等不同语言输入。随着模型的升级,qwen-max将滚动更新升级,如果希望使用稳定版本,请使用qwen-max-1201。 模型支持8k tokens上下文,为了保证正常的使用和输出,API限定用户输入为6k tokens
qwen-max-1201 通义千问千亿级别超大规模语言模型**,**支持中文、英文等不同语言输入。该模型为qwen-max的快照稳定版本,预期维护到下个快照版本发布时间(待定)后一个月。 模型支持8k tokens上下文,为了保证正常的使用和输出,API限定用户输入为6k tokens
qwen-max-longcontext 通义千问千亿级别超大规模语言模型**,**支持中文、英文等不同语言输入。 模型支持30k tokens上下文,为了保证正常的使用和输出,API限定用户输入为28k tokens

计费单价

模型服务: 通义千问

模型名 计费单价
qwen-turbo
qwen-plus 0.02元/1,000 tokens
qwen-max 0.12元/1,000 tokens
qwen-max-1201 同上
qwen-max-longcontext 同上

说明

  • qwen-turbo 原来为qwen-v1 (已弃用)。
    qwen-v1 计费与qwen-turbo保持一致。
  • qwen-plus 原来为qwen-plus-v1 (已弃用)。
    qwen-plus-v1 计费与qwen-plus保持一致。

免费额度

模型名 免费额度
qwen-turbo 开通DashScope即获赠总计 2,000,000 tokens限时免费使用额度,有效期 180 天。
qwen-plus 开通DashScope即获赠总计 1,000,000 tokens限时免费使用额度,有效期 180 天。
qwen-max 开通DashScope即获赠总计1,000,000 tokens限时免费使用额度,有效期30天。
qwen-max-1201 同上
qwen-max-longcontext 同上

重要

免费额度将在开通服务后的下一个整点生效。

例如,您在15:30开通灵积服务,您的免费额度将在16:00后生效,将抵扣您16:00后产生的账单费用。


伊织 2024-03-19(二)

相关推荐
ZHOU_WUYI4 小时前
3.langchain中的prompt模板 (few shot examples in chat models)
人工智能·langchain·prompt
AI_小站9 小时前
RAG 示例:使用 langchain、Redis、llama.cpp 构建一个 kubernetes 知识库问答
人工智能·程序人生·langchain·kubernetes·llama·知识库·rag
ZHOU_WUYI2 天前
5.tree of thought 源码 (prompts 类)
langchain
waiting不是违停3 天前
MetaGPT实现多动作Agent
langchain·llm
ZHOU_WUYI5 天前
2. langgraph中的react agent使用 (在react agent添加历史消息)
人工智能·langchain
ZHOU_WUYI5 天前
4. langgraph中的react agent使用 (在react agent添加人机交互)
人工智能·langchain
ZHOU_WUYI6 天前
5. langgraph中的react agent使用 (从零构建一个react agent)
人工智能·langchain
ZHOU_WUYI6 天前
3. langgraph中的react agent使用 (在react agent添加系统提示)
人工智能·langchain
三月七(爱看动漫的程序员)6 天前
LM2 : A Simple Society of Language Models Solves Complex Reasoning
人工智能·gpt·语言模型·自然语言处理·chatgpt·langchain·1024程序员节
DbWong_09186 天前
langchain_chatchat+ollama部署本地知识库,联网查询以及对数据库(Oracle)数据进行查询
python·oracle·langchain·ollama