开源模型应用落地-LangChain试炼-CPU调用QWen1.5(一)

一、前言

尽管现在的大语言模型已经非常强大,可以解决许多问题,但在处理复杂情况时,仍然需要进行多个步骤或整合不同的流程才能达到最终的目标。然而,现在可以利用langchain来使得模型的应用变得更加直接和简单。

通过langchain框架调用本地模型,使得用户可以直接提出问题或发送指令,而无需担心具体的步骤或流程。langchain会自动将任务分解为多个子任务,并将它们传递给适合的语言模型进行处理。


二、术语

2.1.LangChain

是一个全方位的、基于大语言模型这种预测能力的应用开发工具。LangChain的预构建链功能,就像乐高积木一样,无论你是新手还是经验丰富的开发者,都可以选择适合自己的部分快速构建项目。对于希望进行更深入工作的开发者,LangChain 提供的模块化组件则允许你根据自己的需求定制和创建应用中的功能链条。

LangChain本质上就是对各种大模型提供的API的套壳,是为了方便我们使用这些 API,搭建起来的一些框架、模块和接口。

LangChain的主要特性:

1.可以连接多种数据源,比如网页链接、本地PDF文件、向量数据库等

2.允许语言模型与其环境交互

3.封装了Model I/O(输入/输出)、Retrieval(检索器)、Memory(记忆)、Agents(决策和调度)等核心组件

4.可以使用链的方式组装这些组件,以便最好地完成特定用例。

5.围绕以上设计原则,LangChain解决了现在开发人工智能应用的一些切实痛点。

**2.2.**Hugging Face

是一个知名的开源社区和平台,专注于自然语言处理(NLP)技术和人工智能模型的开发和共享。该社区致力于提供易于使用的工具和资源,帮助研究人员、开发者和数据科学家在NLP领域进行创新和应用。

Hugging Face最著名的贡献是其开源软件库,其中包括了许多流行的NLP模型的实现和预训练模型的集合,如BERT、GPT、RoBERTa等。这些模型在各种NLP任务,如文本分类、命名实体识别、情感分析等方面取得了很好的表现,并被广泛应用于学术界和工业界。

2.3.Transformers

Hugging Face的Transformer是一个流行的开源Python库,用于自然语言处理(NLP)任务和模型开发。它提供了一系列易于使用的API和工具,用于加载、训练和部署各种预训练的NLP模型,如BERT、GPT、RoBERTa等。


三、前提条件

3.1.安装虚拟环境

bash 复制代码
conda create --name langchain python=3.10
conda activate langchain
conda install pytorch
pip install langchain accelerate

3.2.下载QWen1.5模型

huggingface:

https://huggingface.co/Qwen/Qwen1.5-7B-Chat/tree/main

ModelScope:

git clone https://www.modelscope.cn/qwen/Qwen1.5-7B-Chat.git

PS:

  1. 根据实际情况选择不同规格的模型

四、技术实现

4.1.方式一

python 复制代码
# -*-  coding = utf-8 -*-
import warnings

from langchain import PromptTemplate
from langchain.chains.llm import LLMChain
from langchain.llms import HuggingFacePipeline

warnings.filterwarnings("ignore")

model_path ="/data/model/qwen1.5-7b-chat"

local_llm = HuggingFacePipeline.from_model_id(
    model_id=model_path,
    task="text-generation",
    model_kwargs={"trust_remote_code": True},
    pipeline_kwargs={"max_new_tokens": 8192,"top_p":0.9, "temperature":0.45,"repetition_penalty":1.1, "do_sample":True},
)

template = """Question: {question}

Answer: Let's think step by step."""

prompt = PromptTemplate.from_template(template)

chain = LLMChain(prompt=prompt, llm=local_llm)
question = "我家在广州,很好玩哦,你能介绍一些我家的特色景点吗?"
print(chain.run(question))

调用结果:

4.2.方式二

python 复制代码
# -*-  coding = utf-8 -*-
import warnings

from langchain import PromptTemplate
from langchain.llms import HuggingFacePipeline

warnings.filterwarnings("ignore")

model_path ="/data/model/qwen1.5-7b-chat"

local_llm = HuggingFacePipeline.from_model_id(
    model_id=model_path,
    task="text-generation",
    model_kwargs={"trust_remote_code": True},
    pipeline_kwargs={"max_new_tokens": 8192,"top_p":0.9, "temperature":0.45,"repetition_penalty":1.1, "do_sample":True},
)

template = """Question: {question}

Answer: Let's think step by step."""

prompt = PromptTemplate.from_template(template)

chain = prompt | local_llm
question = "我家在广州,很好玩哦,你能介绍一些我家的特色景点吗?"
print(chain.invoke({"question": question}))

调用结果:


五、附带说明

5.1. ValueError: Input length of input_ids is 20, but `max_length` is set to 20. This can lead to unexpected behavior. You should consider increasing `max_length` or, better yet, setting `max_new_tokens`.

配置max_new_tokens

5.2. 使用pipline模型的加载方式

参见huggingface_pipeline.py文件,跟往常的模型加载方式一致

5.3. 模型加载很慢

原因:当前示例使用CPU加载模型及推理

相关推荐
wangyue429 分钟前
c# 深度模型入门
深度学习
川石课堂软件测试43 分钟前
性能测试|docker容器下搭建JMeter+Grafana+Influxdb监控可视化平台
运维·javascript·深度学习·jmeter·docker·容器·grafana
985小水博一枚呀1 小时前
【深度学习滑坡制图|论文解读3】基于融合CNN-Transformer网络和深度迁移学习的遥感影像滑坡制图方法
人工智能·深度学习·神经网络·cnn·transformer
AltmanChan1 小时前
大语言模型安全威胁
人工智能·安全·语言模型
985小水博一枚呀1 小时前
【深度学习滑坡制图|论文解读2】基于融合CNN-Transformer网络和深度迁移学习的遥感影像滑坡制图方法
人工智能·深度学习·神经网络·cnn·transformer·迁移学习
深度学习实战训练营2 小时前
基于CNN-RNN的影像报告生成
人工智能·深度学习
孙同学要努力9 小时前
全连接神经网络案例——手写数字识别
人工智能·深度学习·神经网络
Jina AI11 小时前
RAG 系统的分块难题:小型语言模型如何找到最佳断点?
人工智能·语言模型·自然语言处理
-派神-11 小时前
大语言模型(LLM)量化基础知识(一)
人工智能·语言模型·自然语言处理
Elastic 中国社区官方博客11 小时前
释放专利力量:Patently 如何利用向量搜索和 NLP 简化协作
大数据·数据库·人工智能·elasticsearch·搜索引擎·自然语言处理