OpenAI项目爆改GLM——以基于llama_index的pdf阅读助手

最近在做大模型agent构建,看了许多不错的开源项目,但是clone下来就是一整个不能用,因为github上开源的项目基本都是基于openai做的。而如果想要转成国内大模型backbone,需要修改的地方挺多的。

现在以一个简单的pdf reader agent为例来做一下相关的解读

原始项目地址:GitHub - gabacode/chatPDF: Load a PDF file and ask questions via llama_index and GPT

代码写的非常简单:

python 复制代码
import logging

logging.basicConfig(level=logging.CRITICAL)

import os
from pathlib import Path

import openai
from dotenv import load_dotenv
from langchain.chat_models import ChatOpenAI
from llama_index import GPTVectorStoreIndex, LLMPredictor, ServiceContext, StorageContext, download_loader, load_index_from_storage
from utils import CACHE, FILES, models, cls, handle_save, handle_exit, initialize, select_file

load_dotenv()
#openai.api_key = os.environ["OPENAI_API_KEY"]
history = []

llm_predictor = LLMPredictor(llm=ChatOpenAI(temperature=0.618, model_name=models["gpt-3"], max_tokens=256))

service_context = ServiceContext.from_defaults(llm_predictor=llm_predictor, chunk_size_limit=1024)


def make_index(file):
    cls()
    print("👀 Loading...")

    PDFReader = download_loader("PDFReader")
    loader = PDFReader()
    documents = loader.load_data(file=Path(FILES) / file)

    if os.path.exists(Path(CACHE) / file):
        print("📚 Index found in cache")
        return
    else:
        print("📚 Index not found in cache, creating it...")
        index = GPTVectorStoreIndex.from_documents(documents, service_context=service_context)
        index.storage_context.persist(persist_dir=Path(CACHE) / file)


def chat(file_name, index):
    while True:
        prompt = input("\n😎 Prompt: ")
        if prompt == "exit":
            handle_exit()
        elif prompt == "save":
            handle_save(str(file_name), history)

        query_engine = index.as_query_engine(response_mode="compact")

        response = query_engine.query(prompt)
        print("\n👻 Response: " + str(response))
        history.append({"user": prompt, "response": str(response)})


def ask(file_name):
    try:
        print("👀 Loading...")
        storage_context = StorageContext.from_defaults(persist_dir=Path(CACHE) / file_name)
        index = load_index_from_storage(storage_context, service_context=service_context)
        cls()
        print("✅ Ready! Let's start the conversation")
        print("ℹ️ Press Ctrl+C to exit")
        chat(file_name, index)
    except KeyboardInterrupt:
        handle_exit()


if __name__ == "__main__":
    initialize()
    file = select_file()
    if file:
        file_name = Path(file).name
        make_index(file_name)
        ask(file_name)
    else:
        print("No files found")
        handle_exit()

假设你的环境已经配置好了,即通过以下代码进入

python 复制代码
python main.py

现在进行更改,首先是llm predictor,这个构建直接是chatopenai的配置,我们可以做如下更改

python 复制代码
#原始代码
#llm_predictor = LLMPredictor(llm=ChatOpenAI(temperature=0.618, model_name=models["gpt-3"], max_tokens=256))

#替换为如下
llm = ChatOpenAI(
    temperature=0.95,
    model="glm-4",
    openai_api_key="你的key",
    #这个是glm的调用地址
    openai_api_base="https://open.bigmodel.cn/api/paas/v4/"
)

llm_predictor = LLMPredictor(llm)

运行后,可以继续运行,但是到选择pdf后会报错,大致错误意思是try超过范围,调试后发现应该是调用的向量模型网络不通。安装的是llama_index内置的embedding模型是调用openai,进行更改

python 复制代码
#需要修改的包文件路径如下(假设你是anaconda)
#/opt/anaconda3/envs/chatpdf/lib/python3.9/site-packages/llama_index/embeddings/openai.py


#需要修改的是get_embeddings()和get_embedding()
#get_embeddings()是批量查询返回向量
#get_embedding()是单独的查询返回向量

# def get_embeddings():
# ... 
#     data = openai.Embedding.create(input=list_of_text, model=engine, **kwargs).data 这是原始调用,是openai的
# ...

#更改为如下,当然你需要注意你的缩紧
#!pip install zhipuai

from zhipuai import ZhipuAI

client = ZhipuAI(api_key="你的glm key")
data = client.embeddings.create(input=list_of_text, model = "embedding-2").data


#get_embeddings()也需要做同样的修改

现在测试一下,可能会跳出因为禁用词不能进行正常对话,但是后面通过更改pdf后可以完成项目拉通!

相关推荐
CodeCraft Studio1 小时前
【实用技能】使用 TX Text Control 创建带有嵌入式附件的 PDF 文档
pdf·asp.net·.net
珠海新立电子科技有限公司2 小时前
FPC柔性线路板与智能生活的融合
人工智能·生活·制造
IT古董2 小时前
【机器学习】机器学习中用到的高等数学知识-8. 图论 (Graph Theory)
人工智能·机器学习·图论
曼城周杰伦2 小时前
自然语言处理:第六十三章 阿里Qwen2 & 2.5系列
人工智能·阿里云·语言模型·自然语言处理·chatgpt·nlp·gpt-3
余炜yw3 小时前
【LSTM实战】跨越千年,赋诗成文:用LSTM重现唐诗的韵律与情感
人工智能·rnn·深度学习
莫叫石榴姐3 小时前
数据科学与SQL:组距分组分析 | 区间分布问题
大数据·人工智能·sql·深度学习·算法·机器学习·数据挖掘
如若1233 小时前
利用 `OpenCV` 和 `Matplotlib` 库进行图像读取、颜色空间转换、掩膜创建、颜色替换
人工智能·opencv·matplotlib
小小大侠客4 小时前
IText创建加盖公章的pdf文件并生成压缩文件
java·pdf·itext
YRr YRr4 小时前
深度学习:神经网络中的损失函数的使用
人工智能·深度学习·神经网络
ChaseDreamRunner4 小时前
迁移学习理论与应用
人工智能·机器学习·迁移学习