Python和LLM问题

python 复制代码
# 这个简易项目实现了一个基于 LLM 的问答助手,主要功能包括:
#
# 加载预训练的问答模型(默认使用 BERT 模型)
# 读取文本文件作为问答的上下文
# 提供交互式界面,允许用户基于加载的文本进行提问
# 输出模型生成的答案及其置信度


import os
from transformers import pipeline, AutoTokenizer, AutoModelForQuestionAnswering
import torch


class LLMQAAssistant:
    def __init__(self, model_name="bert-large-uncased-whole-word-masking-finetuned-squad"):
        """初始化问答助手,加载预训练模型和分词器"""
        print(f"正在加载模型: {model_name}...")

        # 检查是否有可用的GPU
        self.device = 0 if torch.cuda.is_available() else -1
        print(f"使用设备: {'GPU' if self.device == 0 else 'CPU'}")

        # 加载分词器和模型
        self.tokenizer = AutoTokenizer.from_pretrained(model_name)
        self.model = AutoModelForQuestionAnswering.from_pretrained(model_name)

        # 创建问答管道
        self.qa_pipeline = pipeline(
            "question-answering",
            model=self.model,
            tokenizer=self.tokenizer,
            device=self.device
        )

        self.context = ""
        print("模型加载完成, ready to use!")

    def load_text_file(self, file_path):
        """加载文本文件作为问答上下文"""
        try:
            with open(file_path, 'r', encoding='utf-8') as file:
                self.context = file.read()
            print(f"成功加载文件: {file_path}")
            print(f"加载的文本长度: {len(self.context)} 字符")
            return True
        except Exception as e:
            print(f"加载文件失败: {str(e)}")
            return False

    def ask_question(self, question):
        """基于加载的上下文回答问题"""
        if not self.context:
            print("请先加载文本文件作为上下文!")
            return None

        try:
            # 限制上下文长度,避免模型处理过长文本
            max_context_length = 384  # BERT模型的典型最大长度
            if len(self.context) > max_context_length:
                # 这里简化处理,只取前max_context_length个字符
                # 更复杂的实现可以做文本分割和段落匹配
                processed_context = self.context[:max_context_length]
                print(f"注意: 上下文过长,已截断至 {max_context_length} 字符")
            else:
                processed_context = self.context

            # 进行问答
            result = self.qa_pipeline(question=question, context=processed_context)
            return result
        except Exception as e:
            print(f"回答问题时出错: {str(e)}")
            return None

    def run_interactive_mode(self):
        """交互式问答模式"""
        print("\n进入交互式问答模式 (输入 'exit' 退出)")
        while True:
            question = input("\n请输入你的问题: ")
            if question.lower() == 'exit':
                print("再见!")
                break

            result = self.ask_question(question)
            if result:
                print(f"\n答案: {result['answer']}")
                print(f"置信度: {result['score']:.4f}")


if __name__ == "__main__":
    # 创建问答助手实例
    qa_assistant = LLMQAAssistant()

    # 提示用户输入文本文件路径
    while True:
        file_path = input("\n请输入要加载的文本文件路径 (或直接按回车使用默认示例): ")
        if not file_path:
            # 创建一个简单的示例文本文件
            example_text = """
            人工智能(AI)是计算机科学的一个分支,它致力于创造能够模拟人类智能的系统。
            这些系统可以执行通常需要人类智能才能完成的任务,如理解语言、识别模式、解决问题和学习。
            机器学习是人工智能的一个重要子领域,它使系统能够从数据中学习并改进,而无需显式编程。
            深度学习是机器学习的一个子集,它使用多层神经网络来处理复杂的数据。
            人工智能的应用范围很广,包括自然语言处理、计算机视觉、语音识别、推荐系统等。
            """
            with open("example_ai_text.txt", 'w', encoding='utf-8') as f:
                f.write(example_text.strip())
            file_path = "example_ai_text.txt"
            print(f"已创建示例文件: {file_path}")

        if os.path.exists(file_path):
            if qa_assistant.load_text_file(file_path):
                break
        else:
            print(f"文件不存在: {file_path},请重新输入")

    # 启动交互式问答
    qa_assistant.run_interactive_mode()

问题:

  1. 为啥这个项目运行不起来, File "E:\PythonTrain\Python.venv\Lib\site-packages\urllib3\connection.py", line 198, in _new_conn sock = connection.create_connection。 地址在国外:访问打开浏览器访问https://huggingface.co,能打开说明网络基本正常

2.Xet Storage 的提示,安装hf_xet pip install hf_xet

相关推荐
yz_aiks9 小时前
Termux 使用教程:把安卓手机变成随身 Linux(装 Python、SSH 远程、跑自动化脚本)
android·linux·python·智能手机·ssh·termux
FengY_HYY11 小时前
从人类组织到人类&大模型组织,我的位置在哪里?
人工智能·程序员·llm
2601_9679801111 小时前
Flask Web 应用
python·flask·web开发·环境变量·虚拟环境
aifannihao11 小时前
ß 大写变 SS:用 Python 算清 Ruby2Shell 的缓冲区账本
python·安全·标准库·缓冲区溢出·字符串编码
liwulin050612 小时前
【OLLAMA】调用SKILL的通用ReAct
python
郝学胜-神的一滴12 小时前
Effective Python 条款36:优雅拼装迭代器与生成器
开发语言·数据结构·人工智能·python·numpy·scikit-learn
Norna14 小时前
Git 给路径加了引号,这个文件就从 review 里消失了
python
wuyk55514 小时前
Python办公自动化-第04讲-批量新建Excel
开发语言·python·excel
wuyk55514 小时前
Spider-第20讲-综合实战可上线爬虫
大数据·爬虫·python·elasticsearch
JonaHu15 小时前
关键词排名突然消失?用 Python、SQLite 和 SERP API 搭一套可解释的 SEO 监控
python·sqlite·seo·serp api