GraphLLM:基于图的框架,通过大型语言模型处理数据

GraphLLM是一个创新的框架,它允许用户通过一个或多个大型语言模型(LLM)来处理数据。这个框架不仅提供了一个强大的代理,能够执行网络搜索和运行Python代码,还提供了一套工具来抓取网页数据,并将其重新格式化为对LLM更友好的格式。

GraphLLM的特点

GraphLLM提供了以下一系列特点:

  • 基于图的框架:使用LLM处理数据。
  • 强大的代理能力:能够执行网络搜索和运行Python代码。
  • 数据抓取和格式化工具:提供工具来抓取网页并重新格式化数据。
  • 示例列表:提供了一系列示例,帮助用户快速开始。
  • 低层次框架:提供对原始提示和模型输出的完全控制,库的内部工作机制不隐藏在任何抽象之后。
  • 图形用户界面(GUI):虽然仍在开发中,但已经提供了基本功能。

GraphLLM的GUI

GraphLLM的GUI受到了ComfyUI的启发,前端界面相似,但后端完全不同,因此项目之间的节点不兼容。这是因为开发者希望提供更高级的功能和对复杂图的支持。GraphLLM GUI的一些特点包括:

  • 循环:可以在图中包含任何类型的循环,甚至可以无限运行一个图。
  • 条件语句:节点的拓扑结构可以部分地根据输入值进行更改。这有助于构建状态机。
  • 节点的并行执行:更多的节点可以并行执行,这对于同时进行多个LLM调用非常有用。
  • 结果流式传输:可以在LLM节点产生输出时实时查看输出。可以在图运行时连接观察节点。
  • 层次化图:图可以包含其他图,没有限制。
  • 额外功能:图可以调用外部工具,例如网络刮刀、YouTube下载器或PDF阅读器。

示例

GraphLLM提供了一个示例图,用于生成Python代码并用它来解决问题。例如,一个代理能够回答类似于"给我总结一下Hacker News首页上最有可能与语言模型相关的文章"的问题。

限制

GraphLLM主要与llama70b和qwen 32b进行测试,使用llama.cpp服务器作为后端。该框架正在积极开发中,可能会有重大变化。

安装和运行

要快速设置GraphLLM,你需要运行以下命令来下载和启动:

bash

复制代码
pip3 install selenium readabilipy html2text pdfminer.six justpy
git clone https://github.com/matteoserva/GraphLLM.git 
cd GraphLLM

然后在另一个终端启动llama.cpp服务器:

bash

复制代码
GGML_CUDA_ENABLE_UNIFIED_MEMORY=1 CUDA_VISIBLE_DEVICES=0,1 ./llama-server -ngl 99 -t 6 -c 32768 --host 0.0.0.0  -m Qwen2.5-32B-Instruct-Q5_K_M.gguf --override-kv tokenizer.ggml.add_bos_token=bool:false -sp -fa -ctk q8_0 -ctv q8_0

你可以在终端中运行以下命令来启动服务器:

bash

复制代码
python3 server.py

然后,你可以在浏览器中打开 http://localhost:8008/ 来访问。

要直接运行一个图,你可以使用以下命令:

bash

复制代码
python3 exec.py examples/graph_summarize.txt test/wikipedia_summary.txt

在examples文件夹中有更多的示例,你也可以从Web GUI中打开更多示例。

后端支持

GraphLLM支持一些推理引擎和许多模型。建议的组合是使用llama.cpp与Qwen2.5。llama.cpp服务器得到了完全支持,其他引擎具有有限的功能。GraphLLM广泛使用了高级功能,如语法、助手响应预填充和使用原始提示。一些引擎和API提供者只支持这些功能的子集。

GraphLLM是一个强大的工具,可以帮助你在大型语言模型的帮助下处理复杂的数据任务。如果你对这个项目感兴趣,可以访问其GitHub页面了解更多信息:

GraphLLM: A graph based framework to process data through a LLM or multiple LLMs.

相关推荐
taxunjishu1 小时前
DeviceNet 转 Modbus TCP 协议转换在 S7-1200 PLC化工反应釜中的应用
运维·人工智能·物联网·自动化·区块链
kalvin_y_liu2 小时前
智能体框架大PK!谷歌ADK VS 微软Semantic Kernel
人工智能·microsoft·谷歌·智能体
爱看科技2 小时前
智能眼镜行业腾飞在即,苹果/微美全息锚定“AR+AI眼镜融合”之路抢滩市场!
人工智能·ar
Juchecar4 小时前
LLM模型与ML算法之间的关系
人工智能
FIN66685 小时前
昂瑞微:深耕射频“芯”赛道以硬核实力冲刺科创板大门
前端·人工智能·科技·前端框架·信息与通信·智能
benben0445 小时前
京东agent之joyagent解读
人工智能
LONGZETECH5 小时前
【龙泽科技】汽车动力与驱动系统综合分析技术1+X仿真教学软件(1.1.3 -初级)
人工智能·科技·汽车·汽车仿真教学软件·汽车教学软件
lisw055 小时前
SolidWorks:现代工程设计与数字制造的核心平台
人工智能·机器学习·青少年编程·软件工程·制造
大刘讲IT5 小时前
AI 生产工艺参数优化:中小型制造企业用 “智能调参“ 提升产品合格率与生产效率
人工智能·制造
图欧学习资源库5 小时前
人工智能领域、图欧科技、IMYAI智能助手2025年9月更新月报
人工智能·科技