大模型相关目录
大模型，包括部署微调prompt/Agent应用开发、知识库增强、数据库增强、知识图谱增强、自然语言处理、多模态等大模型应用开发内容
从0起步，扬帆起航。
- swift与Internvl下的多模态大模型分布式微调指南（附代码和数据）
- 多模态大模型Internvl-1.5-26B微调后部署及测试实录（附代码）
- 多模态大模型Internvl-2-26B的OCR赋能方案（附代码）
- miniconda+xinference的大模型推理部署指南
- Mem0：大模型最强赋能"有记忆的LLM"
- 再谈Agent：Dify智能体实现Txet2SQL
- Moe模式：或将是最好的大模型应用开发路径
- 一文带你了解大模型RAG
- 详细记录swfit微调interVL2-8B多模态大模型进行目标检测（附代码）
- DIfy中集成magic-pdf实现文档解析agent与多模态大模型图文问答
- 大模型Prompt trick：利用大模型同情心提升模型性能
- 一文带你入门大模型微调
- 开源大模型LLaMA架构介绍
- CyberScraper-2077+simple-one-api：使用大模型爬虫
文章目录
CyberScraper-2077+simple-one-api：使用大模型爬虫
开源项目
CyberScraper-2077：
simple-one-api：
介绍
CyberScraper 2077 不仅仅是另一个网络抓取工具------它是对数据提取未来的一瞥。诞生于赛博朋克世界霓虹灯闪烁的街道，这款 AI 驱动的抓取工具使用 OpenAI 切开网络的防御，以无与伦比的精度和风格提取您需要的数据。
安装CyberScraper 2077 ：
bash
克隆此存储库：
git clone https://kkgithub.com/itsOwen/CyberScraper-2077.git
cd CyberScraper-2077
创建并激活虚拟环境：
virtualenv even
source venv/bin/activate # Optional
安装所需的软件包：
pip install -r requirements.txt
安装剧作家：
playwright install
在您的环境中设置 OpenAI Key：
Linux/Mac：
export OPENAI_API_KEY='your-api-key-here'
对于 Windows：
set OPENAI_API_KEY=your-api-key-here可见，需要openai形式的api-key。
由此引入另一个开源项目。
目前市面上免费的使用国产的免费大模型越来越多，one-api对于个人用起来还是有点麻烦，就想要一个不要统计、流量、计费等等的适配程序即可。还有一点是：即使有些厂商说兼容openai的接口，但是实际上还是存在些许差异的！！！
simple-one-api主要是解决以上2点，旨在兼容多种大模型接口，并统一对外提供 OpenAI 接口。通过该项目，用户可以方便地集成和调用多种大模型，简化了不同平台接口差异带来的复杂性。
安装simple-one-api：
bash
源码安装
克隆本仓库：
git clone https://github.com/fruitbars/simple-one-api.git
快速编译使用
首先得确保你已经安装了go，版本需要是1.21以上，具体安装教程参考官网地址：https://go.dev/doc/install 可以通过go version查看go的版本。
linux/macOS
chmod +x quick_build.sh
./quick_build.sh
将会在当前目录生成simple-one-api
Windows 双击quick_build.bat执行
quick_build.bat
将会在当前目录生成simple-one-api.exe
交叉编译不同平台版本
有时需要编译不同平台的版本，比如windows、linux、macOS； 确保安装好go之后，执行build.sh
chmod +x build.sh
./build.sh
会自动编译出对于以上3中平台不同架构的可执行文件，生成在build目录中。
接下来配置你的模型服务和凭证： 在 config.json 文件中添加你的模型服务和凭证信息。更多使用教程参考开源项目网站。