引言
"Give your AI agent eyes to see the entire internet."
这是「一天一个开源项目」系列的第 48 篇文章。今天介绍的项目是 Agent-Reach (GitHub)。
AI Agent 能帮你写代码、改文档、管项目,但让它去网上找点东西就抓瞎了:YouTube 视频看不了、Twitter 搜不了(API 要付费)、Reddit 403 被封、小红书打不开、B站连不上......Agent-Reach 是一个脚手架工具 ,给 AI Agent 一键装上互联网能力:支持 Twitter、Reddit、YouTube、GitHub、B站、小红书、抖音、LinkedIn、微信公众号、微博、RSS 等平台,零 API 费用 ,一键安装 ,兼容 Claude Code、OpenClaw、Cursor、Windsurf 等所有能跑命令行的 Agent。
为什么值得看?
- 🚀 一键安装:复制一句话给 Agent,自动完成所有配置
- 💰 零 API 费用:所有工具开源免费,不依赖付费 API
- 🔌 可插拔架构:每个渠道独立,不满意可替换
- 🤖 兼容所有 Agent:Claude Code、OpenClaw、Cursor、Windsurf 等
- 🔒 隐私安全:Cookie 只存本地,不上传不外传,代码完全开源
- 🩺 自带诊断 :
agent-reach doctor一条命令检测所有渠道状态 - 🔄 持续更新:追踪各平台变化,平台封了自动修复
你将学到什么
- Agent-Reach 的定位与「脚手架」设计理念
- 支持的平台和上游工具选型(xreach、yt-dlp、Jina Reader、Exa 等)
- 一键安装流程和配置机制
- 可插拔架构:如何替换上游工具
- 安全机制:Cookie 管理、隐私保护
- 与同类工具(LangChain Tools、CrewAI Tools 等)的对比
前置知识
- 对 AI Agent 有基本了解
- 了解命令行工具的基本使用
- 对网络爬虫、API 调用有基本认识(可选)
项目背景
项目简介
Agent-Reach 是一个脚手架工具,用于给 AI Agent 提供互联网能力。它不是框架,而是帮你完成工具选型和配置的活儿:安装完成后,Agent 直接调用上游工具(xreach CLI、yt-dlp、mcporter、gh CLI 等),不需要经过 Agent-Reach 的包装层。
核心特点:
- 脚手架定位:不是框架,是配置工具,帮你选型和配置上游工具
- 零 API 费用:所有工具开源免费,不依赖付费 API
- 一键安装:复制一句话给 Agent,自动完成所有配置
- 可插拔架构:每个渠道独立,不满意可替换
- 兼容所有 Agent:任何能跑命令行的 Agent 都能用
- 持续更新:追踪各平台变化,平台封了自动修复
解决的核心问题:
- AI Agent 无法访问互联网内容(YouTube、Twitter、Reddit 等)
- 各平台 API 费用高昂(Twitter API 读一条 $0.005)
- 需要逐个配置工具、装依赖、调配置,踩坑成本高
- 平台反爬和 API 变化需要持续维护
面向的用户:
- 使用 AI Agent(Claude Code、OpenClaw、Cursor 等)的开发者
- 需要让 Agent 访问互联网内容的用户
- 不想为 API 付费的开发者
- 需要持续维护工具配置的团队
作者/团队介绍
- 作者 :Panniantong (GitHub)
- 背景:纯 vibe coding 项目,作者自己每天在用,会持续维护
- 理念:为 Web 4.0 基建贡献一份力量
- 联系方式 :pnt01@foxmail.com、@Neo_Reidlab
项目数据
- ⭐ GitHub Stars: 约 8.2k
- 🍴 Forks: 约 593
- 📦 版本: v1.3.0(持续更新中,180+ commits)
- 📄 License: MIT
- 🌐 文档 : GitHub README
- 💬 社区 : GitHub Issues
技术栈:
- 语言: Python(91.5%)、Shell(8.5%)
- Python 版本: 3.8+
- 核心依赖: xreach、yt-dlp、Jina Reader、Exa、mcporter、feedparser 等
主要功能
核心作用
Agent-Reach 的核心作用是:给 AI Agent 一键装上互联网能力,让 Agent 能够:
- 读取网页:通过 Jina Reader 读取任意网页内容
- 搜索 Twitter:通过 xreach CLI 搜索推文,零 API 费用
- 提取 YouTube 字幕:通过 yt-dlp 提取视频字幕和元数据
- 访问 GitHub:通过 gh CLI 读取仓库、搜索、提 Issue/PR
- 访问 B站:通过 yt-dlp 提取字幕和搜索
- 访问 Reddit:通过 Exa 免费搜索,或配置代理读取帖子
- 访问小红书:通过 xiaohongshu-mcp 读取、搜索、发帖
- 访问抖音:通过 douyin-mcp-server 解析视频、获取无水印下载
- 访问 LinkedIn:通过 linkedin-scraper-mcp 读取公开页面
- 访问微信公众号:通过 wechat-article-for-ai 搜索和阅读
- 访问微博:热搜、搜索、用户动态、评论
- 订阅 RSS:通过 feedparser 解析 RSS/Atom 源
- 全网搜索:通过 Exa 进行 AI 语义搜索(MCP 接入,免费无需 Key)
使用场景
-
内容研究和分析
- "帮我看看这个 YouTube 教程讲了什么" → 提取字幕和元数据
- "搜一下推特上大家怎么评价这个产品" → 搜索推文
- "去 Reddit 上看看有没有人遇到过同样的 bug" → 搜索和读取帖子
-
代码和项目研究
- "这个 GitHub 仓库是做什么的?Issue 里说了什么?" → 读取仓库和 Issue
- "搜一下 GitHub 上有什么 LLM 框架" → 搜索仓库
-
社交媒体监控
- "帮我看看小红书上这个品的口碑" → 搜索和读取笔记
- "看看微博上这个话题的讨论" → 搜索和读取微博
-
信息聚合
- "帮我订阅这几个 RSS 源,有更新告诉我" → 解析 RSS 源
- "全网搜一下最新的 LLM 框架对比" → AI 语义搜索
-
内容创作辅助
- "这个视频讲了什么,帮我总结一下" → 提取字幕并总结
- "帮我看看这个网页写了啥" → 读取网页内容
快速开始
一键安装:
复制这句话给你的 AI Agent(Claude Code、OpenClaw、Cursor 等):
bash
帮我安装 Agent Reach:https://raw.githubusercontent.com/Panniantong/agent-reach/main/docs/install.md
Agent 会自动完成:
- 安装 CLI 工具:
pip install agent-reach - 安装系统依赖:Node.js、gh CLI、mcporter、xreach 等
- 配置搜索引擎:通过 MCP 接入 Exa(免费,无需 API Key)
- 检测环境:判断是本地电脑还是服务器,给出配置建议
- 注册 SKILL.md:在 Agent 的 skills 目录安装使用指南
更新:
bash
帮我更新 Agent Reach:https://raw.githubusercontent.com/Panniantong/agent-reach/main/docs/update.md
安全模式:
bash
帮我安装 Agent Reach(安全模式):https://raw.githubusercontent.com/Panniantong/agent-reach/main/docs/install.md
安装时使用 --safe 参数
诊断:
bash
agent-reach doctor
一条命令告诉你每个渠道的状态(哪个通、哪个不通、怎么修)。
使用示例:
安装完成后,告诉 Agent 即可:
- "帮我看看这个链接" →
curl https://r.jina.ai/URL读任意网页 - "这个 GitHub 仓库是做什么的" →
gh repo view owner/repo - "这个视频讲了什么" →
yt-dlp --dump-json URL提取字幕 - "帮我看看这条推文" →
xreach tweet URL --json - "订阅这个 RSS" →
feedparser解析 - "搜一下 GitHub 上有什么 LLM 框架" →
gh search repos "LLM framework"
不需要记命令。 Agent 读了 SKILL.md 之后自己知道该调什么。
核心特性
-
支持的平台
- 🌐 网页:Jina Reader 读任意网页(装好即用)
- 📺 YouTube:yt-dlp 字幕提取 + 视频搜索(装好即用)
- 📡 RSS:feedparser 读任意 RSS/Atom 源(装好即用)
- 🔍 全网搜索:Exa AI 语义搜索(MCP 接入,免费无需 Key)
- 📦 GitHub:gh CLI 读公开仓库 + 搜索(装好即用),私有仓库需登录
- 🐦 Twitter/X:xreach 读单条推文(装好即用),搜索需配置 Cookie
- 📺 B站:yt-dlp 本地字幕提取 + 搜索(装好即用),服务器需代理
- 📖 Reddit:Exa 免费搜索(装好即用),读帖子需代理
- 📕 小红书:xiaohongshu-mcp 阅读、搜索、发帖(需配置)
- 🎵 抖音:douyin-mcp-server 视频解析、无水印下载(需配置)
- 💼 LinkedIn:linkedin-scraper-mcp 读公开页面(装好即用),Profile 详情需配置
- 💬 微信公众号:wechat-article-for-ai 搜索 + 阅读(装好即用)
- 📰 微博:热搜、搜索、用户动态、评论(装好即用)
- 🎙️ 小宇宙播客:Whisper 转录(需配置)
-
可插拔架构
- 每个渠道背后是独立的上游工具
- 不满意可替换:web.py → Jina Reader(可换成 Firecrawl、Crawl4AI)
- twitter.py → xreach(可换成 Nitter、官方 API)
- youtube.py → yt-dlp(可换成 YouTube API、Whisper)
- github.py → gh CLI(可换成 REST API、PyGithub)
-
安全机制
- 🔒 凭据本地存储 :Cookie、Token 只存在
~/.agent-reach/config.yaml,文件权限 600 - 🛡️ 安全模式 :
agent-reach install --safe不会自动修改系统 - 👀 完全开源:代码透明,随时可审查
- 🔍 Dry Run :
agent-reach install --dry-run预览所有操作 - 🍪 Cookie 安全建议:使用专用小号,不要用主账号(封号风险)
- 🔒 凭据本地存储 :Cookie、Token 只存在
-
兼容性
- 兼容所有能跑命令行的 Agent:Claude Code、OpenClaw、Cursor、Windsurf、Codex 等
- OpenClaw 用户需先开启 exec 权限:
openclaw config set tools.profile "coding"
-
持续更新
- 追踪各平台变化(平台封了自动修复)
- 接入新渠道(有需求就加)
- 底层工具定期更新到最新版(yt-dlp、xreach、Jina Reader 等)
项目优势
| 对比项 | Agent-Reach | LangChain Tools | CrewAI Tools | 手动配置 |
|---|---|---|---|---|
| 安装难度 | ✅ 一键安装 | ⚠️ 需逐个配置 | ⚠️ 需逐个配置 | ❌ 复杂 |
| API 费用 | ✅ 零费用 | ⚠️ 部分需付费 | ⚠️ 部分需付费 | ⚠️ 看情况 |
| 平台覆盖 | ✅ 13+ 平台 | ⚠️ 有限 | ⚠️ 有限 | ⚠️ 需自己找 |
| 可插拔性 | ✅ 每个渠道独立 | ⚠️ 耦合框架 | ⚠️ 耦合框架 | ✅ 完全控制 |
| 持续维护 | ✅ 自动追踪更新 | ⚠️ 需手动更新 | ⚠️ 需手动更新 | ❌ 自己维护 |
| 诊断工具 | ✅ doctor 命令 |
❌ 无 | ❌ 无 | ❌ 无 |
| 兼容性 | ✅ 所有 Agent | ⚠️ 仅 LangChain | ⚠️ 仅 CrewAI | ✅ 通用 |
为什么选择 Agent-Reach?
- 一键安装:复制一句话给 Agent,自动完成所有配置
- 零 API 费用:所有工具开源免费,不依赖付费 API
- 可插拔架构:每个渠道独立,不满意可替换
- 持续更新:追踪各平台变化,平台封了自动修复
- 自带诊断:
agent-reach doctor一条命令检测所有渠道状态
项目详细剖析
架构设计
Agent-Reach 采用脚手架 + 可插拔架构设计:
核心设计理念:
Agent-Reach 是一个脚手架(scaffolding),不是框架。
你给一个新 Agent 装环境的时候,总要花时间去找工具、装依赖、调配置------Twitter 用什么读?Reddit 怎么绕封?YouTube 字幕怎么提取?每次都要重新踩一遍。
Agent-Reach 做的事情很简单:帮你把这些选型和配置的活儿做完了。
安装完成后,Agent 直接调用上游工具(xreach CLI、yt-dlp、mcporter、gh CLI 等),不需要经过 Agent-Reach 的包装层。
架构结构:
arduino
Agent-Reach
├── channels/(渠道模块)
│ ├── web.py → Jina Reader(可替换)
│ ├── twitter.py → xreach(可替换)
│ ├── youtube.py → yt-dlp(可替换)
│ ├── github.py → gh CLI(可替换)
│ ├── bilibili.py → yt-dlp(可替换)
│ ├── reddit.py → JSON API + Exa(可替换)
│ ├── xiaohongshu.py → mcporter MCP(可替换)
│ ├── douyin.py → mcporter MCP(可替换)
│ ├── linkedin.py → linkedin-mcp(可替换)
│ ├── wechat.py → camoufox+miku(可替换)
│ ├── rss.py → feedparser(可替换)
│ ├── exa_search.py → mcporter MCP(可替换)
│ └── __init__.py → 渠道注册(doctor 检测用)
├── config/(配置管理)
│ └── config.yaml → Cookie、Token 存储(本地,权限 600)
├── scripts/(安装脚本)
│ └── install.sh → 一键安装脚本
└── docs/(文档)
├── install.md → 安装指南
└── update.md → 更新指南
每个渠道文件只负责:
- 检测对应上游工具是否可用(
check()方法) - 给
agent-reach doctor提供状态信息 - 实际的读取和搜索由 Agent 直接调用上游工具完成
上游工具选型
当前选型:
| 场景 | 选型 | 为什么选它 |
|---|---|---|
| 读网页 | Jina Reader | 9.8K Star,免费,不需要 API Key |
| 读推特 | xreach | Cookie 登录,免费。官方 API 按量付费(读一条 $0.005) |
| 视频字幕 + 搜索 | yt-dlp | 148K Star,YouTube + B站 + 1800 站通吃 |
| 搜全网 | Exa via mcporter | AI 语义搜索,MCP 接入免 Key |
| GitHub | gh CLI | 官方工具,认证后完整 API 能力 |
| 读 RSS | feedparser | Python 生态标准选择,2.3K Star |
| 小红书 | xiaohongshu-mcp | ⭐9K+,Go 语言,Docker 一键部署 |
| 抖音 | douyin-mcp-server | MCP 服务,无需登录,视频解析 + 无水印下载 |
| linkedin-scraper-mcp | ⭐900+,MCP 服务,浏览器自动化 | |
| 微信公众号 | wechat-article-for-ai + miku_ai | Camoufox 隐身浏览器读全文 + 搜狗搜索 |
📌 这些都是「当前选型」。不满意?换掉对应文件就行。这正是脚手架的意义。
安装流程
一键安装流程:
- Agent 接收指令:用户复制安装指令给 Agent
- 下载安装指南 :Agent 读取
install.md - 执行安装脚本 :
pip install agent-reach(安装 CLI 工具)- 检测并安装系统依赖(Node.js、gh CLI、mcporter、xreach 等)
- 配置搜索引擎(通过 MCP 接入 Exa)
- 检测环境(本地 vs 服务器)
- 注册 SKILL.md:在 Agent 的 skills 目录安装使用指南
- 完成:Agent 现在可以使用所有上游工具
安全模式:
bash
agent-reach install --safe
不会自动修改系统,只列出需要什么,由你决定装不装。
Dry Run:
bash
agent-reach install --dry-run
预览所有操作,不做任何改动。
配置机制
Cookie 配置:
需要 Cookie 的平台(Twitter、小红书等),优先使用 Chrome 插件 Cookie-Editor 导出 Cookie,发给 Agent 即可配置。
流程统一:
- 浏览器登录平台
- Cookie-Editor 导出 Cookie
- 发给 Agent:
agent-reach configure twitter-cookies "your_cookies"
代理配置:
Reddit、B站 等平台在服务器上可能被封,配置住宅代理:
bash
agent-reach configure proxy http://user:pass@ip:port
推荐 Webshare($1/月)。本地电脑一般不会遇到这个问题。
GitHub 登录:
告诉 Agent「帮我登录 GitHub」,Agent 会引导你完成 GitHub CLI 认证。
诊断工具
agent-reach doctor:
一条命令检测所有渠道状态:
- ✅ 哪个渠道可用
- ❌ 哪个渠道不可用
- 🔧 怎么修复不可用的渠道
输出示例:
java
✅ Web (Jina Reader): Available
✅ YouTube (yt-dlp): Available
✅ RSS (feedparser): Available
✅ GitHub (gh CLI): Available
⚠️ Twitter (xreach): Not configured (need Cookie)
⚠️ Reddit: Need proxy for server IP
❌ 小红书: Not installed (need Docker)
卸载机制
bash
agent-reach uninstall
会清除:
~/.agent-reach/(含所有 token/cookie)- 各 Agent 的 skill 文件
- mcporter 中的 MCP 配置
选项:
bash
# 只预览,不实际删除
agent-reach uninstall --dry-run
# 只删 skill 文件,保留 token 配置(重装时用)
agent-reach uninstall --keep-config
卸载 Python 包本身:pip uninstall agent-reach
项目地址与资源
官方资源
- 🌟 GitHub : github.com/Panniantong...
- 📚 文档 : GitHub README
- 💬 社区 : GitHub Issues
- 📧 Email : pnt01@foxmail.com
- 🐦 Twitter/X : @Neo_Reidlab
相关资源
- Jina Reader : github.com/jina-ai/rea...
- yt-dlp : github.com/yt-dlp/yt-d...
- xreach : npmjs.com/package/xre...
- Exa : exa.ai
- mcporter : github.com/steipete/mc...
- xiaohongshu-mcp : github.com/xpzouying/x...
- douyin-mcp-server : github.com/yzfly/douyi...
适用人群
- AI Agent 用户:使用 Claude Code、OpenClaw、Cursor、Windsurf 等的开发者
- 内容研究者:需要让 Agent 访问互联网内容进行研究
- 成本敏感用户:不想为 API 付费的开发者
- 多平台需求:需要访问多个平台的用户
- 快速原型开发:希望快速给 Agent 装上互联网能力
学习价值:
- ✅ 脚手架工具的设计理念和实践
- ✅ 可插拔架构的实现方式
- ✅ 上游工具选型和集成
- ✅ Cookie 和代理配置管理
- ✅ Agent 工具生态的构建
- ✅ 持续维护和更新的策略
欢迎来我中的个人主页找到更多有用的知识和有趣的产品