发现一个很实用的开源项目:把 X 推荐流自动抓取并归档到自己的系统里
项目地址:https://github.com/MuShan-bit/auto-x-to-wechat

最近在 GitHub 上看到一个挺有意思的开源项目:auto-x-to-wechat。
如果你平时会在 X 上刷到不少有价值的内容,但又苦于内容流转太快、后续难检索、难沉淀,那这个项目值得看一眼。它做的不是简单"抓几条数据展示一下"的 Demo,而是围绕"真实账号绑定 -> 定时抓取推荐流 -> 去重归档 -> 富文本展示 -> 运行记录回查"这条链路,做出了一套比较完整的 MVP。
从仓库当前公开的信息来看,这个项目已经具备几个很实用的点。
1. 支持真实 X 账号绑定
不是只让你手动填 Cookie,而是通过浏览器辅助绑定的方式,让用户手动登录 X,系统再自动回填账号信息和 Cookie。这个设计很重要,因为很多相关项目停留在"需要用户自己导 Cookie"的阶段,真实可用性并不高。
2. 支持 Playwright 驱动的真实推荐流抓取
也就是说,它不是只做一个 Mock 接口,而是已经把真实页面抓取这一步接进去了。对于想做内容归档、信息流沉淀、二次处理的人来说,这一步决定了项目是不是"能跑起来"。
3. 做了去重和归档
抓回来的内容并不会简单堆在数据库里,而是按照绑定账号和帖子 ID 去重,避免重复抓取、重复展示。这一点对定时任务场景尤其关键,不然数据很快就会失控。
4. 前后端展示链路已经比较完整
项目不是只有后端接口,前端已经有 Dashboard、Bindings、Archives、Runs 等页面,支持分页查看归档内容、查看任务执行记录、看错误摘要和运行详情。对想二次开发的人来说,这种"前后端闭环"比只有接口的仓库更有参考价值。

5. 技术栈比较现代,适合做真实项目
这个项目采用的是比较主流的一套技术组合:
- 前端:Next.js 16 + TypeScript + Tailwind CSS + ShadCN / Base UI
- 后端:NestJS + Prisma
- 数据库:PostgreSQL
- 认证:NextAuth.js
- 抓取:Playwright
- 部署:Docker Compose,也支持 Vercel + Neon 的组合
这套组合的优点是比较适合真实 Web 项目,而不是只适合比赛 Demo。前端负责体验和页面闭环,后端负责任务调度、数据处理和抓取执行,数据库承担归档和状态记录,部署方案也考虑到了本地和线上两种路径。
6. 这个项目真正有价值的地方
我觉得这个项目比较值得关注的地方,不在于"它能抓 X",而在于它把"内容沉淀"这件事做成了一条完整链路:
- 用户能绑定真实账号
- 系统能定时执行抓取
- 抓取结果能去重归档
- 归档内容能以富文本方式展示
- 每次任务执行都有记录可回查
对于做内容工具、知识管理、社媒归档、信息流分析的人来说,这个方向其实很有想象空间。比如后续完全可以继续往这些方向延展:
- 自动摘要
- 标签分类
- RAG 知识库接入
- 微信 / 飞书 / Telegram 分发
- 多账号聚合归档
- 抓取后的内容推荐与检索
7. 适合哪些人关注
如果你最近正好在找一个"不是从 0 开始"的开源底座,或者想看一个较完整的 Next.js + NestJS + Playwright 实战项目,这个仓库可以收藏一下。
项目地址:
https://github.com/MuShan-bit/auto-x-to-wechat
如果后续作者继续把抓取稳定性、内容分发和知识库能力补上,这个项目的可玩性还会更高。
标签建议
开源项目 Next.js NestJS Playwright Prisma PostgreSQL 爬虫 内容归档