在线浏览“秀人网合集”的新思路:30 行 Python 把封面图链接秒变本地可点图库

用 30 行 Python 把秀人网公开合集"搬"进本地数据库


"秀人网"近日上线的新主题合集页采用前端渲染,数据通过 /api/v2/theme/list 接口一次性返回 JSON,无需模拟点击"加载更多"。接口无登录限制,但带 5 秒滑动窗口的 IP 频次校验:单 IP >30 次/分即返回 429。本文示范如何遵守 robots 协议、放缓速率,仅采集"公开可见"字段,并给出断点续抓、User-Agent 随机化、异常重试等常用技巧。

核心思路三步走:

分析列表接口:在浏览器 DevTools 里筛选 XHR,发现真实请求 URL 形如

https://www.xiuren.net/api/v2/theme/list?page={page}\&size=20,返回体含 data.total 与 data.list。

解析单条记录:字段 title、author、coverUrl 即为我们需要的元数据,无需再进详情页。

限速+重试:用 tenacity 的 @retry(stop=stop_after_attempt(3)) 装饰器,遇到 429 自动退避 10 秒;全局速率 time.sleep(random.uniform(1, 2)),确保平均 <30 次/分。

运行环境:Python≥3.7,依赖如下

pip install requests pandas tenacity fake-useragent

代码(文件 save_xiuren_meta.py):

python 复制代码
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
抓取秀人网公开主题合集元信息,仅采集 title/author/coverUrl 三字段。
仅供学习,请遵守平台 robots.txt 与相关法律法规。
"""
import csv, time, random, requests
from tenacity import retry, stop_after_attempt, wait_fixed
from fake_useragent import UserAgent

BASE_URL = "https://www.xiuren.net/api/v2/theme/list"
CSV_FILE = "xiuren_meta.csv"
PAGE_SIZE = 20
MAX_PAGE = 50          # 按需调整,0 表示抓全量
SLEEP_RANGE = (1, 2)   # 秒,随机休眠

ua = UserAgent()
session = requests.Session()
session.headers.update({"Referer": "https://www.xiuren.net/"})

@retry(stop=stop_after_attempt(3), wait=wait_fixed(10))
def fetch_one_page(page: int):
    session.headers.update({"User-Agent": ua.random})
    params = {"page": page, "size": PAGE_SIZE}
    resp = session.get(BASE_URL, params=params, timeout=10)
    if resp.status_code == 429:
        raise Exception("Rate limited")
    resp.raise_for_status()
    return resp.json()

def main():
    writer = None
    for p in range(1, MAX_PAGE + 1):
        print(f"[+] 正在抓取第 {p} 页 ...")
        js = fetch_one_page(p)
        rows = [
            {"title": item["title"], "author": item["author"], "coverUrl": item["coverUrl"]}
            for item in js["data"]["list"]
        ]
        if not writer:
            writer = csv.DictWriter(open(CSV_FILE, "w", newline="", encoding="utf-8"),
                                    fieldnames=["title", "author", "coverUrl"])
            writer.writeheader()
        writer.writerows(rows)
        if js["data"]["total"] <= p * PAGE_SIZE:
            break
        time.sleep(random.uniform(*SLEEP_RANGE))
    print(f"[√] 抓取完成,已写入 {CSV_FILE}")

if __name__ == "__main__":
    main()

运行后同级目录生成 xiuren_meta.csv,可导入 Excel 或数据库二次分析。若需增量更新,可把 CSV_FILE 改为 SQLite,并在写入前按 title 做唯一索引去重。

再次提醒:

仅抓取"公开可见"字段,不绕过登录、不破解加密参数;

速率温和,不干扰站点正常服务;

数据勿商用,尊重原作者版权。

祝各位读者调试顺利,也欢迎把改进方案提交到开源社区,共同维护良好的技术交流氛围。

相关推荐
TomEval11 小时前
【测AI】第26篇:线上模型监控与告警体系 — 测试不是终点
人工智能·python·功能测试·ai
prince_zxill12 小时前
PEP 751 pylock.toml 实测:pip 26.3 装 6 个包版本全钉死,但 [web] 选不中任何东西
python·pip·依赖管理·pep 751
ShineWinsu13 小时前
对于Qt:QFormLayout常见属性以及方法的解析
开发语言·c++·qt·面试·客户端·表单·qformlayout
Thanks_ks13 小时前
Python 的垃圾回收——引用计数撑起日常,分代回收收拾残局
python·内存管理·垃圾回收·循环引用·引用计数·gc 模块·weakref
CyrusYiVPP13 小时前
实测 uv 0.13.7:同一套包,pip 装 94 秒,它只用 19 秒
人工智能·python
yiangL_14 小时前
Python 学习笔记:递归、turtle绘图、字符串与函数
笔记·python·学习
lula88815 小时前
PVC-U、PVC-C、PVC-O 差一个字母,差的是三种增强路线
python
数字工作台16 小时前
给 LangGraph 加一道可审计记忆:替换默认 Checkpointer,实现防篡改 + 崩溃不丢数据
python·agent
DKPT16 小时前
Python 的 Web 框架:选型选错的人,都踩了同一个坑
python
2401_8685347817 小时前
逻辑网络设计
网络·python