( github actions + workflow 01 ) 实现爬虫自动化,每2小时爬取一次澎湃新闻

1. 起因, 目的:

受到这个项目的启发,https://github.com/worryzyy/cursor-ver-dl

我觉得很多事情, 是可以自动完成。

因此我打算,深入学习 github workflows, 写几个例子。比如

  • 自动化爬虫,每2个小时,运行一下。
  • 自动化发布内容。

项目代码

2. 先看效果

可行!

3. 过程:

  • 就是探索,尝试,踩坑, 记录过程, 总结经验,还有什么呢?
代码 1, 先记录一个大坑, 一定要添加这一句,即, 手动执行!

workflow_dispatch

yml 复制代码
on:
  schedule:
    - cron: '*/5 * * * *'  # 每2分钟触发
  workflow_dispatch:        # 👈 手动触发按钮,推荐加上, 一定加上!测试方便
代码 2, 完整的工作流。
yml 复制代码
# 工作流名称,在 GitHub Actions 界面显示
name: 爬虫自动化

# 触发条件:每2分钟运行一次
# 注意:免费版 GitHub Actions 可能限制最短为5分钟,调试时若失败可改成 '*/5 * * * *'
on:
  schedule:
    - cron: '*/5 * * * *'  # 每2分钟触发
  workflow_dispatch:        # 👈 手动触发按钮,推荐加上, 一定加上!测试方便


# 定义任务
jobs:
  run-crawler:
    # 使用最新的 Ubuntu 环境
    runs-on: ubuntu-latest

    # 执行步骤
    steps:
      # 步骤1:拉取仓库代码
      - name: 拉取代码
        uses: actions/checkout@v4

      # 步骤2:设置 Python 环境
      - name: 配置 Python
        uses: actions/setup-python@v5
        with:
          python-version: '3.9'  # Python 版本,建议用 3.9,可根据需要调整

      # 步骤3:安装依赖(如果有 requirements.txt)
      # 仅当文件存在时安装,避免重复安装
      - name: 安装依赖
        run: |
          if [ -f requirements.txt ]; then
            pip install -r requirements.txt
          fi

      # 步骤4:打印当前时间,方便调试
      - name: 打印运行时间
        run: echo "now is >>> $(date)"

      # 步骤5:运行爬虫脚本
      - name: 运行爬虫
        run: python3 news_spider/peng_pai_02.py

记录几个问题, 简问简答

我记得很久之前,有一个系列是, numpy 50问,还是100问。

写的很好,简洁而且清晰。

那种行文风格,我很喜欢。

1. GitHub 中,Actions 和 workflows 是什么关系?

  • 厨房, 做一道菜。

2. GitHub 每个项目,都可以设置一个 workflow ,是吗?是免费的,还是限制数量的?

  • GitHub 的每个项目(即仓库)都可以设置 workflow,而且通常是免费的。

3. 必须使用这个文件名,.github/workflows, 是吗?

  • 是的

4. 必须使用 .yml 或 .yaml 作为文件扩展名, 是吗?

  • 是的

从此往下,可以让AI 继续写,写20个问答,但是我觉得没必要了。

4. 结论 + todo

  • 打算多写几个,这只是第一个。

希望对大家有帮助。

相关推荐
DeepSeek-大模型系统教程7 小时前
推荐 7 个本周 yyds 的 GitHub 项目。
人工智能·ai·语言模型·大模型·github·ai大模型·大模型学习
Hacker_Oldv8 小时前
软件测试(功能、工具、接口、性能、自动化、测开)详解
运维·自动化
Java樱木8 小时前
使用字节Trae + MCP,UI 到网页自动化。
运维·自动化
ai小鬼头10 小时前
AIStarter最新版怎么卸载AI项目?一键删除操作指南(附路径设置技巧)
前端·后端·github
泡泡以安13 小时前
安卓高版本HTTPS抓包:终极解决方案
爬虫·https·安卓逆向·安卓抓包
小小鱼儿小小林13 小时前
免费一键自动化申请、续期、部署、监控所有 SSL/TLS 证书,ALLinSSL开源免费的 SSL 证书自动化管理平台
开源·自动化·ssl
从零开始学习人工智能15 小时前
深入解析 OPC UA:工业自动化与物联网的关键技术
运维·物联网·自动化
q5673152315 小时前
Java Selenium反爬虫技术方案
java·爬虫·selenium
真智AI17 小时前
AI智能体时代来临:数据分析的变革与自动化之路
人工智能·数据分析·自动化
不午睡的探索者19 小时前
告别性能瓶颈!Python 量化工程师,进击 C++ 高性能量化交易的“必修课”!
c++·github