大数据-253 离线数仓 - Airflow 入门与任务调度实战：DAG、Operator、Executor 部署排错指南

TL;DR

场景：面向离线数仓与定时任务场景，快速理解 Airflow 的核心概念、DAG 编排方式与基础命令。
结论：本文内容适合作为 Airflow 入门示例，但代码与命令明显偏旧，需区分 Airflow 1.x 与 2.x 版本差异。
产出：给出 Airflow 核心概念梳理、版本矩阵、常见报错速查卡，便于后续补齐部署与兼容性说明。

任务集成部署

Airflow 基本介绍

Apache Airflow 是一个开源的任务调度和工作流管理工具，用于编排复杂的数据处理任务。最初由 Airbnb 开发，于 2016 年捐赠给 Apache 软件基金会。Airflow 的主要特点是以代码方式定义任务及其依赖关系，支持任务的调度和监控，适合处理复杂的大数据任务。

Airflow 的特点

以代码为中心：Airflow 使用 Python 定义 DAG，提供灵活性和可编程性。
扩展性强：用户可以自定义 Operator 和 Hook，集成各种数据源和工具。
强大的 UI 界面：提供可视化界面监控任务状态、查看日志、重试失败任务等。
丰富的调度选项：支持基于时间 (Time-based) 和事件 (Event-based) 的调度。
高可用性：配合 Celery 和 Kubernetes 等执行器，支持分布式架构，适合处理大规模任务。

使用场景

数据管道调度

用于管理数据从源到目标的 ETL 流程。如每天从数据库中抽取数据、清洗后存入数据仓库。

机器学习工作流管理

调度数据预处理、模型训练和模型部署任务。

数据验证

自动化检查数据的质量和一致性。

定期任务自动化

定时清理日志、归档数据或生成报告。

Airflow核心概念

DAGs

有向无环图（Directed Acyclic Graph），将所有需要运行的tasks按照依赖关系组织起来，描述的是所有tasks执行的顺序

Operators

Airflow内置了很多Operators

BashOperator 执行一个Bash命令
PythonOperator 调用任意的Python函数
EmailOperator 用于发送邮件
HTTPOperator 用于发送HTTP请求
SqlOperator 用于执行SQL命令
自定义 Operator

Task

Task：Task是Operator的一个实例

Task Instance

Task Instance：由于Task会被重复调度，每次Tasks的运行就是不同的Task Instance，Task Instance 有自己的状态，包括 success、running、failed、skipped、up_for_rechedule、up_for_retry、queued、no_status等

Task Relationships

Task Relationships：DAGs中的不同Tasks之间可以有依赖关系

Executor

Executor，在Airflow中支持的执行器就有四种：

SequentialExecutor：单进程顺序执行任务，默认执行器，通常只用于测试
LocalExecutor：多进程本地执行任务
CeleryExecutor：分布式调度，生产常用，Celery是一个分布式调度框架，其本身没有队列功能，需要使用第三方组件，如RabbitMQ
DaskExecutor：动态任务调度，主要用于数据分析
执行器的修改：修改 $AIRFLOW_HOME/airflow.cfg 中：executor = LocalExecutor 这里关于执行器的修改，修改如下所示：

入门案例

编写脚本

shell 复制代码

mkdir $AIRFLOW_HOME/dags
vim $AIRFLOW_HOME/dags/helloworld.py

我们需要写入的内容如下：

python 复制代码

from datetime import datetime, timedelta
from airflow import DAG
from airflow.utils import dates
from airflow.utils.helpers import chain
from airflow.operators.bash_operator import BashOperator
from airflow.operators.python_operator import PythonOperator

# 定义默认参数
def default_options():
    default_args = {
        'owner': 'airflow',  # 拥有者名称
        'start_date': dates.days_ago(1),  # 第一次开始执行的时间
        'retries': 1,  # 失败重试次数
        'retry_delay': timedelta(seconds=5)  # 失败重试间隔
    }
    return default_args

# 定义Bash任务
def task1(dag):
    t = "pwd"
    task = BashOperator(
        task_id='MyTask1',  # task_id
        bash_command=t,  # 指定要执行的命令
        dag=dag  # 指定归属的dag
    )
    return task

# Python任务函数
def hello_world():
    current_time = str(datetime.today())
    print('hello world at {}'.format(current_time))

# 定义Python任务
def task2(dag):
    task = PythonOperator(
        task_id='MyTask2',
        python_callable=hello_world,  # 指定要执行的函数
        dag=dag
    )
    return task

# 定义另一个Bash任务
def task3(dag):
    t = "date"
    task = BashOperator(
        task_id='MyTask3',
        bash_command=t,
        dag=dag
    )
    return task

# 定义DAG
with DAG(
    'HelloWorldDag',  # dag_id
    default_args=default_options(),  # 指定默认参数
    schedule_interval="*/2 * * * *"  # 执行周期，每分钟2次
) as d:
    task1 = task1(d)
    task2 = task2(d)
    task3 = task3(d)
    chain(task1, task2, task3)  # 指定执行顺序

写入的内容如下所示：

测试运行

shell 复制代码

# 执行命令检查脚本是否有错误。如果命令行没有报错，就表示没问题
python $AIRFLOW_HOME/dags/helloworld.py

执行的结果如下图所示：查看生效的 dags

shell 复制代码

# 查看生效的 dags
airflow dags list --subdir $AIRFLOW_HOME/dags

执行结果如下图所示：查看指定dag中的task

shell 复制代码

airflow tasks list HelloWorldDag

执行的结果如下图所示：测试dag中的task

shell 复制代码

airflow tasks test HelloWorldDag MyTask2 2020-08-01

执行的结果如下所示：

错误速查

症状	根因	定位	修复
ModuleNotFoundError: airflow.operators.bash_operator	使用了 Airflow 1.x 导包方式，但当前环境是 Airflow 2.x	执行 DAG 文件或 Scheduler 加载日志	改为 2.x 对应导包路径，并在文中标注适用版本
DAG 文件存在，但 airflow dags list 看不到	DAG 未被成功解析；代码异常；文件路径不在 dags_folder	查看 Scheduler / Webserver 日志，执行 airflow dags list --subdir	先修复导包或语法错误，再确认 $AIRFLOW_HOME/dags 配置
airflow tasks test 报 DAG 或 Task 不存在	dag_id / task_id 写错，或 DAG 未注册成功	用 airflow dags list、airflow tasks list HelloWorldDag 核对	保证 dag_id=HelloWorldDag、task_id=MyTask2 与脚本一致
DAG 能加载，但任务不按预期调度	start_date、调度周期、时区配置不清晰	查看 DAG 详情页中的 next run / logical date	显式写清 start_date 和时区，避免只用 days_ago()
文章说"每分钟 2 次"，但 cron 实际含义有歧义	/2 * * * 实际是每 2 分钟一次	对照 cron 表达式与 Airflow UI 运行时间	将文案改为"每 2 分钟执行一次"
修改 executor = LocalExecutor 后任务仍异常	只改配置未满足依赖条件，如数据库未切换到 MySQL/PostgreSQL	查看 airflow.cfg、元数据库类型、启动日志	补齐 LocalExecutor/CeleryExecutor 的数据库与组件要求
CeleryExecutor 启动失败	Broker / Result Backend 未配置完整	查看 Celery Worker / Scheduler 日志	明确 Redis 或 RabbitMQ 配置，不要只写 RabbitMQ
直接执行 python dags/helloworld.py 没报错，但 UI 仍无 DAG	语法没问题，但 Airflow 上下文加载失败	对比命令行结果与 Scheduler 解析日志	以 Airflow 自身的 DAG 解析结果为准，不把 python 执行当最终验证
任务状态里出现 up_for_reschedule / up_for_retry 表述混乱	状态名或拼写不准确，版本差异导致状态集合不同	查任务实例详情页或官方状态枚举	避免在正文里罗列过多状态名，改成"常见状态如 success、running、failed、retry"
执行器说明被读者质疑不完整	对执行器支持范围下了绝对结论	对照当前 Airflow 版本官方文档	改成"常见执行器包括......"而不是"只有四种"

其他系列

🚀 AI篇持续更新中（长期更新）

AI炼丹日志-29 - 字节跳动 DeerFlow 深度研究框斜体样式架私有部署测试上手架构研究 ，持续打造实用AI工具指南！ AI研究-132 Java 生态前沿 2025：Spring、Quarkus、GraalVM、CRaC 与云原生落地

💻 Java篇持续更新中（长期更新）

Java-218 RocketMQ Java API 实战：同步/异步 Producer 与 Pull/Push Consumer MyBatis 已完结，Spring 已完结，Nginx已完结，Tomcat已完结，分布式服务已完结，Dubbo已完结，MySQL已完结，MongoDB已完结，Neo4j已完结，FastDFS 已完结，OSS已完结，GuavaCache已完结，EVCache已完结，RabbitMQ已完结，RocketMQ正在更新... 深入浅出助你打牢基础！

📊 大数据板块已完成多项干货更新（300篇）：

包括 Hadoop、Hive、Kafka、Flink、ClickHouse、Elasticsearch 等二十余项核心组件，覆盖离线+实时数仓全栈！ 大数据-278 Spark MLib - 基础介绍机器学习算法梯度提升树 GBDT案例详解