大数据-251 离线数仓 - Airflow 安装部署避坑指南：1.10.11 与 2.x 命令差异、MySQL 配置与错误排查

TL;DR

场景：在 CentOS 7 + MySQL 环境部署 Apache Airflow，并梳理基础概念、安装流程与 Web 使用。
结论：当前内容能覆盖入门，但存在明显版本混用，尤其是 Airflow 1.10.11 与 2.x 命令不一致。
产出：补齐版本矩阵与错误速查卡，方便读者按版本正确安装、初始化、建库、建用户和启动服务。

Airflow 基本介绍

Apache Airflow 是一个开源的任务调度和工作流管理工具，用于编排复杂的数据处理任务。最初由 Airbnb 开发，于 2016 年捐赠给 Apache 软件基金会。Airflow 的主要特点是以代码方式定义任务及其依赖关系，支持任务的调度和监控，适合处理复杂的大数据任务。

Airflow 的特点

以代码为中心

Airflow 使用 Python 定义 DAG，提供灵活性和可编程性。

扩展性强

用户可以自定义 Operator 和 Hook，集成各种数据源和工具。

强大的 UI 界面

提供可视化界面监控任务状态、查看日志、重试失败任务等。

丰富的调度选项

支持基于时间 (Time-based) 和事件 (Event-based) 的调度。

高可用性

配合 Celery 和 Kubernetes 等执行器，支持分布式架构，适合处理大规模任务。

使用场景

数据管道调度

用于管理数据从源到目标的 ETL 流程。如每天从数据库中抽取数据、清洗后存入数据仓库。

机器学习工作流管理

调度数据预处理、模型训练和模型部署任务。

数据验证

自动化检查数据的质量和一致性。

定期任务自动化

定时清理日志、归档数据或生成报告。

Airflow安装部署

安装依赖

CentOS 7.x
Python 3.5 以上版本
MYSQL 5.7.x
Apache-Airflow 1.10.11
虚拟机可上网，需要在线安装包

备注：后面要安装三个软件Airflow、Atlas、Griffin，相对Hadoop的安装都较为复杂

正式安装软件之前给虚拟机做一个快照
按照讲义中指定的软件安装
按照讲义的步骤执行对应的命令，命令的遗漏会对后面的安装造成影响

shell 复制代码

pip install apache-airflow -i https://pypi.tuna.tsinghua.edu.cn/simple

# 后续不一定需要 如果报错 根据缺少的依赖补齐即可
# 不一定需要
pip install mysqlclient -i https://pypi.tuna.tsinghua.edu.cn/simple
# 不一定需要
pip install SQLAlchemy -i https://pypi.tuna.tsinghua.edu.cn/simple

安装过程如下所示：

环境变量

shell 复制代码

# 设置目录（配置文件）
# 添加到配置文件/etc/profile。未设置是缺省值为 ~/airflow
export AIRFLOW_HOME=/opt/servers/airflow

配置的结果如下所示：

初始化环境

shell 复制代码

airflow initdb

执行结果如下所示：

此时我们修改配置文件：

shell 复制代码

vim /opt/servers/airflow/airflow.cfg

查看 sql_alchemy_conn，修改一下内容：

shell 复制代码

mysql://hive:hive%%40wzk.icu@h122.wzk.icu:3306/airflow_db

修改的内容如下所示：修改之后，保存，重新执行初始化操作（需要在数据库中确认已经建立了 airflow_db）

shell 复制代码

airflow db init

可以看到顺利的执行执行了

查看数据库

可以看到数据库中的表已经通过刚才的指令生成出来了：

创建用户

shell 复制代码

airflow users create \
   --username wzkicu \
   --firstname wzk \
   --lastname icu \
   --role Admin \
   --email airflow@wzk.icu

生成结果如下图所示：

启动服务

shell 复制代码

airflow scheduler -D
airflow webserver -D

启动结果如下图：启动结果如下图：

访问服务

shell 复制代码

http://h122.wzk.icu:8080

可以看到访问结果如下所示：输入刚才创建的账号和密码：

Web界面

Trigger Dag：人为执行触发
TreeView：当dag执行的时候，可以点入，查看每个Task的执行状态（基于树状视图），状态：success、running、failed、skipped、retry、queued、no status
Graph View：基于图视图（有向无环图）查看每个Task的执行状态
Tasks Duration：每个Task的执行时间统计，可以选择最近多少次执行
Task Tries：每个Task的重试次数
Gantt View：基于甘特图的视图，每个Task的执行状态
Code View：查看任务执行代码
Logs：查看执行日志，比如失败原因
Refresh：刷新dag任务
DELETE Dag：删除该Dag任务

错误速查

症状	根因	定位	修复
airflow initdb 可执行，但后面又用了 airflow db init	Airflow 1.10.11 与 2.x 命令混用	先执行 airflow version	统一全文版本，只保留一套命令体系。
airflow users create 报命令不存在	实际安装的是 1.10.x	airflow --help 查看子命令	若写 1.10.11，改为对应的用户管理方式；若写 2.x，前文版本与安装命令同步改掉。
pip install apache-airflow 后安装结果不一致	未锁定具体版本与依赖约束	pip show apache-airflow	显式指定版本，避免"今天能装、明天报错"。
airflow db init 连接 MySQL 失败	sql_alchemy_conn 配置错误、数据库未创建、权限不足	检查 airflow.cfg、MySQL 库表与授权	先建库，再校验连接串、用户名密码、主机连通性。
MySQL 密码中含特殊字符后连接异常	URL 编码处理不一致	检查密码是否含 @、% 等字符	使用正确编码后的连接串，并与当前 Airflow/SQLAlchemy 版本匹配。
Web 页面打不开 http://host:8080	webserver 未启动、端口未放通、服务监听异常	ps、日志、端口监听	确认 airflow webserver -D 成功，检查防火墙、安全组、反向代理。
scheduler 启动了但 DAG 不执行	DAG 文件未加载、解析报错、调度器异常	Web UI、scheduler 日志、DAG 目录	检查 DAG 路径、Python 语法、依赖导入与调度器日志。
数据库表没生成	初始化命令没真正成功	查看执行日志与元数据库表	确认元数据库连通后重新初始化。
页面可登录但功能异常	版本、依赖或元数据库迁移状态不一致	查看 Web 日志、DB 表结构	保证 Airflow 版本、数据库结构、命令体系一致。

其他系列

🚀 AI篇持续更新中（长期更新）

AI炼丹日志-29 - 字节跳动 DeerFlow 深度研究框斜体样式架私有部署测试上手架构研究 ，持续打造实用AI工具指南！ AI研究-132 Java 生态前沿 2025：Spring、Quarkus、GraalVM、CRaC 与云原生落地

💻 Java篇持续更新中（长期更新）

Java-218 RocketMQ Java API 实战：同步/异步 Producer 与 Pull/Push Consumer MyBatis 已完结，Spring 已完结，Nginx已完结，Tomcat已完结，分布式服务已完结，Dubbo已完结，MySQL已完结，MongoDB已完结，Neo4j已完结，FastDFS 已完结，OSS已完结，GuavaCache已完结，EVCache已完结，RabbitMQ已完结，RocketMQ正在更新... 深入浅出助你打牢基础！

📊 大数据板块已完成多项干货更新（300篇）：

包括 Hadoop、Hive、Kafka、Flink、ClickHouse、Elasticsearch 等二十余项核心组件，覆盖离线+实时数仓全栈！ 大数据-278 Spark MLib - 基础介绍机器学习算法梯度提升树 GBDT案例详解