大数据-251 离线数仓 - Airflow 安装部署避坑指南:1.10.11 与 2.x 命令差异、MySQL 配置与错误排查

TL;DR

  • 场景:在 CentOS 7 + MySQL 环境部署 Apache Airflow,并梳理基础概念、安装流程与 Web 使用。
  • 结论:当前内容能覆盖入门,但存在明显版本混用,尤其是 Airflow 1.10.11 与 2.x 命令不一致。
  • 产出:补齐版本矩阵与错误速查卡,方便读者按版本正确安装、初始化、建库、建用户和启动服务。

Airflow 基本介绍

Apache Airflow 是一个开源的任务调度和工作流管理工具,用于编排复杂的数据处理任务。最初由 Airbnb 开发,于 2016 年捐赠给 Apache 软件基金会。Airflow 的主要特点是以代码方式定义任务及其依赖关系,支持任务的调度和监控,适合处理复杂的大数据任务。

Airflow 的特点

以代码为中心

Airflow 使用 Python 定义 DAG,提供灵活性和可编程性。

扩展性强

用户可以自定义 Operator 和 Hook,集成各种数据源和工具。

强大的 UI 界面

提供可视化界面监控任务状态、查看日志、重试失败任务等。

丰富的调度选项

支持基于时间 (Time-based) 和事件 (Event-based) 的调度。

高可用性

配合 Celery 和 Kubernetes 等执行器,支持分布式架构,适合处理大规模任务。

使用场景

数据管道调度

用于管理数据从源到目标的 ETL 流程。 如每天从数据库中抽取数据、清洗后存入数据仓库。

机器学习工作流管理

调度数据预处理、模型训练和模型部署任务。

数据验证

自动化检查数据的质量和一致性。

定期任务自动化

定时清理日志、归档数据或生成报告。

Airflow安装部署

安装依赖

  • CentOS 7.x
  • Python 3.5 以上版本
  • MYSQL 5.7.x
  • Apache-Airflow 1.10.11
  • 虚拟机可上网,需要在线安装包

备注:后面要安装三个软件Airflow、Atlas、Griffin,相对Hadoop的安装都较为复杂

  • 正式安装软件之前给虚拟机做一个快照
  • 按照讲义中指定的软件安装
  • 按照讲义的步骤执行对应的命令,命令的遗漏会对后面的安装造成影响
shell 复制代码
pip install apache-airflow -i https://pypi.tuna.tsinghua.edu.cn/simple

# 后续不一定需要 如果报错 根据缺少的依赖补齐即可
# 不一定需要
pip install mysqlclient -i https://pypi.tuna.tsinghua.edu.cn/simple
# 不一定需要
pip install SQLAlchemy -i https://pypi.tuna.tsinghua.edu.cn/simple

安装过程如下所示:

环境变量

shell 复制代码
# 设置目录(配置文件)
# 添加到配置文件/etc/profile。未设置是缺省值为 ~/airflow
export AIRFLOW_HOME=/opt/servers/airflow

配置的结果如下所示:

初始化环境

shell 复制代码
airflow initdb

执行结果如下所示:

此时我们修改配置文件:

shell 复制代码
vim /opt/servers/airflow/airflow.cfg 

查看 sql_alchemy_conn,修改一下内容:

shell 复制代码
mysql://hive:hive%%40wzk.icu@h122.wzk.icu:3306/airflow_db

修改的内容如下所示: 修改之后,保存,重新执行初始化操作(需要在数据库中确认已经建立了 airflow_db)

shell 复制代码
airflow db init

可以看到顺利的执行执行了

查看数据库

可以看到数据库中的表已经通过刚才的指令生成出来了:

创建用户

shell 复制代码
airflow users create \
   --username wzkicu \
   --firstname wzk \
   --lastname icu \
   --role Admin \
   --email airflow@wzk.icu

生成结果如下图所示:

启动服务

shell 复制代码
airflow scheduler -D
airflow webserver -D

启动结果如下图: 启动结果如下图:

访问服务

shell 复制代码
http://h122.wzk.icu:8080

可以看到访问结果如下所示: 输入刚才创建的账号和密码:

Web界面

  • Trigger Dag:人为执行触发
  • TreeView:当dag执行的时候,可以点入,查看每个Task的执行状态(基于树状视图),状态:success、running、failed、skipped、retry、queued、no status
  • Graph View:基于图视图(有向无环图) 查看每个Task的执行状态
  • Tasks Duration:每个Task的执行时间统计,可以选择最近多少次执行
  • Task Tries:每个Task的重试次数
  • Gantt View:基于甘特图的视图,每个Task的执行状态
  • Code View:查看任务执行代码
  • Logs:查看执行日志,比如失败原因
  • Refresh:刷新dag任务
  • DELETE Dag:删除该Dag任务

错误速查

症状 根因 定位 修复
airflow initdb 可执行,但后面又用了 airflow db init Airflow 1.10.11 与 2.x 命令混用 先执行 airflow version 统一全文版本,只保留一套命令体系。
airflow users create 报命令不存在 实际安装的是 1.10.x airflow --help 查看子命令 若写 1.10.11,改为对应的用户管理方式;若写 2.x,前文版本与安装命令同步改掉。
pip install apache-airflow 后安装结果不一致 未锁定具体版本与依赖约束 pip show apache-airflow 显式指定版本,避免"今天能装、明天报错"。
airflow db init 连接 MySQL 失败 sql_alchemy_conn 配置错误、数据库未创建、权限不足 检查 airflow.cfg、MySQL 库表与授权 先建库,再校验连接串、用户名密码、主机连通性。
MySQL 密码中含特殊字符后连接异常 URL 编码处理不一致 检查密码是否含 @、% 等字符 使用正确编码后的连接串,并与当前 Airflow/SQLAlchemy 版本匹配。
Web 页面打不开 http://host:8080 webserver 未启动、端口未放通、服务监听异常 ps、日志、端口监听 确认 airflow webserver -D 成功,检查防火墙、安全组、反向代理。
scheduler 启动了但 DAG 不执行 DAG 文件未加载、解析报错、调度器异常 Web UI、scheduler 日志、DAG 目录 检查 DAG 路径、Python 语法、依赖导入与调度器日志。
数据库表没生成 初始化命令没真正成功 查看执行日志与元数据库表 确认元数据库连通后重新初始化。
页面可登录但功能异常 版本、依赖或元数据库迁移状态不一致 查看 Web 日志、DB 表结构 保证 Airflow 版本、数据库结构、命令体系一致。

其他系列

🚀 AI篇持续更新中(长期更新)

AI炼丹日志-29 - 字节跳动 DeerFlow 深度研究框斜体样式架 私有部署 测试上手 架构研究 ,持续打造实用AI工具指南! AI研究-132 Java 生态前沿 2025:Spring、Quarkus、GraalVM、CRaC 与云原生落地

💻 Java篇持续更新中(长期更新)

Java-218 RocketMQ Java API 实战:同步/异步 Producer 与 Pull/Push Consumer MyBatis 已完结,Spring 已完结,Nginx已完结,Tomcat已完结,分布式服务已完结,Dubbo已完结,MySQL已完结,MongoDB已完结,Neo4j已完结,FastDFS 已完结,OSS已完结,GuavaCache已完结,EVCache已完结,RabbitMQ已完结,RocketMQ正在更新... 深入浅出助你打牢基础!

📊 大数据板块已完成多项干货更新(300篇):

包括 Hadoop、Hive、Kafka、Flink、ClickHouse、Elasticsearch 等二十余项核心组件,覆盖离线+实时数仓全栈! 大数据-278 Spark MLib - 基础介绍 机器学习算法 梯度提升树 GBDT案例 详解

相关推荐
AAA修煤气灶刘哥26 分钟前
32 GB 内存跑起 1800 亿参数模型,代价是什么?
人工智能·后端·架构
SimonKing34 分钟前
零 OCR 依赖!Firecrawl 这个 Rust 库把 Word / PPT / Excel 全变成 Markdown
java·后端·程序员
Rain的Java大神之路34 分钟前
别被 ChatGPT 的打字机效果骗了:一字一字蹦,才是 LLM 自回归的命门(附大厂 Java 流式落地)
java·后端·面试
AAA修煤气灶刘哥37 分钟前
同一个项目,为什么换个 Agent 又得从头解释?
后端·架构·代码规范
AI源码40 分钟前
基于Spark的期刊推荐系统的设计与实现
大数据·分布式·spark
玩美数据1 小时前
海外市场数据分析驱动下的产业趋势演变与竞争格局深度解读
大数据·人工智能
BingoGo1 小时前
PHP 8.6 正式发布
后端·php
JaguarJack2 小时前
PHP 8.6 正式发布
后端·php·服务端
码事漫谈11 小时前
# 2027年,AI终于要开始“干活”了
后端
小满zs11 小时前
Go语言第二十一章(Gin上传文件)
后端·go