Airflow docker 部署

检查配置

复制代码
docker run --rm "debian:bookworm-slim" bash -c 'numfmt --to iec $(echo $(($(getconf _PHYS_PAGES) * $(getconf PAGE_SIZE))))'

下载compose yaml

复制代码
curl -LfO 'https://airflow.apache.org/docs/apache-airflow/3.1.5/docker-compose.yaml'

更新docker-compose变量 到env

echo -e "AIRFLOW_UID=$(id -u)" > .env

创建需要的文件夹

mkdir -p ./dags ./logs ./plugins ./config

chmod -R 777 ./config

创建airflow.cfg

复制代码
docker compose run airflow-cli airflow config list

初始化数据库

docker compose up airflow-init

清除前面初始化带来的文件

docker compose down --volumes --remove-orphans

正式启动

复制代码
docker compose up

不加载airflow样例dag

在docker-compose的x-airflow-common的环境变量里面有

AIRFLOW__CORE__LOAD_EXAMPLES

设置为false

如果启动时忘记改了,想要删除,在server中执行airflow dags list命令查看现有的所有dags

bundle_name是example_dags或fileloc是在python site-packages/airflow/example_dags下的就是样例,删除他们,修改compose yaml的load examples配置项为false,重启容器。

文档

在 Docker 中运行 Airflow --- Airflow 文档 - Airflow 工作流管理平台

相关推荐
Lonely 净土4 小时前
Linux 运维文件写入操作
linux·运维·服务器·文件管理
飞英思特无线充电5 小时前
严苛场景巡检机器人的无线补能设计:点位、BMS、认证与运维边界
运维·机器人
Jimmy_jimi6 小时前
利用nginx代理完成url重定位
运维·nginx
卷无止境6 小时前
Windows 上丝滑开发 Python,并稳定构建 Docker 镜像
后端·python·docker
liuyicenysabel6 小时前
多服务上线日记三:
运维·服务器·笔记·学习
一只鹿鹿鹿7 小时前
大数据中心安全系统解决方案(Word文件)
大数据·运维·物联网·安全·政务
万里侯9 小时前
GitOps 2026年演进趋势:从配置管理到环境即代码的范式转移及Pull vs Push模型的再思考
微服务·容器·k8s
acd120099 小时前
一次线上OOM排查实录:从jmap到代码重构,我踩过的坑全在这了
容器·重构·kubernetes
领创工作室10 小时前
GitHub Workflows 全面解析:从核心概念到开源实现
运维·github
吕海洋10 小时前
目前可用的docker源2026.08
运维·docker·容器