Airflow docker 部署

检查配置

复制代码
docker run --rm "debian:bookworm-slim" bash -c 'numfmt --to iec $(echo $(($(getconf _PHYS_PAGES) * $(getconf PAGE_SIZE))))'

下载compose yaml

复制代码
curl -LfO 'https://airflow.apache.org/docs/apache-airflow/3.1.5/docker-compose.yaml'

更新docker-compose变量 到env

echo -e "AIRFLOW_UID=$(id -u)" > .env

创建需要的文件夹

mkdir -p ./dags ./logs ./plugins ./config

chmod -R 777 ./config

创建airflow.cfg

复制代码
docker compose run airflow-cli airflow config list

初始化数据库

docker compose up airflow-init

清除前面初始化带来的文件

docker compose down --volumes --remove-orphans

正式启动

复制代码
docker compose up

不加载airflow样例dag

在docker-compose的x-airflow-common的环境变量里面有

AIRFLOW__CORE__LOAD_EXAMPLES

设置为false

如果启动时忘记改了,想要删除,在server中执行airflow dags list命令查看现有的所有dags

bundle_name是example_dags或fileloc是在python site-packages/airflow/example_dags下的就是样例,删除他们,修改compose yaml的load examples配置项为false,重启容器。

文档

在 Docker 中运行 Airflow --- Airflow 文档 - Airflow 工作流管理平台

相关推荐
七夜zippoe9 小时前
CANN Runtime任务描述序列化与持久化源码深度解码
大数据·运维·服务器·cann
金刚猿9 小时前
01_虚拟机中间件部署_root 用户安装 docker 容器,配置非root用户权限
docker·中间件·容器
JH_Kong10 小时前
解决 WSL 中 Docker 权限问题:从踩坑到完整修复
docker·容器
忆~遂愿10 小时前
GE 引擎与算子版本控制:确保前向兼容性与图重写策略的稳定性
大数据·开发语言·docker
Fcy64811 小时前
Linux下 进程(一)(冯诺依曼体系、操作系统、进程基本概念与基本操作)
linux·运维·服务器·进程
袁袁袁袁满11 小时前
Linux怎么查看最新下载的文件
linux·运维·服务器
代码游侠11 小时前
学习笔记——设备树基础
linux·运维·开发语言·单片机·算法
Harvey90311 小时前
通过 Helm 部署 Nginx 应用的完整标准化步骤
linux·运维·nginx·k8s
陈桴浮海12 小时前
Kustomize实战:从0到1实现K8s多环境配置管理与资源部署
云原生·容器·kubernetes
珠海西格电力科技12 小时前
微电网能量平衡理论的实现条件在不同场景下有哪些差异?
运维·服务器·网络·人工智能·云计算·智慧城市