Airflow docker 部署

检查配置

复制代码
docker run --rm "debian:bookworm-slim" bash -c 'numfmt --to iec $(echo $(($(getconf _PHYS_PAGES) * $(getconf PAGE_SIZE))))'

下载compose yaml

复制代码
curl -LfO 'https://airflow.apache.org/docs/apache-airflow/3.1.5/docker-compose.yaml'

更新docker-compose变量 到env

echo -e "AIRFLOW_UID=$(id -u)" > .env

创建需要的文件夹

mkdir -p ./dags ./logs ./plugins ./config

chmod -R 777 ./config

创建airflow.cfg

复制代码
docker compose run airflow-cli airflow config list

初始化数据库

docker compose up airflow-init

清除前面初始化带来的文件

docker compose down --volumes --remove-orphans

正式启动

复制代码
docker compose up

不加载airflow样例dag

在docker-compose的x-airflow-common的环境变量里面有

AIRFLOW__CORE__LOAD_EXAMPLES

设置为false

如果启动时忘记改了,想要删除,在server中执行airflow dags list命令查看现有的所有dags

bundle_name是example_dags或fileloc是在python site-packages/airflow/example_dags下的就是样例,删除他们,修改compose yaml的load examples配置项为false,重启容器。

文档

在 Docker 中运行 Airflow --- Airflow 文档 - Airflow 工作流管理平台

相关推荐
jarreyer6 小时前
【AI Agent】大模型自动化载体
运维·自动化
xixingzhe26 小时前
SpringBoot + Nginx 免鉴权接口安全防护方案
运维·nginx·安全
翼龙云_cloud7 小时前
阿里云国际代理商:阿里云 ECS 全维度监控配置教程
运维·阿里云·云计算·监控
Tronlong创龙7 小时前
SBC-TL3588 单板机 / EPC-TL3588 工控机 Docker 开发手册(二)
docker·开发板·嵌入式开发·硬件开发·工业控制
笑锝没心没肺7 小时前
fail2ban工具安装配置及使用
linux·运维·服务器
zt1985q9 小时前
本地部署开源智能家居集成平台 ioBroker 并实现外部访问( Windows 版本)
运维·服务器·智能家居
大卡片9 小时前
linux内核驱动开发
linux·运维·驱动开发
心心喵10 小时前
[linux] nohup和pm2的区别 进程保活
linux·运维·服务器
NGINX开源社区11 小时前
F5 NGINX Ingress Controller 5.3.0 新增功能
运维
AI服务老曹12 小时前
视觉算法模型管理完整流程:多版本上线、灰度发布与回滚的落地实践
人工智能·docker·音视频