Airflow docker 部署

检查配置

复制代码
docker run --rm "debian:bookworm-slim" bash -c 'numfmt --to iec $(echo $(($(getconf _PHYS_PAGES) * $(getconf PAGE_SIZE))))'

下载compose yaml

复制代码
curl -LfO 'https://airflow.apache.org/docs/apache-airflow/3.1.5/docker-compose.yaml'

更新docker-compose变量 到env

echo -e "AIRFLOW_UID=$(id -u)" > .env

创建需要的文件夹

mkdir -p ./dags ./logs ./plugins ./config

chmod -R 777 ./config

创建airflow.cfg

复制代码
docker compose run airflow-cli airflow config list

初始化数据库

docker compose up airflow-init

清除前面初始化带来的文件

docker compose down --volumes --remove-orphans

正式启动

复制代码
docker compose up

不加载airflow样例dag

在docker-compose的x-airflow-common的环境变量里面有

AIRFLOW__CORE__LOAD_EXAMPLES

设置为false

如果启动时忘记改了,想要删除,在server中执行airflow dags list命令查看现有的所有dags

bundle_name是example_dags或fileloc是在python site-packages/airflow/example_dags下的就是样例,删除他们,修改compose yaml的load examples配置项为false,重启容器。

文档

在 Docker 中运行 Airflow --- Airflow 文档 - Airflow 工作流管理平台

相关推荐
BY组态1 分钟前
从零开始:Ricon组态系统快速入门指南
运维·物联网·web组态·组态
Barkamin14 分钟前
网络编程套接字
运维·服务器·网络
原来是猿18 分钟前
Linux-【ELF文件】
linux·运维·服务器
似水এ᭄往昔20 分钟前
【Linux】--基础开发工具->gcc/g++
linux·运维·服务器
顶点多余20 分钟前
Linux中库的制作和原理详解
linux·运维·服务器
CSH05621 分钟前
k8s生产集群主机批量重启后,大量Pod启动失败故障排查复盘
docker·容器·kubernetes
feng_you_ying_li24 分钟前
liunx指令的介绍(2)
linux·运维·服务器
柯儿的天空30 分钟前
【OpenClaw 全面解析:从零到精通】第 014 篇:OpenClaw 云端部署实战——阿里云、腾讯云与 Docker 部署全指南
人工智能·阿里云·docker·云计算·aigc·腾讯云·ai写作
AC赳赳老秦31 分钟前
使用OpenClaw tavily-search技能高效撰写工作报告:以人工智能在医疗行业的应用为例
运维·人工智能·python·flask·自动化·deepseek·openclaw
匀泪31 分钟前
云原生(docker网络)
docker·云原生·容器