Airflow docker 部署

检查配置

复制代码
docker run --rm "debian:bookworm-slim" bash -c 'numfmt --to iec $(echo $(($(getconf _PHYS_PAGES) * $(getconf PAGE_SIZE))))'

下载compose yaml

复制代码
curl -LfO 'https://airflow.apache.org/docs/apache-airflow/3.1.5/docker-compose.yaml'

更新docker-compose变量 到env

echo -e "AIRFLOW_UID=$(id -u)" > .env

创建需要的文件夹

mkdir -p ./dags ./logs ./plugins ./config

chmod -R 777 ./config

创建airflow.cfg

复制代码
docker compose run airflow-cli airflow config list

初始化数据库

docker compose up airflow-init

清除前面初始化带来的文件

docker compose down --volumes --remove-orphans

正式启动

复制代码
docker compose up

不加载airflow样例dag

在docker-compose的x-airflow-common的环境变量里面有

AIRFLOW__CORE__LOAD_EXAMPLES

设置为false

如果启动时忘记改了,想要删除,在server中执行airflow dags list命令查看现有的所有dags

bundle_name是example_dags或fileloc是在python site-packages/airflow/example_dags下的就是样例,删除他们,修改compose yaml的load examples配置项为false,重启容器。

文档

在 Docker 中运行 Airflow --- Airflow 文档 - Airflow 工作流管理平台

相关推荐
考虑考虑8 小时前
docker compose环境变量替换
运维·后端·自动化运维
Java陈序员9 小时前
轻量运维面板!一款现代化的服务器控制面板工具!
运维·服务器·python·react.js·github
bosins9 小时前
WSL 迁移指南:如何将 Linux 环境完整复制到另一台电脑
linux·运维·服务器
IT利刃出鞘9 小时前
Docker Compose--安装WordPress--方法/示例
运维·docker·容器
handler0111 小时前
【Linux】线程与虚拟内存的底层世界
linux·运维·服务器·c++·线程·虚拟地址空间·共享内存
新时代牛马12 小时前
实时 Linux:PREEMPT_RT、延迟来源与观测
linux·运维·服务器
zhexunnb12 小时前
深挖SAP系统模块价值,助力无锡制造企业打通数字化全链路
运维
weipt13 小时前
利用wsl给windows电脑上安装一个ubuntu
linux·运维·ubuntu
jarreyer13 小时前
【软件操作】加快资源管理器打开速度
运维
楚疏笃13 小时前
linux下给OpenCloudOS根目录扩容
linux·运维·服务器