Airflow docker 部署

检查配置

复制代码
docker run --rm "debian:bookworm-slim" bash -c 'numfmt --to iec $(echo $(($(getconf _PHYS_PAGES) * $(getconf PAGE_SIZE))))'

下载compose yaml

复制代码
curl -LfO 'https://airflow.apache.org/docs/apache-airflow/3.1.5/docker-compose.yaml'

更新docker-compose变量 到env

echo -e "AIRFLOW_UID=$(id -u)" > .env

创建需要的文件夹

mkdir -p ./dags ./logs ./plugins ./config

chmod -R 777 ./config

创建airflow.cfg

复制代码
docker compose run airflow-cli airflow config list

初始化数据库

docker compose up airflow-init

清除前面初始化带来的文件

docker compose down --volumes --remove-orphans

正式启动

复制代码
docker compose up

不加载airflow样例dag

在docker-compose的x-airflow-common的环境变量里面有

AIRFLOW__CORE__LOAD_EXAMPLES

设置为false

如果启动时忘记改了,想要删除,在server中执行airflow dags list命令查看现有的所有dags

bundle_name是example_dags或fileloc是在python site-packages/airflow/example_dags下的就是样例,删除他们,修改compose yaml的load examples配置项为false,重启容器。

文档

在 Docker 中运行 Airflow --- Airflow 文档 - Airflow 工作流管理平台

相关推荐
DLYSB_34 分钟前
AIOps 大模型实战:基于 LangChain 运维 Agent 的根因诊断与现场声光播报闭环
运维·langchain·报警灯
一可米2 小时前
gitHub.com Actions自动化发布
运维·自动化·github
智塑未来3 小时前
证券公司智能运维平台哪个品牌做得好?擎创科技智能运维 2.0 适配券商全场景
运维·科技·区块链
java_logo3 小时前
Docker 部署 CUPS Web:浏览器即可管理打印机与打印任务
docker·容器·打印机·轩辕镜像·cups web·cups web 镜像部署·cups web 部署教程
酷可达拉斯4 小时前
自动化运维-ansible配置文件与主机清单
linux·运维·自动化·ansible
来者皆善5 小时前
ZYNQ linux上使用 USB CDC ACM
linux·运维·服务器
4/5$全真龙门5 小时前
廉价易行的内网穿透
运维
数据知道5 小时前
容器安全入门:Docker 逃逸原理与 5 个经典 CVE
安全·网络安全·docker·容器
缓慢更新5 小时前
企业档案管理系统迁移实录:从文件服务器到智能检索引擎
运维·服务器
小北的AI科技分享6 小时前
企业AI开发:从技术选型到落地的关键路径
运维·模型·评估