Mac airflow 开发环境搭建

在 macOS 上搭建 Apache Airflow 开发环境可以通过以下步骤完成。我们将使用 pip 来安装 Airflow,并设置一个简单的开发环境。

1. 安装依赖

确保已经安装了 Homebrew 和 Python 3。如果尚未安装,可以通过以下命令进行安装:

bash 复制代码
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
brew install python

2. 创建虚拟环境

使用 venv 创建一个新的虚拟环境:

bash 复制代码
python3 -m venv airflow_venv
source airflow_venv/bin/activate

3. 设置 Airflow

3.1. 安装 Apache Airflow

Airflow 的安装比较特殊,因为它需要特定的版本和依赖。可以使用以下命令安装 Airflow:

bash 复制代码
# 设置 Airflow 的版本和其他选项
export AIRFLOW_VERSION=2.7.2
export PYTHON_VERSION="$(python --version | cut -d " " -f 2 | cut -d "." -f 1-2)"
export CONSTRAINT_URL="https://raw.githubusercontent.com/apache/airflow/constraints-${AIRFLOW_VERSION}/constraints-3.8.txt"

# 安装 Airflow
pip install "apache-airflow==${AIRFLOW_VERSION}" --constraint "${CONSTRAINT_URL}"

请根据需要调整 AIRFLOW_VERSION 变量的值。

3.2. 初始化数据库

Airflow 支持多种数据库,默认使用 SQLite。可以运行以下命令来初始化数据库:

bash 复制代码
airflow db init

4. 创建用户

在 Airflow 2.x 中,需要创建一个用户来进行 Web 界面的访问:

bash 复制代码
airflow users create \
    --username admin \
    --password admin \
    --firstname Admin \
    --lastname User \
    --role Admin \
    --email [email protected]

5. 启动 Airflow

5.1. 启动 Web 服务器

运行以下命令启动 Airflow 的 web 服务器:

bash 复制代码
airflow webserver --port 8080
5.2. 启动调度器

在另一个终端窗口中(确保仍然在虚拟环境中),运行调度器:

bash 复制代码
airflow scheduler

6. 访问 Airflow Web 界面

打开浏览器,访问 http://localhost:8080 ,使用在创建用户时设置的用户名和密码登录。

7. 创建示例 DAG

可以在 dags 目录中创建的 DAG 文件。例如,创建一个简单的 DAG 文件 example_dag.py

python 复制代码
# airflow/dags/example_dag.py

from airflow import DAG
from airflow.operators.dummy import DummyOperator
from datetime import datetime

default_args = {
    'owner': 'airflow',
    'start_date': datetime(2023, 1, 1),
}

with DAG('example_dag', default_args=default_args, schedule_interval='@daily') as dag:
    start = DummyOperator(task_id='start')
    end = DummyOperator(task_id='end')

    start >> end

将该文件放在 Airflow 的 dags 目录中,通常位于 ~/airflow/dags

8. 验证 DAG

在 Airflow Web 界面中,应该能够看到新创建的 DAG,并可以手动触发它。
询问AI

相关推荐
博观而约取1 天前
Linux 和 macOS 终端中常见的快捷键操作
linux·运维·macos
Alger_Hamlet1 天前
Photoshop 2025 Mac中文 Ps图像编辑软件
macos·ui·photoshop
资源大全免费分享1 天前
MacOS 的 AI Agent 新星,本地沙盒驱动,解锁 macOS 操作新体验!
人工智能·macos·策略模式
刘小哈哈哈1 天前
封装了一个iOS多分区自适应宽度layout
macos·ios·cocoa
YJlio1 天前
TrollStore(巨魔商店)介绍及操作手册
macos·objective-c·cocoa
mywpython1 天前
mac 最新的chrome版本配置selenium的方式
chrome·python·selenium·macos
一道微光2 天前
mac air m系列arm架构芯片安装虚拟机 UTM+debian 浏览器firefox和chrome
arm开发·macos·架构
打工人你好2 天前
libimobiledevice项目中各个库的作用
macos·objective-c·cocoa
1alisa2 天前
Sublime Text for Mac v4【注册汉化版】代码编辑器
macos·编辑器·sublime text
qq_368019662 天前
Mac下Ollama安装与设置:开启本地大模型之旅
macos