技术栈
airflow
船长@Quant
16 天前
python
·
量化交易
·
airflow
·
dask
·
工作流编排
·
ta-lib
·
vectorbt
Airflow量化入门系列:第四章 A股数据处理与存储优化
Airflow量化入门系列:第四章 A股数据处理与存储优化本教程系统性地讲解了 Apache Airflow 在 A 股量化交易中的应用,覆盖从基础安装到高级功能的完整知识体系。通过八章内容,读者将掌握 Airflow 的核心概念、任务调度、数据处理、技术指标计算、策略回测及工作流监控、Docker/Kubernetes集成及生产环境优化等关键技能。教程整合 Tushare 数据源、TA-Lib 技术指标库和 VectorBT 策略回测工具,提供丰富实战案例,帮助构建高效、可靠的工作流,助力量化交易实践。
梦想画家
3 个月前
数据集成
·
airflow
·
分析工程
Airflow:深入理解Apache Airflow Task
Apache Airflow是一个开源工作流管理平台,支持以编程方式编写、调度和监控工作流。由于其灵活性、可扩展性和强大的社区支持,它已迅速成为编排复杂数据管道的首选工具。在这篇博文中,我们将深入研究Apache Airflow 中的任务概念,探索不同类型的任务,如何创建它们,以及各种最佳实践。
梦想画家
3 个月前
数据集成
·
airflow
·
数据工程
Airflow:深入理解Apache Airflow 调度器
Apache Airflow 调度器是任何 Airflow 的关键组件,负责管理数据管道中任务的执行。一个经过良好调优的调度器能够确保您的任务高效且可靠地运行。在这篇博客文章中,我们将深入探讨 Airflow 调度器,涵盖其作用、工作原理、配置选项以及优化其性能的最佳实践。
梦想画家
4 个月前
数据集成
·
airflow
·
数据工程
Airflow:HttpSensor实现API驱动数据流程
数据管道工作流通常依赖于api来访问、获取和处理来自外部系统的数据。为了处理这些场景,Apache Airflow提供了HttpSensor,这是一个内置的Sensor,用于监视HTTP请求的状态,并在满足指定条件时触发后续任务。在这篇博文中,我们将深入探讨HttpSensor,涵盖它的特性、用例、实现、自定义和最佳实践。
梦想画家
4 个月前
数据集成
·
airflow
Airflow :快速掌握Database Operator
Apache Airflow是健壮而灵活的开源软件,用于以编程方式编写、调度和监控工作流,在管理复杂的数据流程方面很受欢迎。其中一个功能是它强大的Database Operator,支持与各种数据库,如MySQL, PostgreSQL和Oracle进行交互。在这篇博文中,我们将深入探讨Database Operator,展示它的功能,并提供一个循序渐进的指南来帮助您入门。
梦想画家
4 个月前
数据集成
·
airflow
·
jinja
·
数据工程
Airflow:如何使用jinja模板和宏
本文介绍Airflow模板技术,包括用于场景,jinja基本语法,以及Airflow中如何使用模板实现灵活的任务配置实现,最后通过示例展示如何使用Airflow模板。
梦想画家
4 个月前
ubuntu
·
数据集成
·
airflow
Ubuntu安装Apache Airflow详细指南
本文我们介绍如何在Ubuntu上安装Apache Airflow。Apache Airflow旨在通过编程方式编写、调度和监控工作流。随着数据编排在现代数据工程中变得越来越重要,掌握Apache Airflow等工具可以显著提高您的生产力和效率。
梦想画家
5 个月前
任务调度
·
airflow
·
数据流程编排
Apache Airflow 快速入门教程
Apache Airflow已经成为Python生态系统中管道编排的事实上的库。与类似的解决方案相反,由于它的简单性和可扩展性,它已经获得了普及。在本文中,我将尝试概述它的主要概念,并让您清楚地了解何时以及如何使用它。
IT贫道
1 年前
airflow
Apache Airflow (十四) :Airflow分布式集群搭建及测试
🏡 个人主页:IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客
IT贫道
1 年前
airflow
Apache Airflow (十一) :HiveOperator及调度HQL
🏡 个人主页:IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客
IT贫道
1 年前
airflow
Apache Airflow (十三) :Airflow分布式集群搭建及使用-原因及
🏡 个人主页:IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客
IT贫道
1 年前
airflow
Apache Airflow (九) :Airflow Operators及案例之BashOperator及调度Shell命令及脚本
🏡 个人主页:IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客
IT贫道
1 年前
airflow
Apache Airflow (八) :DAG任务依赖设置
🏡 个人主页:IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客
IT贫道
1 年前
airflow
Apache Airflow (三) :Airflow WebUI操作介绍
🏡 个人主页:IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客
IT贫道
1 年前
airflow
Apache Airflow (二) : Airflow单机搭建
🏡 个人主页:IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客