使用 Temporal 管理和调度 Couchbase SQL 脚本的实际例子

场景描述

目标:使用 Temporal 管理和调度一组 Couchbase SQL 脚本来完成以下任务:

同步数据:从其他数据源同步数据到 Couchbase。

执行数据聚合:运行统计 SQL 查询。

清理过期数据:定期清理 Couchbase 中过期或无效的数据。

提供任务失败的自动重试、定时调度、任务状态跟踪。

实现步骤

  1. Couchbase SQL 脚本准备

sync_data.sql:

INSERT INTO bucket-name (KEY, VALUE)

SELECT META().id, new_data.*

FROM source-bucket new_data

WHERE META().id NOT IN (SELECT RAW META().id FROM bucket-name);

aggregate_data.sql:

SELECT category, COUNT(*) AS count

FROM bucket-name

WHERE type = "product"

GROUP BY category;

cleanup_expired_data.sql:

DELETE FROM bucket-name

WHERE expiration_date < NOW_STR();

  1. 安装依赖

确保安装了以下库:

pip install temporalio couchbase

  1. Temporal Workflow 和 Activity 实现

Temporal 的核心是 Workflow(描述流程)和 Activity(执行具体任务)。

Activity 实现

创建一个 Activity,用来执行 SQL 脚本。

from couchbase.cluster import Cluster, ClusterOptions

from couchbase.auth import PasswordAuthenticator

Couchbase Activity

class CouchbaseActivities:

def init (self, couchbase_host, username, password):

self.cluster = Cluster(

f'couchbase://{couchbase_host}',

ClusterOptions(PasswordAuthenticator(username, password))

)

self.query_service = self.cluster.query_indexes()

复制代码
def execute_sql(self, sql_file_path):
    with open(sql_file_path, 'r') as file:
        query = file.read()
    result = self.query_service.query(query)
    print(f"Executed SQL from {sql_file_path}: {result}")
    return result

Workflow 定义

定义一个 Workflow,描述任务的执行顺序。

from temporalio import workflow

@workflow.defn

class CouchbaseWorkflow:

@workflow.run

async def run(self):

activities = workflow.ActivityStub(CouchbaseActivities)

复制代码
    # 1. 同步数据
    await activities.execute_sql('/path/to/sync_data.sql')

    # 2. 数据聚合
    await activities.execute_sql('/path/to/aggregate_data.sql')

    # 3. 清理过期数据
    await activities.execute_sql('/path/to/cleanup_expired_data.sql')

Worker 实现

将 Workflow 和 Activity 注册到 Temporal Worker。

from temporalio.worker import Worker

from couchbase_activities import CouchbaseActivities

from couchbase_workflow import CouchbaseWorkflow

async def main():

worker = Worker(

host="localhost:7233", # Temporal 服务地址

task_queue="couchbase_task_queue",

workflows=[CouchbaseWorkflow],

activities=[CouchbaseActivities("localhost", "username", "password")]

)

await worker.run()

if name == "main ":

import asyncio

asyncio.run(main())

  1. Workflow 启动代码

使用 Temporal 客户端启动 Workflow。

from temporalio.client import Client

async def main():

client = await Client.connect("localhost:7233")

复制代码
# 启动 Workflow
handle = await client.start_workflow(
    CouchbaseWorkflow.run,
    id="couchbase_sql_workflow",
    task_queue="couchbase_task_queue",
)
print(f"Started workflow with ID: {handle.id}")

if name == "main ":

import asyncio

asyncio.run(main())

Temporal 的特性应用

任务调度:

Temporal 支持定时任务。可以通过 Temporal.schedule 定义定时运行的 Workflow。

自动重试:

每个 Activity 都可以配置重试策略。

from temporalio import activity

@activity.defn(retry_policy=activity.RetryPolicy(max_attempts=3))

async def execute_sql(sql_file_path):

...

任务依赖:

Workflow 中通过顺序执行 Activity 描述任务依赖关系。

可观察性:

使用 Temporal Web 界面查看 Workflow 和 Activity 的运行状态、历史和日志。

使用 Temporal 的优势

高可靠性:即使 Worker 崩溃,Workflow 的状态也能持久化并恢复。

灵活调度:支持定时任务和动态控制流程。

自动重试:内置的失败重试和错误处理机制。

开发简便:通过 Python SDK,快速实现分布式任务调度和管理。

通过 Temporal,Couchbase SQL 脚本的执行不仅具备高可用性和自动化,还可以轻松应对复杂的业务逻辑需求。

相关推荐
热爱编程的小曾29 分钟前
sqli-labs靶场 less 8
前端·数据库·less
THRUSTER1111138 分钟前
MySQL-- 函数(单行函数):数值函数, 字符串函数
数据库·mysql·函数·navicat·单行函数
橙序研工坊44 分钟前
MySQL的进阶语法7(索引-B+Tree 、Hash、聚集索引 、二级索引(回表查询)、索引的使用及设计原则
数据库·sql·mysql
Bruce-li__1 小时前
深入理解Python asyncio:从入门到实战,掌握异步编程精髓
网络·数据库·python
小光学长1 小时前
基于vue框架的智能服务旅游管理系统54kd3(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。
数据库
Bonnie_12151 小时前
07-MySQL-事务的隔离级别以及底层原理
数据库·mysql
ETLCloud数据集成社区1 小时前
ETLCloud是如何通过Oracle实现CDC的?
数据库·oracle·etl·实时数据同步
KATA~2 小时前
解决MyBatis-Plus枚举映射错误:No enum constant问题
java·数据库·mybatis
xyliiiiiL2 小时前
一文总结常见项目排查
java·服务器·数据库
shaoing2 小时前
MySQL 错误 报错:Table ‘performance_schema.session_variables’ Doesn’t Exist
java·开发语言·数据库