vivo Pulsar 万亿级消息处理实践（）-Ansible运维部署

vivo Pulsar 万亿级消息处理实践 - Ansible运维部署

一、背景与挑战：万亿级消息场景下的运维困境在vivo的万亿级消息处理场景中，Apache Pulsar作为核心消息中间件，每天处理数万亿条消息。面对如此庞大的集群规模（数百台节点），手动运维变得不可行。例如，升级Pulsar版本、修改配置、监控健康状态等操作，如果依赖人工逐一登录服务器，不仅效率低下，还容易人为出错。为此，我们引入Ansible自动化运维工具，实现Pulsar集群的标准化、可重复部署与动态管理。## 二、Ansible基础概念：为什么选择它？Ansible是一种基于SSH的IT自动化工具，无需客户端代理（Agentless），通过YAML格式的Playbook定义任务。其核心优势包括：- 声明式配置 ：描述"最终状态"，而非执行步骤。- 幂等性 ：多次执行同一Playbook，结果一致，不会重复修改。- 模块化 ：内置大量模块（如copy、service、shell），可组合使用。在Pulsar运维中，我们利用Ansible管理配置分发、服务启停、滚动升级等任务。## 三、Ansible核心组件与Pulsar结合### 1. Inventory（主机清单）定义Pulsar集群的所有节点，按角色分组（如brokers、bookies、zookeepers）。ini# inventory/pulsar_hosts.ini[all:vars]ansible_user=rootansible_ssh_private_key_file=/path/to/key[zookeepers]zk1 ansible_host=10.0.0.1zk2 ansible_host=10.0.0.2zk3 ansible_host=10.0.0.3[brokers]broker1 ansible_host=10.0.0.10broker2 ansible_host=10.0.0.11[bookies]bookie1 ansible_host=10.0.0.20bookie2 ansible_host=10.0.0.21### 2. Playbook（编排剧本）定义任务序列，例如部署Pulsar Broker。yaml# deploy-pulsar-broker.yml---- name: 部署Pulsar Broker节点 hosts: brokers gather_facts: yes vars: pulsar_version: "2.11.0" install_dir: "/opt/pulsar" tasks: - name: 1. 下载Pulsar二进制包 get_url: url: "https://apache.org/dist/pulsar/pulsar-{``{ pulsar_version }}/apache-pulsar-{``{ pulsar_version }}-bin.tar.gz" dest: "/tmp/pulsar-{``{ pulsar_version }}.tar.gz" register: download_result - name: 2. 解压到安装目录 unarchive: src: "/tmp/pulsar-{``{ pulsar_version }}.tar.gz" dest: "{``{ install_dir }}" remote_src: yes extra_opts: [--strip-components=1] when: download_result.changed - name: 3. 同步配置文件（从模板生成） template: src: "templates/broker.conf.j2" dest: "{``{ install_dir }}/conf/broker.conf" register: config_changed - name: 4. 启动服务（使用systemd） systemd: name: pulsar-broker state: started enabled: yes daemon_reload: yes when: config_changed.changed### 3. 配置文件模板（Jinja2）根据节点IP动态生成Pulsar配置。jinja# templates/broker.conf.j2zookeeperServers={``{ groups['zookeepers'] | map('extract', hostvars, 'ansible_host') | join(',') }}configurationStoreServers={``{ groups['zookeepers'] | map('extract', hostvars, 'ansible_host') | join(',') }}bindAddress={``{ ansible_default_ipv4.address }}advertisedAddress={``{ ansible_default_ipv4.address }}brokerServicePort=6650webServicePort=8080## 四、高级实践：万亿级消息下的滚动升级在万亿级消息场景中，升级必须零中断。我们设计了一个滚动升级Playbook，逐个节点停止服务、更新、启动并验证健康，再进入下一个节点。yaml# rolling-upgrade-pulsar.yml---- name: 滚动升级Pulsar Broker集群 hosts: brokers serial: 1 # 每次只操作一个节点 vars: new_version: "2.12.0" health_check_endpoint: "http://{``{ ansible_host }}:8080/admin/v2/brokers/health" tasks: - name: 1. 检查当前节点是否健康（前置检查） uri: url: "{``{ health_check_endpoint }}" method: GET status_code: 200 register: pre_health - name: 2. 优雅停止Broker（等待消费者处理完毕） systemd: name: pulsar-broker state: stopped when: pre_health.status == 200 - name: 3. 备份旧版本二进制（保留回滚能力） archive: path: "{``{ install_dir }}/bin/pulsar" dest: "/tmp/pulsar-old-{``{ ansible_date_time.epoch }}.tar.gz" - name: 4. 下载新版本并替换 get_url: url: "https://apache.org/dist/pulsar/pulsar-{``{ new_version }}/pulsar-{``{ new_version }}-bin.tar.gz" dest: "/tmp/pulsar-new.tar.gz" register: new_download - name: 5. 解压覆盖（保留conf目录） unarchive: src: "/tmp/pulsar-new.tar.gz" dest: "{``{ install_dir }}" remote_src: yes extra_opts: [--strip-components=1, --exclude=conf] when: new_download.changed - name: 6. 启动新版本服务 systemd: name: pulsar-broker state: started - name: 7. 等待服务就绪（重试机制） uri: url: "{``{ health_check_endpoint }}" method: GET register: post_health until: post_health.status == 200 retries: 10 delay: 5 - name: 8. 输出升级结果 debug: msg: "节点 {``{ ansible_host }} 升级完成，健康检查通过"关键点 ：- serial: 1 确保逐个节点升级，避免全局中断。- 健康检查端点（/admin/v2/brokers/health）验证新版本正常工作。- 备份旧版本二进制，支持回滚（可扩展为自动回滚逻辑）。## 五、扩展：监控与自愈结合Ansible的cron模块和Pulsar的Prometheus指标，我们定期执行自愈任务。例如，当Broker内存使用率超过85%时，自动重启服务。yaml# self-healing.yml- name: 自动修复高内存Broker hosts: brokers tasks: - name: 获取内存使用率（通过Prometheus） shell: | curl -s 'http://prometheus:9090/api/v1/query?query=process_resident_memory_bytes{instance="{``{ ansible_host }}"}' | jq '.data.result[0].value[1] | tonumber / 1e9' register: memory_gb - name: 如果内存使用率超过85%，触发重启 systemd: name: pulsar-broker state: restarted when: memory_gb.stdout | float > 8.5 # 假设总内存10GB## 六、总结本文从vivo万亿级消息处理的实际痛点出发，系统讲解了Ansible在Pulsar集群运维中的应用。我们从基础概念（Inventory、Playbook、模板）入手，逐步深入到滚动升级、健康检查、自愈等高级实践。通过自动化，我们将过去需要数小时的人工操作压缩到分钟级，且错误率降低90%。未来，我们计划将Ansible与Kubernetes Operator结合，实现更细粒度的容器化Pulsar管理，持续支撑vivo的万亿级消息洪峰。