分布式

数智启示录4 小时前
数据库·经验分享·分布式·缓存·面试·kafka·apache
Apache Kafka Consumer 扩到 40 个仍不提速:Partition 上限锁死有效并行度 【Kafka合集】告警显示 Lag 上升,值班同学把 Consumer 从 12 个扩到 40 个,吞吐没变,数据库连接却被打满。问题不是 Kafka 不支持水平扩展,而是实例数已经超过可用分区,并把瓶颈推向了下游。
数智启示录4 小时前
数据库·经验分享·分布式·mysql·面试·kafka·apache
Apache Kafka 幂等 Producer 的边界:Exactly-Once 到了 MySQL 为什么失效 【Kafka合集】订单消费者先提交 MySQL,再发布积分事件;进程恰在两步之间崩溃。恢复后重放订单,积分被再次发放。Producer 的幂等开关没有失效——它根本看不见这次业务重放。
数智启示录4 小时前
经验分享·分布式·面试·kafka·apache
Apache Kafka 不只是消息队列:日志与 Offset 分离如何让事件可重放 【Kafka合集】风控规则上线后,团队发现过去七天漏判了一类订单。订单服务没有重发接口,直接扫描业务库又会冲击线上。此时系统能否补算,不取决于消费者还能不能启动,而取决于七天前的事件是否仍在、消费位置能否独立回退、重复副作用是否可控。
数智启示录4 小时前
大数据·数据库·经验分享·分布式·面试·kafka·apache
Apache Kafka 同 Key 仍会乱序:从分区 Offset 到业务可见的四道边界 【Kafka 合集】同一订单的“已支付”先在页面出现,“已创建”随后才到。团队确认两条消息 Key 都是订单号,于是把问题归因给 Kafka。可同 Key 只约束分区映射,不替应用生成顺序,也不替下游串行提交。
BYSJMG5 小时前
大数据·hadoop·分布式·信息可视化·spark·kmeans·课程设计
大数据毕业设计选题推荐:基于大数据的全球气温历史演变分析与可视化,用Hadoop+Spark处理精彩专栏推荐订阅:在下方主页👇🏻👇🏻👇🏻👇🏻💖🔥作者主页:计算机毕设木哥🔥 💖
爱吃苹果的梨叔5 小时前
人工智能·分布式·python
AI 算力监控中心怎么建?分布式坐席 + 大屏联动 + 过程回放一句话回答:AI 算力监控中心要同时看「算力平台、网络、动环、安防、业务系统」多路信号,多坐席协同,大屏统一呈现,并且出事能回放复盘。分布式坐席系统 + 可视化管理平台 + 视频回放系统,是这类监控中心的标配架构。
無a伟5 小时前
分布式·rabbitmq
RabbitMQ :与AMQP的关系、核心组件、交换机类型目录一、RabbitMQ 与 AMQP 协议的关系1. 什么是 AMQP 协议?二、RabbitMQ 五大核心组件
jyOverQ9 小时前
分布式·后端·rabbitmq
RabbitMQ 消息积压怎么办?Prefetch、消费者并发与扩容前面我们已经把 RabbitMQ 的主要功能基本讲完了:以及消息可靠性:但真正把 RabbitMQ 用到业务中以后,还会遇到一个非常现实的问题:
爱浦路 IPLOOK20 小时前
网络·分布式·科技·5g·信息与通信
矿山无人化作业5G专网方案:企业专网核心网络选型分析矿山无人化作业正在从试点走向规模化落地,无人驾驶矿卡、远程操控采掘设备、无人机巡检、人员与设备定位等业务,对通信网络的时延、可靠性、覆盖范围和安全隔离能力提出了远高于消费级网络的严格要求。传统Wi-Fi和公网连接在带宽、时延稳定性、终端接入规模上难以满足矿山复杂工况,面向无人化作业的5G专网成为矿山智能化转型的核心底座。而专网方案能否真正落地,关键在于核心网络的选择与部署架构。
实战派K8S&DB21 小时前
数据库·人工智能·分布式·tidb
如何在内网配置 TiDB 数据库 Agent昨天的文章已经实现了通过 FastAPI + OpenAI + pyTiDB 的方式搭建 Agent 智能体,也在文章结尾演示了在聊天框中操作数据库。但是因为此种方式要手写一个 FastAPI http 接口,加上 Centos 7.9 的系统,GCC 和 Python 版本都较低,操作相对复杂。
实战派K8S&DB21 小时前
运维·数据库·分布式·云原生·tidb·fastapi
《基于 Dify + FastAPI + PyTiDB 搭建大模型驱动的 TiDB 智能运维 Agent》这两天一直在本地环境折腾数据库 Agent 的落地。本来是打算搞 Dify 适配达梦的 MCP-Server 方案,但是搞了许久最后还是没搞成功。 想到少安在群里说可以试试 pyTiDB,于是今天上午换成 TiDB 官方的 pyTiDB 数据访问层,结合 FastAPI 封装微服务,再与 Dify Agent 进行全流程打通,终于成功构建出了一套支持自然语言交互的 TiDB 自动化运维助手。
小白羊丨1 天前
分布式·kafka
Kafka任务重试、退避与失败恢复怎么做?我会把 Kafka 任务失败处理拆成四层:整体流程可以设计为:核心原则是:Kafka 中需要先区分两种性质完全不同的重试。
jyOverQ1 天前
分布式·后端·rabbitmq·ruby
RabbitMQ 延迟消息怎么实现?TTL 与死信队列前面我们已经讲过 RabbitMQ 的死信队列:当时主要用它处理:但死信机制还有一个非常经典的用途:实现延迟消息。
zcmodeltech1 天前
分布式·stm32·单片机·嵌入式硬件·交互
工程车模型多车型动作控制系统设计与实现方案——基于STM32与Modbus RTU的挖掘机、装载机、自卸车、起重机、电力工程车全场景控制方案,服务范围覆盖全国一、项目背景 工程车模型是工程机械企业展厅、行业展会、教学实训的核心展示载体。挖掘机、装载机、自卸车、起重机、推土机、压路机、绝缘斗臂车、电力抢修车……工程机械设备体型庞大、结构复杂,无法频繁用于展会巡展、展厅陈列、教学培训等场景。高精度工程车模型能够等比例还原设备外观结构、作业形态与核心功能,替代真机完成多场景展示。
StevenSurpass1 天前
分布式·mqtt·http·中间件·打印·fastreport
智能工厂场景:FastPrintAgent 分布式打印中间件落地应用方案很多 MES 项目演示环境打印一切正常,上线到真实车间就故障频发,这些问题大多不是 MES 业务逻辑的 bug,而是打印层的坑:
江畔柳前堤2 天前
大数据·javascript·图像处理·人工智能·分布式·智慧城市·原型模式
具身智能全景深度指南(2026年9月版):从“会聊天的AI“到“能干活的机器“一句话定义:具身智能(Embodied AI)= 给AI装上身体,让智能体通过物理实体与真实世界交互,实现"感知—理解—决策—行动—反馈"的完整闭环。
夕除2 天前
笔记·分布式·学习
redis--010Redis 主从模式下,锁写入 master 后,还没同步到 slave 节点,master 宕机,slave 晋升为新主库。锁数据丢失,其他客户端可以重新拿到锁,锁失效,出现并发安全问题。
寻求出路的程序媛2 天前
分布式·后端·面试·性能优化
分布式 & 高性能 & 高可用 体系、学习重点、面试点“分布式、高性能、高可用”可以理解成后端架构能力的三根主线,他们不是三个独立模块,而是一套围绕规模与故障设计的系统体系,也是一套系统从“能拆开跑、跑得快、坏了还能跑”三个角度建立起来的能力体系:
东小黑2 天前
分布式·rabbitmq
mac安装RabbitMQ从技术上讲,RabbitMQ是一个实现了 AMQP(高级消息队列协议) 的开源消息代理软件(也叫消息中间件)。
zhougl9962 天前
分布式·微服务·zookeeper
从ZooKeeper到微服务生态:分布式协调核心原理在微服务、大数据分布式架构普及的当下,服务节点协同、配置统一管理、集群高可用、分布式并发控制等问题,是所有分布式系统绕不开的核心痛点。而 ZooKeeper 作为经典的分布式协调中间件,是解决这类问题的基石组件。