分布式

sql2008help7 分钟前
分布式·kafka
5-Kafka-replication(副本机制)概念✅ 高可用性:Leader 故障秒级切换 ✅ 数据持久性:多副本冗余防数据丢失 ✅ 读写分离:Follower 可处理只读请求(需特殊配置) ⚠️ CAP 权衡:通过 acks 和 min.insync.replicas 平衡一致性与可用性
草履虫建模1 小时前
java·数据库·spring boot·redis·分布式·mysql·缓存
Redis:高性能内存数据库与缓存利器Redis(Remote Dictionary Server)是一款开源的、基于内存的高性能键值存储数据库,由 Salvatore Sanfilippo(antirez)于 2009 年创建,并以 BSD 许可协议发布。与传统的关系型数据库不同,Redis 将数据全部或部分保存在内存中,依靠单线程的事件循环模型处理请求,从而在读写性能上达到亚毫秒级延迟和数百万次请求/秒的吞吐量。
Jay Kay9 小时前
分布式·架构·tensorflow
TensorFlow内核剖析:分布式TensorFlow架构解析与实战指南分布式TensorFlow采用Master-Worker架构实现跨机器协同计算,其核心组件分工如下:Master节点:全局协调者
亿牛云爬虫专家11 小时前
分布式·python·架构·kubernetes·爬虫代理·监测·采集
Kubernetes下的分布式采集系统设计与实战:趋势监测失效引发的架构进化2025年6月20日 10:00 我们团队部署了一个关键词监测任务,意图在平台搜索“AI创业”相关内容并采集前50条热门动态,用于后续的数据分析。
星图易码1 天前
分布式·能源
能源管理综合平台——分布式能源项目一站式监控综合性的能源企业管理面临着项目多、分布散、信息孤岛等问题,分布式的多项目能源在线监控管理平台是一种集成了多个能源项目的数据采集、监控、分析和管理的系统。平台集成GIS能力,能够展示项目的整体分布态势,对不同地点、不同类型的能源项目进行集中监控和管理,包括但不限于水、电、气、暖、冷等。通过实时数据的采集和分析,平台能够优化能源生产、分配和消费,提高能源利用效率,降低运营成本,并支持能源的可持续发展。
群联云防护小杜17 小时前
前端·网络·分布式·tcp/ip·安全·游戏·架构
构建分布式高防架构实现业务零中断单一高防IP在遭遇TCP连接耗尽攻击时,仍可能导致合法用户被挤出连接池。群联高防IP方案在架构设计中体现三大特性:
爱吃面的猫17 小时前
大数据·hadoop·分布式
大数据Hadoop之——Flink1.17.0安装与使用(非常详细)vi /etc/sysconfig/network-scripts/ifcfg-ens32 ---- 根据自己网卡设置。
上上迁19 小时前
java·spring boot·分布式
分布式生成 ID 策略的演进和最佳实践,含springBoot 实现(Java版本)在单体架构中,ID 通常使用数据库自增或 UUID 即可满足需求。但在微服务、分布式环境中,这些方式存在 性能瓶颈、重复冲突、时序不全 等问题。因此,分布式 ID 生成策略应运而生,用于确保在高并发、跨节点、异地部署的系统中,生成全局唯一、趋势递增、高性能的 ID。
长路 ㅤ   19 小时前
分布式·算法·技术分享·编程学习·java后端
Java后端技术博客汇总文档博主介绍:✌目前全网粉丝4W+,csdn博客专家、Java领域优质创作者,博客之星、阿里云平台优质作者、专注于Java后端技术领域。
暗影八度20 小时前
大数据·分布式·spark
Spark流水线数据质量检查组件该组件提供了一个可视化、交互式的数据质量规则设计器,支持多种校验类型和参数配置,便于灵活定义和管理数据校验逻辑。
CodeWithMe21 小时前
分布式·kafka
【Note】《Kafka: The Definitive Guide》 第5章:深入 Kafka 内部结构,理解分布式日志系统的核心奥秘Apache Kafka 在表面上看似只是一个“分布式消息队列”,但其背后的存储架构、分区机制、复制策略与高性能设计,才是它在千万级 TPS 场景中立足的根本。
CodeWithMe1 天前
分布式·kafka
【Note】《Kafka: The Definitive Guide》第一章:Meet Kafka本章是本书的引导章节,目标是介绍 Kafka 是什么、为什么重要、以及它解决了哪些现实问题。本章以一个日常场景(用户在智能手机上叫车)作为引子,引出 Kafka 的核心作用:在多个系统之间实时流动数据,进行解耦与异步通信。
CodeWithMe1 天前
分布式·kafka
【Note】《Kafka: The Definitive Guide》 第二章 Installing Kafka:Kafka 安装与运行本章核心目标是教读者如何在本地搭建 Kafka,包括依赖安装、启动服务、测试运行等操作。Kafka 并不是一个单独运行的进程,它依赖以下两个核心组件:
CodeWithMe1 天前
分布式·kafka
【Note】《Kafka: The Definitive Guide》 第8章: Cross-Cluster Data Mirroring多区域低延迟访问灾备切换集群升级与迁移合规与隔离MirrorMaker 2(以下简称 MM2)基于 Kafka Connect 框架扩展而来,核心组件包括:
Alaia.1 天前
分布式·kafka
【kafka 3.9.1】单机版集群部署并配置kafka的SASL认证利用kafka的特性,进行削峰填谷,保证整个系统的健壮性,缺点是对系统的侵入性大,需要系统改造,目前方案是业务方进行改造,将数据放置在kafka中,下游使用flink进行消费,并最终推送到数据湖中.我这边首先需要部署一个kafka进行使用.
勤奋的知更鸟1 天前
大数据·分布式
Kettle + 大数据实战:从数据采集到分布式处理的完整流程指南Kettle(现已更名为 Pentaho Data Integration,简称 PDI)是一款强大的 可视化 ETL 工具,用于提取(Extract)、转换(Transform)和加载(Load)数据,常用于数据仓库建设、日志采集、离线清洗等场景。
Kookoos1 天前
数据库·分布式·后端·abp vnext·azure cosmos
ABP VNext + Cosmos DB Change Feed:搭建实时数据变更流服务.NET 平台:.NET 6 + / ABP VNext 6.xAzure 资源:Cosmos DB Core API(Source 容器 + Lease 容器)
Bug退退退1234 天前
java·分布式·spring·rabbitmq
RabbitMQ 高级特性之 TTLTTL 即 Time to Live,在 RabbitMQ 中,可以为消息和队列设置过期时间。生产者代码如下:
掘金-我是哪吒2 天前
java·分布式·微服务·云原生·架构
分布式微服务系统架构第156集:JavaPlus技术文档平台日更-Java线程池使用指南点击勘误issues,哪吒感谢大家的阅读为什么不推荐使用Executors?Java线程池是并发编程的重要工具,正确使用线程池可以: