技术栈
分布式
汪小哥
18 分钟前
分布式
·
kafka
kafka 初识
文章摘要:本文从作者接触MQ技术的经历谈起,对比了ActiveMQ、RocketMQ和Kafka的异同,重点介绍了Spring Kafka的基础入门配置。文章详细讲解了Maven依赖配置、Spring自动装配数据、KafkaTemplate使用、@MessageListener注解以及自定义Container的实现方法,为Java开发者提供了实用的Spring Kafka配置指南。
Shan1205
19 分钟前
分布式
分布式锁的优势与互斥性
分布式锁的优势:经过多年的摸索,就如何提升正确性、保证锁的可用性以及提升锁的切换效率方面积累比较多的经验,将从以下三个层面介绍分布式锁最佳使用方式。
段一凡-华北理工大学
1 小时前
大数据
·
人工智能
·
hadoop
·
分布式
·
学习
·
架构
·
高炉炼铁
工业领域的Hadoop架构学习~系列文章18:制造业Hadoop应用实践 - 从数据到智能的完整闭环
导言:制造业是Hadoop大数据技术最重要的应用领域之一。本期结合真实的智能制造场景,深入讲解生产质量分析、设备预测性维护、工艺参数优化、能源管理等典型应用,从业务需求到技术实现,完整呈现Hadoop在制造业的落地实践。
暗夜猎手-大魔王
1 小时前
分布式
转载--Hermes Agent 企业级分布式部署方案
原文连接:https://mp.weixin.qq.com/s/fcx0JAnLGrHCvrtpENBKkw
heimeiyingwang
1 小时前
分布式
·
缓存
·
架构
【架构实战】日志体系设计:从ELK到可观测性的演进
2020年,用户反馈下单失败,但监控系统一切正常。我登录服务器,用grep查日志。结果发现日志分散在8台机器上,每台机器的日志格式还不一样。花了2小时才找到报错的那条日志,又花了2小时才定位到原因——一个第三方支付接口超时。
段一凡-华北理工大学
2 小时前
大数据
·
人工智能
·
hadoop
·
分布式
·
学习
·
架构
·
高炉炼铁
工业领域的Hadoop架构学习~系列文章17:Hadoop性能调优- 调度集群每一分性能
导言:Hadoop集群的性能优化是一项系统工程,需要从JVM参数、内存管理、网络配置、磁盘IO等多个维度综合调优。本期深入剖析Hadoop各组件的性能瓶颈,详细讲解HDFS读写优化、YARN资源调度优化、MapReduce/Spark作业调优,并给出实战案例和监控方法。
我是一颗柠檬
2 小时前
java
·
分布式
·
kafka
·
linq
【Java项目技术亮点】Kafka异步写+写聚合:吞吐量提升10倍的消息队列优化秘籍
每秒10万条日志埋点,Kafka集群CPU飙满,消息堆积如山——这就是高并发写入的噩梦。本文将揭秘大厂如何通过异步写+写聚合策略,让Kafka吞吐量从1万飙升到10万,轻松应对海量数据写入。
闪电悠米
2 小时前
数据库
·
分布式
·
oracle
·
junit
·
wpf
·
lua
黑马点评-秒杀优化-03_blocking_queue_async_order
本文继续整理黑马点评 Redis 实战篇第 6 章「秒杀优化」。上一篇讲了 Lua 如何在 Redis 中完成库存和一人一单判断。
真实的菜
3 小时前
redis
·
分布式
·
架构
Redis 从入门到精通(六):集群模式(Cluster)—— 分布式架构、哈希槽与 Gossip 协议全解
主从复制SentinelCluster单机 Redis 容量=单机内存 无高可用主从模式 读写分离 手动故障转移
我是一颗柠檬
3 小时前
java
·
redis
·
分布式
·
缓存
【Redis】Redis分布式锁Day13(2026年)
在分布式系统中,多个服务实例可能同时访问共享资源,如何保证同一时刻只有一个实例能操作资源?分布式锁是解决这个问题的经典方案。今天我们来深入学习Redis分布式锁的实现原理和最佳实践。
闪电悠米
20 小时前
java
·
数据库
·
ide
·
redis
·
分布式
·
缓存
·
intellij-idea
黑马点评-秒杀优化-01_async_seckill_idea
本文整理黑马点评 Redis 实战篇第 6 章「秒杀优化」。这一篇只聚焦第 6 章的起点:为什么已经有了乐观锁、一人一单、分布式锁之后,还要继续做“Redis 预检 + 异步下单”?
闪电悠米
21 小时前
开发语言
·
redis
·
分布式
·
缓存
·
junit
·
wpf
·
lua
黑马点评-秒杀优化-02_lua_precheck
本文继续整理黑马点评 Redis 实战篇第 6 章「秒杀优化」。上一篇讲清楚了为什么秒杀接口不能一直让请求线程同步查库、扣库存、创建订单。
2301_77364362
1 天前
分布式
·
ceph
ceph分布式存储
ceph分布式存储安装虚拟机并配置osd删除主机删除ceph orch daemon rm $daemon --force;done
Solis程序员
1 天前
redis
·
分布式
·
架构
·
kafka
·
canal
解决双写不一致!Canal+Outbox+Kafka 高可靠事件驱动架构
一个"关注"操作背后,到底该写几次数据库、更新几层缓存?本文聊聊我在项目中基于 Outbox 模式的事件驱动实践。
东方巴黎~Sunsiny
1 天前
redis
·
分布式
·
rocketmq
实战:RocketMQ 幂等 + Redis 分布式锁 + 异常重试 保姆级教程
本文基于真实代码,讲解如何使用 RocketMQ + Redis + 多线程批量更新 实现一个高可靠、防重复、防并发、支持自动重试的固薪分摊系统。
电商API_18007905247
1 天前
大数据
·
分布式
·
架构
·
数据挖掘
·
网络爬虫
高可用采集架构:分布式定时抓取淘宝商品详情项目设计
摘要:在电商竞品监控、商品价格巡检、库存异动分析、店铺数据复盘等业务场景中,单机爬虫存在抓取效率低、定时精度差、单点故障频发、极易被平台限流封禁等问题。本文聚焦淘宝商品详情规模化定时采集场景,从零设计一套高可用、高并发、可容错、可扩展的分布式定时采集架构,涵盖任务调度、分布式爬虫、代理池治理、限流熔断、异常重试、数据一致性、日志监控全链路设计,解决传统单机采集的痛点,适配十万级商品定时轮采业务需求,可直接落地企业级电商数据采集项目。
heimeiyingwang
1 天前
分布式
·
架构
【架构实战】线程池设计:高并发系统的资源管理艺术
2021年,我们一个新人写了一段代码:看起来没问题对吧?但他没考虑一点:orders有10万条,每条任务要处理3秒。
一个骇客
1 天前
分布式
·
架构
分布式批处理:当你的单机脚本跑了一天一夜还没出结果
每天早上,运营小姐姐都会在群里催:“销售大屏数据怎么还没出来?”你看着终端里那个跑了一整晚的awk命令,光标还在可怜巴巴地闪烁。没错,你遇到了所有后端工程师迟早会撞上的南墙——单机处理能力到头了。
小蒋学算法
1 天前
数据库
·
redis
·
分布式
redis分布式锁实现
1、底层结构:map 2、实现方式是lua脚本+map 3、实现逻辑:map不存在,创建map并创建key-value,加锁成功,若map存在,判断key是否为请当前线程,是当前线程则value+1,value+1用于支持可重入,如果key不是当前线程,则返回过期时间
珠***格
1 天前
大数据
·
人工智能
·
分布式
·
能源
·
边缘计算
四可装置核心技术:高精度采集、边缘计算、协议自适应
在新型电力系统建设与物联网技术深度融合的背景下,“可观、可测、可控、可调”的四可装置已成为能源管控、工业监测等领域的核心支撑设备。其核心竞争力源于三大关键技术——高精度采集、边缘计算、协议自适应,三者协同联动,结合传感、计量、通信、边缘智能及多协议兼容能力,破解了传统装置数据不准、响应滞后、设备互联不畅等痛点,构建起高效、可靠、灵活的运行管控体系,为各类场景的智能化升级提供了坚实技术保障。