技术栈
分布式
青靴
2 小时前
分布式
·
docker
·
kafka
轻量级 CI/CD 实战(三):Kafka消费者Docker容器化部署
在日志分析系统中,Nginx 日志通过 Filebeat 发送到 Kafka 集群,需部署一个长期运行的消费者程序,将日志解析后写入 MySQL 并缓存到 Redis。
galaxyffang
3 小时前
分布式
·
kafka
·
rocketmq
RocketMQ 为什么性能不如 Kafka?
声明:本文基于up主小白debug的文章进行了一些延伸用于学习,原文章地址 在上篇文章《rocketmq 是什么》中,我们了解到 RocketMQ 的架构其实参考了 kafka 的设计思想,同时又在 kafka 的基础上做了一些调整。看起来,RocketMQ 好像各方面都比 kafka 更能打。
sheji3416
4 小时前
大数据
·
分布式
·
spark
【开题答辩全过程】以 基于Spark的药品库存可视化分析系统为例,包含答辩的问题和答案
个人简介一名14年经验的资深毕设内行人,语言擅长Java、php、微信小程序、Python、Golang、安卓Android等
A尘埃
4 小时前
大数据
·
分布式
·
spark
Spark基于内存计算的数据处理
批处理(Spark Core)流处理(Spark Streaming)交互式查询(Spark SQL)
渣渣盟
5 小时前
分布式
·
flink
·
scala
·
1024程序员节
Flink分布式文件Sink实战解析
目录1. 代码结构代码解析(1) 主程序入口(2) 配置文件 Sink(3) 添加 Sink 到数据流
一叶飘零_sweeeet
5 小时前
分布式
·
kafka
·
rocketmq
从 Kafka 到 RocketMQ:迁移实战全攻略
在分布式消息队列的选型中,Kafka 凭借高吞吐量和生态优势长期占据市场,但 RocketMQ 作为阿里开源的消息中间件,在金融级可靠性、事务消息、本地化支持等方面表现突出。随着业务规模扩大,不少团队面临从 Kafka 向 RocketMQ 迁移的需求 —— 如何平滑过渡?性能差异到底有多大?那些隐藏的坑该怎么躲?本文结合实战经验,从兼容改造、性能对比、坑点规避三个维度,带你彻底搞懂这场迁移战役。
我还可以再学点
6 小时前
分布式
·
面试
·
职场和发展
八股文面试攻略六:分布式和集群
在一个分布式系统中,不可能同时完全满足 Consistency(强一致性)、Availability(可用性)、Partition Tolerance(分区容错性)。最多只能同时满足其中两个。
曾经的三心草
7 小时前
分布式
·
rabbitmq
RabbitMQ-面试题分析
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档其中通⽤问题占: 53%, RabbitMQ : 24.32% RocketMQ: 19.25%, Kafka:3.38%, 其他 0.05%
找不到、了
15 小时前
spring boot
·
分布式
·
后端
Spring Boot 分布式定时任务:从单机到高可用集群
目录1、问题背景1.1、@Scheduled1.2、技术原理1.3、故障场景2、解决方案2.1、Redis 分布式锁
Lisonseekpan
15 小时前
java
·
分布式
·
后端
·
算法
雪花算法(Snowflake)技术详解与实战应用
雪花算法(Snowflake)是 Twitter 开源的分布式 ID 生成算法,用于在分布式系统中生成全局唯一的 ID。它解决了在分布式环境下生成高性能、有序、可排序的全局唯一 ID 的需求。
此生只爱蛋
16 小时前
数据库
·
redis
·
分布式
【Redis】服务端高并发分布式结构演进之路
我们来想一想关于服务器的高并发问题,如果我们做一个服务器,假如我们自已实现了一台服务器,部署到了我的机器上,发现,如果访问量是1w以内,机器还勉强能跑,但是如果访问量再多,机器就宕机了,思考一下,我们的服务器和像腾讯,百度,这样的大厂能够完成功能的服务器,最本质的区别是什么?解决人的问题,你能够被一个人访问你的服务器,完成功能,这不值得骄傲,但是如果你的服务器能够服务几千万乃至上亿的用户,并且保定稳定性,又谈何容易。下面我们基于以⼀个 "电⼦商务" 应⽤为例,来谈谈从⼀百个到千万级并发情况下服务端的架构的
熊猫钓鱼>_>
17 小时前
分布式
·
flink
·
kafka
·
数据治理
·
状态管理
·
管道
·
数据工程师
数据处理的艺术:从Kafka到实时流处理平台的技术深度剖析
您好!我是ID: 熊猫钓鱼。技术生涯如长河垂钓,我深信卓越的开发之道,在于既要有纵览技术生态的「水域」格局,也要有洞察问题本质的「鱼汛」直觉。从架构设计到性能调优,从技术选型到团队协作——我始终专注于在恰当的时机,以最契合的技术,从容钓起那些简洁而有力的解决方案。
喝养乐多长不高
19 小时前
分布式
·
rabbitmq
RabbitMQ:应用问题
目录幂等性幂等性的概念MQ的幂等性保证幂等性消息积压顺序性保障如何保障顺序性在应用程序中,幂等性指对同一系统使用相同参数重复调用时,无论请求多少次,对系统的影响始终相同。例如,支付接口若因网络重试被多次调用,最终应确保仅扣款一次 例如数据库的 select 操作,不同时间两次查询结果可能不同,但该操作仍符合幂等性。幂等性关注的是对资源的影响,而非返回结果。查询操作本身不会改变数据资源,结果差异通常因两次查询间其他操作修改了资源所致。 而 i++ 这类操作则不具备幂等性。若调用方未妥善控制逻辑,同一流程重复
回家路上绕了弯
20 小时前
分布式
·
后端
接口 QPS 从 100 飙到 1000?从应急到根治的全流程优化方案
做后端开发时,最措手不及的场景莫过于 “接口 QPS 突然 10 倍暴涨”—— 原本平稳运行的接口(100 QPS,响应时间 50ms),因活动推广、流量红利等原因,QPS 骤增至 1000,响应时间瞬间飙到 500ms 以上,甚至出现大量超时。此时若盲目优化代码,可能错过 “止血” 最佳时机;若只靠扩容,又会掩盖深层瓶颈。
象象翔
20 小时前
分布式
·
rabbitmq
服务异步通讯---rabbitmq的高级特性
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档MQ常见问题确保消息成功发送到消费者回顾rabbitmq的消息发送过程: 消息发送者发送消息到交换机,交换机根据routing-key将消息路由到队列,队列再将消息投递到消费者。在此过程中,凡是消息传递都可能有消息的丢失。
ANGLAL
1 天前
分布式
·
网络协议
·
rpc
30.分布式事务:本地事务 + RPC 的“隐形炸弹”
只要系统被拆成多个微服务,“分布式事务”就绕不过去。 很多同学只记住了 @Transactional,却忽略了一个关键事实: 它只对本地数据库负责,对远端 RPC 一无所知。 真正的坑,往往就埋在“本地事务里嵌套 RPC 调用”这一行代码里。
zl979899
1 天前
java
·
分布式
·
rabbitmq
RabbitMQ-Hello World
沧海寄馀生
2 天前
大数据
·
hadoop
·
分布式
·
apache
Apache Hadoop生态组件部署分享-Hadoop
节点信息请参考:zookeeper: Apache Hadoop生态组件部署分享-zookeeper在 apache230.hadoop.com节点执行命令
毕设源码-朱学姐
2 天前
大数据
·
hadoop
·
分布式
【开题答辩全过程】以 基于Hadoop的豆瓣电影数据分析系统设计与实现为例,包含答辩的问题和答案
个人简介一名14年经验的资深毕设内行人,语言擅长Java、php、微信小程序、Python、Golang、安卓Android等