技术栈
分布式
KANGBboy
4 小时前
服务器
·
分布式
doris+kafka安装部署(单机+集群)二时钟服务器 java_home
一、时钟服务器 启动+设置开机自启看运行状态启动成功之后执行: 查看NTP源必须配置 NTP 服务器地址,否则 chronyd跑起来也不会同步时间。
爱笑的k11
5 小时前
分布式
·
ai infra
分布式通信原语
在分布式系统和并行计算中,多个节点(进程、线程、GPU)协同完成任务时,必然涉及"一对多"“多对一”"多对多"的数据交换。这些操作被抽象为集合通信原语(Collective Communication Primitives),是 MPI、NCCL、Gloo、Horovod 等通信库的基石,也是分布式机器学习与科学计算的核心。
实战派K8S&DB
6 小时前
分布式
·
gaussdb
GaussDB 高可用演进:从流复制到 DCF 分布式共识
在上一篇中,我们介绍了基于 PostgreSQL + Patroni + etcd的高可用部署方式,其特点包括:
写后端的胖头鱼
6 小时前
java
·
分布式
·
后端
·
分布式锁
·
高频面试题
【高频面试题】分布式锁在项目中的应用
单机项目:synchronized / ReentrantLock 是 JVM 层面锁,只能锁住当前这一台服务实例。
clz1314521
7 小时前
分布式
·
kafka
·
linq
Kafka 日消 10 亿场景:用 ConcurrentLinkedQueue 实现高性能批量消费缓冲
针对日消 10 亿级别(峰值 3-5 万 TPS)的 Kafka 消费场景,使用 ConcurrentLinkedQueue(CLQ)替代 LinkedBlockingQueue 的核心目的是消除入队时的锁竞争。但 CLQ 是纯无锁非阻塞队列,没有原生的 drainTo 方法,因此“批量 Drain”需要自行实现。
隐擎fox
17 小时前
分布式
·
python
·
网络协议
·
tcp/ip
·
高并发
·
网络爬虫、
高性能网络爬虫架构设计:基于 Python 的长连接复用与分布式会话池调度实践
在大规模分布式网络数据采集与自动化监控场景下,爬虫系统的核心瓶颈往往不是 CPU 计算能力,而是 I/O 阻塞与底层网络链路的握手损耗。
闲云自留地
1 天前
分布式
·
wpf
·
swift
云平台存储管理员:Cinder 创建挂载卷 + Swift 分布式存储原理
[!tip]临时磁盘来源: 计算节点的本地磁盘。 通过NFS挂载的外部存储(使用此方式创建临时磁盘时,可以在多个计算节点之间迁移虚拟机,因为虚拟机实例的根磁盘位于可被多个物理主机访问的共享存储上)。
橙子圆123
1 天前
分布式
·
rabbitmq
RabbitMQ知识1
在互联网中,会经常使用 MQ 来作为消息通信服务,我们一起来看一下什么是 MQ 吧!【MQ】(Message queue),消息队列,字面意思来看,本质是一个队列,FIFO先进先出,但这里的消息队列,只不过队列中存放的是消息,消息可以非常简单,也可以非常复杂
clz1314521
1 天前
分布式
·
flink
·
kafka
风险特征系统 EPC 子系统:基于 Kafka 数据源与数据集配置的 Flink 指标清洗加工
风险特征系统 EPC 子系统,是用于根据后管配置的接入的 Kafka 数据源信息和数据集信息清洗加工 Flink 指标的。它承担着从原始数据接入到最终指标产出的关键链路职责,是风险特征计算体系中的重要一环。
海上小飞龙
1 天前
分布式
·
微服务
·
架构
分布式和微服务,一次讲清
很多人聊架构,张嘴就把分布式和微服务混着说,好像换个词而已。其实它俩关注的东西不一样。分布式的核心,是让多个独立节点通过网络协同,完成一个系统的活。 微服务则是围绕业务能力,把系统拆成一组相对独立、能各自开发部署的服务。
(Charon)
1 天前
分布式
·
学习
·
kafka
【Kafka】消息队列学习(二):Topic、Partition与Offset,消息到底存在哪里
上一篇介绍 Kafka 时,可以先把整个流程理解成:例如一个系统中可能存在:订单系统产生的消息发送到:
陈皮波比茶
2 天前
java
·
分布式
分布式任务调度xxl-job
敲代码的嘎仔
2 天前
java
·
数据库
·
redis
·
分布式
·
缓存
·
ai
·
wpf
从集群锁失效到异步领券:我用分布式锁 + Redisson + MQ 把领券接口 RT 从 200ms 压到 15ms
上一篇博客写了领券的并发安全问题,用 Synchronized 乐观锁解决了超卖。但那只解决了单机场景——服务一旦部署多个实例,JVM 级别的锁就形同虚设。这篇记录我是怎么一步步从"集群锁失效"走到 Redisson 分布式锁,再用手写注解 + AOP + 设计模式搭了一套通用锁组件,最后用 Redis 缓存 + LUA 脚本 + MQ 异步写把领券接口性能拉上来的全过程。
lauo
2 天前
人工智能
·
分布式
FDE的终极形态:从“一个人”到“一个网络”
FDE的终极形态:从“一个人”到“一个网络”续上文前面两章,我们谈的是FDE个人的能力升级。但真正的范式革命,发生在FDE的工作方式从“单兵作战”跃迁到“体系协同”的那个瞬间。
雾隐隐o
2 天前
分布式
·
kafka
Kafka 集群搭建:从核心概念到多节点部署
Kafka 集群搭建并不只是启动几个 Broker。真正决定集群能否稳定运行的,是对 Topic、Partition、副本、Leader、Controller 以及协调机制的正确理解。本文先梳理核心架构,再给出可操作的多节点部署流程,帮助你建立一套完整的 Kafka 集群认知。
IT大白鼠
3 天前
分布式
·
mysql
·
面试
MySQL 分布式集群系列 · 第八篇(收官)——NDB 集群面试高频题 +架构总结与未来演进
系列导读:八篇的完整旅程第一章 核心知识点复盘:一张图带走整个系列1.1 一句话架构1.2 核心知识地图
IT大白鼠
3 天前
数据库
·
分布式
·
mysql
MySQL 分布式集群系列 · 第七篇——生产调优实战:NDB 性能、内存、高可用全方位优化
回顾与导读:从"能跑"到"跑得好"第一章 内存参数调优:避免 OOM 的第一道防线1.1 NDB 的内存账本
無a伟
3 天前
java
·
分布式
·
rabbitmq
RabbitMq高级特性:TTL,死信队列,延迟队列
目录一,TTL应用场景队列设置TTL消息设置TTL二,死信队列三,延时队列两种实现方式:一,使用TTL + 死信队列
stark张宇
3 天前
分布式
·
后端
从 Paxos 到 Raft:一文讲透分布式一致性与复制状态机
先看一个基本并发问题,假设有一个<K,V>存储集群,三个客户端并发地向集群发送三个请求。请问,最后在get(X)的时候,X应该等于几?