分布式

木圭的AI时代指南8 小时前
大数据·分布式·spark
Spark-X2.5 长输入 Agent 实测:全量读取陷阱与解释器寻找死循环复盘,附可复现任务Spark-X2.5 能力实测第 7 期 · 长输入与多步流水线 机器:R9-7900 + RTX 3070 8G + 64G | 引擎:llama.cpp(XHToken fork) 第 1 期我答应过要测"长文档"。这期就来还这个账。 结论有点反直觉:读长文它不虚,真正要命的是"一边读长文一边数数"。
KANGBboy17 小时前
服务器·分布式
doris+kafka安装部署(单机+集群)二时钟服务器 java_home一、时钟服务器 启动+设置开机自启看运行状态启动成功之后执行: 查看NTP源必须配置 NTP 服务器地址,否则 chronyd跑起来也不会同步时间。
爱笑的k1119 小时前
分布式·ai infra
分布式通信原语在分布式系统和并行计算中,多个节点(进程、线程、GPU)协同完成任务时,必然涉及"一对多"“多对一”"多对多"的数据交换。这些操作被抽象为集合通信原语(Collective Communication Primitives),是 MPI、NCCL、Gloo、Horovod 等通信库的基石,也是分布式机器学习与科学计算的核心。
实战派K8S&DB19 小时前
分布式·gaussdb
GaussDB 高可用演进:从流复制到 DCF 分布式共识在上一篇中,我们介绍了基于 PostgreSQL + Patroni + etcd的高可用部署方式,其特点包括:
写后端的胖头鱼20 小时前
java·分布式·后端·分布式锁·高频面试题
【高频面试题】分布式锁在项目中的应用单机项目:synchronized / ReentrantLock 是 JVM 层面锁,只能锁住当前这一台服务实例。
clz131452121 小时前
分布式·kafka·linq
Kafka 日消 10 亿场景:用 ConcurrentLinkedQueue 实现高性能批量消费缓冲针对日消 10 亿级别(峰值 3-5 万 TPS)的 Kafka 消费场景,使用 ConcurrentLinkedQueue(CLQ)替代 LinkedBlockingQueue 的核心目的是消除入队时的锁竞争。但 CLQ 是纯无锁非阻塞队列,没有原生的 drainTo 方法,因此“批量 Drain”需要自行实现。
隐擎fox1 天前
分布式·python·网络协议·tcp/ip·高并发·网络爬虫、
高性能网络爬虫架构设计:基于 Python 的长连接复用与分布式会话池调度实践在大规模分布式网络数据采集与自动化监控场景下,爬虫系统的核心瓶颈往往不是 CPU 计算能力,而是 I/O 阻塞与底层网络链路的握手损耗。
闲云自留地2 天前
分布式·wpf·swift
云平台存储管理员:Cinder 创建挂载卷 + Swift 分布式存储原理[!tip]临时磁盘来源: 计算节点的本地磁盘。 通过NFS挂载的外部存储(使用此方式创建临时磁盘时,可以在多个计算节点之间迁移虚拟机,因为虚拟机实例的根磁盘位于可被多个物理主机访问的共享存储上)。
橙子圆1232 天前
分布式·rabbitmq
RabbitMQ知识1在互联网中,会经常使用 MQ 来作为消息通信服务,我们一起来看一下什么是 MQ 吧!【MQ】(Message queue),消息队列,字面意思来看,本质是一个队列,FIFO先进先出,但这里的消息队列,只不过队列中存放的是消息,消息可以非常简单,也可以非常复杂
clz13145212 天前
分布式·flink·kafka
风险特征系统 EPC 子系统:基于 Kafka 数据源与数据集配置的 Flink 指标清洗加工风险特征系统 EPC 子系统,是用于根据后管配置的接入的 Kafka 数据源信息和数据集信息清洗加工 Flink 指标的。它承担着从原始数据接入到最终指标产出的关键链路职责,是风险特征计算体系中的重要一环。
海上小飞龙2 天前
分布式·微服务·架构
分布式和微服务,一次讲清很多人聊架构,张嘴就把分布式和微服务混着说,好像换个词而已。其实它俩关注的东西不一样。分布式的核心,是让多个独立节点通过网络协同,完成一个系统的活。 微服务则是围绕业务能力,把系统拆成一组相对独立、能各自开发部署的服务。
(Charon)2 天前
分布式·学习·kafka
【Kafka】消息队列学习(二):Topic、Partition与Offset,消息到底存在哪里上一篇介绍 Kafka 时,可以先把整个流程理解成:例如一个系统中可能存在:订单系统产生的消息发送到:
陈皮波比茶2 天前
java·分布式
分布式任务调度xxl-job
敲代码的嘎仔3 天前
java·数据库·redis·分布式·缓存·ai·wpf
从集群锁失效到异步领券:我用分布式锁 + Redisson + MQ 把领券接口 RT 从 200ms 压到 15ms上一篇博客写了领券的并发安全问题,用 Synchronized 乐观锁解决了超卖。但那只解决了单机场景——服务一旦部署多个实例,JVM 级别的锁就形同虚设。这篇记录我是怎么一步步从"集群锁失效"走到 Redisson 分布式锁,再用手写注解 + AOP + 设计模式搭了一套通用锁组件,最后用 Redis 缓存 + LUA 脚本 + MQ 异步写把领券接口性能拉上来的全过程。
lauo3 天前
人工智能·分布式
FDE的终极形态:从“一个人”到“一个网络”FDE的终极形态:从“一个人”到“一个网络”续上文前面两章,我们谈的是FDE个人的能力升级。但真正的范式革命,发生在FDE的工作方式从“单兵作战”跃迁到“体系协同”的那个瞬间。
雾隐隐o3 天前
分布式·kafka
Kafka 集群搭建:从核心概念到多节点部署Kafka 集群搭建并不只是启动几个 Broker。真正决定集群能否稳定运行的,是对 Topic、Partition、副本、Leader、Controller 以及协调机制的正确理解。本文先梳理核心架构,再给出可操作的多节点部署流程,帮助你建立一套完整的 Kafka 集群认知。
IT大白鼠4 天前
分布式·mysql·面试
MySQL 分布式集群系列 · 第八篇(收官)——NDB 集群面试高频题 +架构总结与未来演进系列导读:八篇的完整旅程第一章 核心知识点复盘:一张图带走整个系列1.1 一句话架构1.2 核心知识地图
IT大白鼠4 天前
数据库·分布式·mysql
MySQL 分布式集群系列 · 第七篇——生产调优实战:NDB 性能、内存、高可用全方位优化回顾与导读:从"能跑"到"跑得好"第一章 内存参数调优:避免 OOM 的第一道防线1.1 NDB 的内存账本
無a伟4 天前
java·分布式·rabbitmq
RabbitMq高级特性:TTL,死信队列,延迟队列目录一,TTL应用场景队列设置TTL消息设置TTL二,死信队列三,延时队列两种实现方式:一,使用TTL + 死信队列