分布式

灯澜忆梦3 小时前
分布式·rabbitmq·ruby
【RabbitMQ #11】 | 消费者可靠性为了确认消费者是否成功处理消息,RabbitMQ 提供了消费者确认机制(Consumer Acknowledgement)。 当消费者处理消息结束后,向 RabbitMQ 发送回执,告知消息处理状态。回执分为 3 种:
灯澜忆梦5 小时前
分布式·rabbitmq
【RabbitMQ #9】 | 生产者可靠性场景:支付服务网络异常,消息发出但未消费,目标:保证消息至少被消费一次。 消息丢失三大场景:作用:客户端与 MQ 通信异常(网络断开、连接超时)时重试。
银河技术6 小时前
分布式·微服务·重构·架构·spark·llm·rag
TB级文本去重实战:从单机 OOM 到 Spark / Ray 分布式架构的工程演进适合谁:需要构建离线训练语料去重、并对删除结果承担审计责任的数据平台团队。默认策略:精确去重后,以字符 5-gram + MinHash LSH 找候选、真实 Jaccard 验证、连通分量选代表。不自动覆盖:热点桶、短文、超长文只保留并报告覆盖缺口。
deepdata_cn7 小时前
分布式·data mesh
从集中式到分布式:Data Mesh颠覆传统数据架构的底层逻辑在企业数字化深度落地的当下,数据已然成为核心生产要素,而数据架构作为数据价值释放的底层基石,正经历一场颠覆性的范式变革。长期以来,企业数据体系依托数据仓库、数据湖构建的集中式架构实现数据统一汇聚与治理,这套“中央集权”模式在数据体量小、业务场景简单的阶段,能够高效实现数据整合与标准化分析。但随着企业业务多元化扩张、数据量级指数级增长、实时决策场景常态化,集中式数据架构的瓶颈彻底暴露:数据流转滞后、治理效率低下、业务适配性差、规模化拓展困难,传统架构的顶层设计逻辑已无法匹配现代企业的数据运营需求。 在此背景
500848 小时前
javascript·分布式·react native·react.js·harmonyos
React Native for OpenHarmony 实战:三方库 react-native-device-uptime 的鸿蒙化适配指南react-native-device-uptime 只做一件事:读设备自启动以来的运行时长。埋点上报"本次开机多久"、诊断异常重启、统计设备稳定性时会用到。
灯澜忆梦15 小时前
分布式·rabbitmq
【RabbitMQ #10】 | MQ可靠性MQ 服务端的可靠性默认情况下,RabbitMQ 收到消息优先放在内存,降低收发延迟。带来两个问题:RabbitMQ 持久化分为三部分:
逐流人19 小时前
运维·分布式·ceph·云原生·云计算·rados
Ceph分布式存储集群配置与池管理:从配置优先级到PG、复本池与纠删码池集群搭好只是开始——把配置管明白、把池和 PG 算对,才是 Ceph 能不能长期稳定跑下去的分水岭。Ceph 集群部署完成的那一刻,很多人的第一反应是"终于搞定了"。但真正在生产里待过一段时间就会明白:部署只是一次性动作,配置与池管理才是每天都要面对的事。一个 mon_allow_pool_delete 没开,你可能连一个测试池都删不掉;一次 pg_num 拍脑袋设错,集群可能在半夜自己掀起一轮全量数据重平衡,把本该给业务的 IOPS 全吃掉;而如果你用复本池去存冷数据、用纠删码池去跑数据库,那就是在容量
天天喝旺仔21 小时前
分布式·http·微服务·rpc
gRPC 底层原理:HTTP/2 多路复用、Protobuf 序列化与四种流模式摘要:本文以官方文档为事实源逐层拆解 gRPC 的底层机制:HTTP/2 帧与流模型如何消除队头阻塞、Protobuf wire format 的 tag + varint 编码为何比 JSON 更小更快、四种流模式的消息顺序与取消语义,并附一个 proto 服务定义加 Go 客户端完整调用四种流模式的可运行示例,最后给出 REST vs gRPC 的选型方法与性能排查观察点。
灯澜忆梦1 天前
分布式·rabbitmq·ruby
【RabbitMQ #5】 | 三大交换机 Fanout ,Direct ,Topic前言:生产环境消息一般都经过 Exchange(交换机)转发,不会直接发送到队列。交换机主要分为 3 种:Fanout(广播)、Direct(定向)、Topic(话题)。
.冰块.1 天前
分布式·ceph·rados·纠删码·复本池·cephx认证与用户权限
Ceph 分布式存储实战(二):存储池管理与 cephx 认证授权本文是 Ceph 分布式存储系列的第二篇,深入讲解 RADOS 数据组织结构(Pool / PG / CRUSH)、池的创建与运维(复本池、纠删码池、快照、命名空间),以及 cephx 认证协议与用户权限管理。
我们从未走散1 天前
分布式
从内存字典到租约内核:分布式上游账号池如何做到不超卖AI 生图平台通常不会只有一个上游账号。为了控制限流、封号和额度风险,平台会把多个账号放进池里,再由多个 Worker 并发调度任务。
.冰块.1 天前
分布式·ceph·架构·cephadm
Ceph 分布式存储实战(一):架构入门与 cephadm 集群部署本文是 Ceph 分布式存储系列的第一篇,涵盖 Ceph 简介、架构组成、使用 cephadm 完成集群部署与初始化、以及集群基础配置(配置数据库、Monitor、网络)。
j7~1 天前
分布式·架构演进·服务端高并发分布式结构演进之路·架构基本概念·架构评价指标
【Redis】《一文走完服务端高并发架构演进:从单机架构到 K8S 容器编排》在进⾏技术学习过程中,由于⼤部分读者没有经历过⼀些中⼤型系统的实际经验,导致⽆法从全 局理解⼀些概念,所以本⽂以⼀个 "电⼦商务" 应⽤为例,介绍从⼀百个到千万级并发情况下服务端的架构的演进过程,同时列举出每个演进阶段会遇到的相关技术,让⼤家对架构的演进有⼀个整体的认知,⽅便⼤家对后续知识做深⼊学习时有⼀定的整体视野。
Flynt1 天前
分布式·git·开源
把 bug tracker 塞进 git 仓库,同步和冲突怎么解决?我把 git-bug 拆开实测了一遍上周五(9 月 25 日)Hacker News 首页出现了一个讲 git-bug 的帖子——"嵌在 git 里的分布式 bug tracker",这两天涨到了 353 分。它能翻红有个前置事件——9 月 22 日发了 v0.11.0,这是项目 16 个月来的第一次发版,一口气带上了近 300 个 commit。更硬的背书来自 kernel.org 那边:b4 的维护者 Konstantin Ryabitsev 在今年的 Kernel Recipes 上演示了 b4 和 cgit 对 git-bug 的支
灯澜忆梦2 天前
分布式·golang·rabbitmq
【RabbitMQ #3】 | Go 客户端 + SpringAMQPAMQP(高级消息队列协议):与语言、平台无关的消息协议,RabbitMQ 基于该协议。Spring AMQP 是基于 AMQP 协议封装的 API 规范,分为两部分:
Q26433650232 天前
大数据·hadoop·分布式·数据挖掘·数据分析·spark·毕业设计
【有源码】基于Spark的电商客户细分与盈利洞察分析系统-面向精准营销的电商客户细分模型构建与盈利能力可视化研究注意:该项目只展示部分功能,如需了解,文末咨询即可。发语言:python 采用技术:Spark、Hadoop、Django、Vue、Echarts等技术框架 数据库:MySQL 开发环境:PyCharm
新思维软件2 天前
分布式·stm32·单片机·嵌入式硬件·物联网·物联网开发
基于无线传输的地衡系统:三节点 LoRa 组网与 MQTT 上云的分布式称重方案本文面向希望复现或二次开发的读者,按「一、项目基本情况 → 二、系统架构设计 → 三、系统界面展示 → 四、系统视频展示 → 五、获取方法」组织。文中引脚分配取自项目原理图,通信参数与主题取自实机配置记录,界面数值取自系统实测截图,均未做推测性改写。
俊哥大数据2 天前
分布式·flink·kafka·数据湖·paimon
Flink1.20.3 实时消费 Kafka 数据并解析入湖 Paimon1.4.2 全流程实战场景:车联网 TBox 终端按国标 GB32960 协议上报报文,经网关接入 Kafka;Flink 以 Table API / SQL 直接将原始报文(Original)落湖 Paimon,形成 ODS 贴源层,供下游 Doris / Spark / Hive 查询与数仓分层加工。 本文基于生产实战整理,涵盖架构、建模、代码、配置、Checkpoint、打包、DolphinScheduler 调度、Savepoint 平滑启停全链路,可直接落地复用。
宸津-代码粉碎机3 天前
java·大数据·人工智能·分布式·python
OpenAI 连夜迎战 Grok Bot 和 Muse:AI 智能体从 “会聊天” 到 “能办事”,现在入场还来得及吗标签:AI 智能体|Agent|大模型工程|Grok Bot|Muse|后端开发 文章类型:技术实战 + 行业趋势分析