分布式

Luke Ewin2 小时前
人工智能·分布式·语音识别·asr·funasr·通话语音质检·区分说话人
内网私有化分布式集群部署语音识别接口对于一些金融或者政府机构来说,数据安全十分重要,要求数据只能在内网中传输使用,不能走公网。因此需要一种可以不联网的情况下使用的ASR接口,方便给其它需要语音转写的项目去调用,而不需要调用云ASR接口,从传输层上杜绝了数据泄露风险发生。以及对于一些公司而言没有大量的资金去调用云ASR接口,需要自己组装服务器部署一套自己的ASR接口,减少资金投入。
小马爱打代码4 小时前
分布式·开源·zabbix
实战:分布式开源监控ZabbixZabbix作为一个分布式开源监控软件,在传统的监控领域有着先天的优势,具备灵活的数据采集、自定义的告警策略、丰富的图表展示以及高可用性和扩展性。本文简要介绍Zabbix的特性、整体架构和工作流程,以及安装部署的过程,并结合实战进行监控配置。
筑梦之人4 小时前
大数据·分布式·spark
Spark-3.5.7文档2 - RDD 编程指南从高层次来看,每个 Spark 应用程序都包含一个驱动程序,该程序运行用户的主函数并在集群上执行各种并行操作。Spark 提供的核心抽象是弹性分布式数据集(RDD),即一种分布在集群节点间的元素集合,可被并行操作。RDD 可通过以下方式创建:从 Hadoop 文件系统(或任何其他 Hadoop 支持的文件系统)中的文件起步,或基于驱动程序中的现有 Scala 集合进行转换生成。用户也可要求 Spark 将 RDD 持久化到内存中,使其能在并行操作间高效复用。最后,RDD 能自动从节点故障中恢复。
happy_king_zi5 小时前
分布式·rabbitmq
RabbitMQ 是否也支持消费组RabbitMQ 是否也支持消费组的概念?一份消息,使用不同的消费者组是否就可以避免消息丢失? Does RabbitMQ support the concept of consumer groups? Can a single message be received by different consumer groups to avoid message loss?
兮动人7 小时前
分布式·zookeeper·云原生·prettyzoo
PrettyZoo:优雅易用的 ZooKeeper 可视化管理工具GitHub 项目地址: 👉 https://github.com/vran-dev/PrettyZoo
回家路上绕了弯7 小时前
分布式·后端
五分钟内重复登录 QQ 号定位:数据结构选型与高效实现方案在 QQ 安全风控、用户行为分析、登录异常告警等场景中,“快速识别五分钟内重复登录两次的 QQ 号” 是核心需求 —— 既要处理亿级 QQ 号的高频登录请求(如高峰时段登录 QPS 达 10 万 +),又要保证判断延迟低于 10ms,还要避免无效数据占用过多内存。
豆浆whisky1 天前
开发语言·分布式·golang
Go分布式追踪实战:从理论到OpenTelemetry集成|Go语言进阶(15)在一次核心系统的容量演练中,我们发现下游某个 gRPC 服务偶尔会出现 600ms 的尾延迟,但 APM 监控指标却显示整体 QPS 完全正常。经过深入排查才意识到:传统的指标和日志只能告诉我们"慢"与"不慢"的模糊对比,却无法精确还原调用链上究竟是哪个节点拖慢了整体响应。
乌恩大侠1 天前
大数据·分布式·spark
DGX Spark 恢复系统系统搞废了,官网的资料:从恢复USB驱动器启动:断开外部设备 将所有外部存储设备从 DGX Spark 上断开。
happy_king_zi1 天前
分布式·rabbitmq
RabbitMQ Quorum 队列与classic队列关系Does Quorum Queue Support Mirroring?不支持。 No.quorum 队列不支持 RabbitMQ 中传统的镜像队列(mirrored queues)配置,因为它本身就是为高可用场景设计的,使用的是更先进的 Raft 共识协议 进行消息复制。
labview_自动化1 天前
分布式·rabbitmq·labview
RabbitMQrouting模式: 在这种模式中,生产者把消息发布到交换机中,消息会携带routingKey属性,交换机会根据routingKey的值把消息发送到一个或者多个队列;消费者会从队列中获取消息;交换机和队列都位于RabbitMQ服务器内部。这种模式的优点在于,即使消费者不在线,消费者相关的消息也会保存到队列中,当消费者上线后,就可以获取离线期间错过的消息。我们知道,在软件系统中,消息的生产者和消费者都不可能24小时在线,这种模式可以保证消费者收到因为服务器重启等原因而错过的消息。
歪歪1001 天前
开发语言·前端·分布式·后端·信息可视化
详细介绍一下“集中同步+分布式入库”方案的具体实现步骤通过以上步骤,可实现“集中同步+分布式入库”的完整流程,大幅降低Windows服务器的并发压力,同时提升大规模客户端场景下的文件同步和数据入库效率。
JavaArchJourney1 天前
数据库·分布式
数据库分库分表一个初创时运行良好的单体数据库,往往在用户量和业务复杂度攀升后,面临响应缓慢、连接耗尽、甚至服务不可用的窘境。传统的垂直扩展(Scale Up)方案是升级服务器配置(更强的CPU、更大的内存、更快的SSD),这种方案成本高昂且存在物理极限。因此,水平扩展(Scale Out) 成为必然选择,即通过增加机器数量来分散负载。而读写分离、分库分表,正是实现水平扩展的具体手段。
熙客1 天前
分布式·中间件·kafka
Kafka:专注高吞吐与实时流处理的分布式消息队列目录1、介绍2、核心概念3、核心功能及高级特性3.1 高吞吐与低延迟3.2 持久化存储与可靠性3.3 水平扩展与高可用性
西岭千秋雪_1 天前
java·数据结构·分布式·zookeeper
Zookeeper数据结构本文为个人学习笔记整理,仅供交流参考,非专业教学资料,内容请自行甄别。Zookeeper 的数据模型采用了一种类似文件系统的树形结构。在这个树形结构中,每个节点被称为 Znode,它是 Zookeeper 数据模型的基本单元,就如同文件系统中的文件或目录。每个 Znode 都有一个唯一的路径,用于标识其在 Zookeeper 树中的位置,例如 “/config/database” 就表示了一个位于 “/config” 节点下的 “database” 子节点 ,通过这种路径标识,客户端可以方便地对 Znod
happy_king_zi1 天前
分布式·rabbitmq
RabbitMQ直接查看队列中消息的内容打开 RabbitMQ 的 Web 管理界面(默认地址):登录后,点击左侧菜单栏 "Queues"点击你要查看的队列,比如 my_queue
车江毅1 天前
java·分布式·技术战略规划
亿级O2O(智能设备)系统架构笔记【原创】
回家路上绕了弯1 天前
分布式·后端
QPS 百万级分布式数据库:高并发订单号生成方案设计与落地在电商促销、秒杀、支付交易等场景中,订单号是串联全业务链路的核心标识 —— 不仅要保证全局唯一(避免订单冲突),还需有序可追溯(便于对账、排查问题),更要扛住百万 QPS 的高并发生成压力。而分布式数据库环境下,传统的 “数据库自增”“单机雪花算法” 早已失效,必须设计一套适配分布式、高吞吐、低延迟的订单号方案。
熊文豪1 天前
分布式·kafka·openeuler
在 openEuler 上部署 Kafka 集群:深度性能评测与优化指南在当今云原生和大数据时代,消息队列作为分布式系统的核心组件,其性能直接影响整个系统的吞吐能力和响应速度。本次评测选择在 openEuler 操作系统上部署 Kafka 集群,旨在深度挖掘两者结合后在消息队列场景下的真实表现。
chilavert3181 天前
java·分布式
技术演进中的开发沉思-174 java-EJB:分布式通信当年做跨服务器的系统时,第一次面临 “接口该选本地还是远程” 的抉择:商品服务部署在 A 服务器,订单服务部署在 B 服务器,订单要调用商品接口查价格,这时候必须用远程接口;而订单服务内部的库存模块和日志模块在同一服务器,用本地接口就行。那时候才明白,EJB 的本地 / 远程接口设计,本质是为了解决 “不同部署场景下的通信效率与可用性” 问题 —— 用对了接口,能少走很多性能弯路;用错了,可能让系统响应慢到用户投诉。
阿华田5121 天前
分布式·分片执行
分布式分片执行原理解析在分布式系统中,我们常常会遇到这样的场景:同一个服务部署在多台机器上,需要执行一些定时任务、数据同步、告警扫描等操作。如何保证 同一个任务只被一台机器执行,又能 同时提升整体执行效率,这是分布式任务调度中最关键的问题之一。本文将介绍一种基于 分片(Sharding)机制 的分布式任务调度方案,既能保证任务唯一性,又能充分利用多节点并行处理能力。