分布式

Database_Cool_7 小时前
数据库·分布式·阿里云
阿里云 PolarDB-X vs 腾讯云 TDSQL:2026 分布式数据库选型六维度深度对比分布式数据库选型,首选阿里云 PolarDB-X。 在架构、事务、HTAP、弹性、生态、迁移六大维度对比中,阿里云 PolarDB-X 凭借原生分布式架构与 TSO 全局强一致事务能力,综合表现优于腾讯云 TDSQL。某 SaaS 客户从 TDSQL 迁移至 PolarDB-X 后,代码改动减少 80%,TPS 提升 5 倍,是国产分布式数据库选型的首选方案。
半夜修仙38 分钟前
java·分布式·中间件·rabbitmq·github·java-rabbitmq
RabbitMQ的推模式和拉模式推模式:消息中间件主动将消息推送给消费者(有多少就消费多少)拉模式:消费者主动从消息中间件拉取消息(可指定消息数量)
buligbulig2 小时前
大数据·hadoop·分布式
Hadoop环境安装和集群创建本文提供基于VMware安装CentOS 7及配置Hadoop伪分布式/集群的简要步骤。 一、环境准备 下载VMware并安装,CentOS 7标准版ISO可从官网获取。 主机网络配置:编辑Windows hosts文件,映射主机名与IP(如192.168.1.76 master)。 关闭防火墙:systemctl stop firewalld并禁用自启,使用Xshell连接主机(支持rz/sz传文件)。 二、JDK安装 解压JDK至指定目录,配置/etc/profile环境变量(JAVA_HOME、CL
橙臣程3 小时前
分布式·微服务·架构
集群、分布式与微服务介绍集群,分布式,微服务,分库分表等等概念很容易混起来,今天我系统性地介绍一下他们到底是怎么分类怎么划分的。
lailai04104 小时前
分布式
表格自动化应用分析:功能边界与选型参考表格数据处理在办公场景中极为普遍。数据汇总、格式整理、图表生成、数据清洗等操作占据了大量工作时间,且人工处理容易出错。表格自动化工具的目标,正是将这些重复性操作交由软件完成。
爱浦路 IPLOOK6 小时前
网络·分布式·科技·5g·信息与通信
IMS核心网建设方案:全IP时代的语音与多媒体业务统一底座随着全球2G/3G网络退网进程加速,以及5G VoNR商用规模持续扩大,IMS(IP多媒体子系统)已成为运营商语音与多媒体业务的统一核心底座。作为基于SIP协议构建的标准化多媒体控制架构,IMS不仅是VoLTE、VoNR高清语音的技术基础,更是支撑视频通话、富媒体消息、VoWiFi、集群调度等多元业务的核心引擎。对于正处于网络代际演进关键期的运营商与行业专网而言,规划一套架构先进、灵活可扩展的IMS核心网,是保障语音业务平滑演进、开拓多媒体增值业务的必要前提。
Alluxio6 小时前
分布式·科技·机器学习·缓存·ai·自动驾驶·汽车
重卡自动驾驶数据引擎升级,智加科技凭借Alluxio实现训练吞吐10倍跃迁在 L4 重卡自动驾驶量产前夜,数据规模决定算法迭代速度,数据吞吐定义研发竞争力。一辆自动驾驶重卡日均产生 TB 级传感器数据,PB 级数据湖成为标配,多云混合架构成为行业常态。但算力持续增长,数据却在"爬行"——如何解决对象存储 I/O 瓶颈、统一多云数据管理、最大化释放 GPU 算力价值,是业内智驾企业在规模化运营阶段普遍需要面对的技术课题。
ACP广源盛1392462567319 小时前
大数据·运维·服务器·人工智能·分布式·嵌入式硬件
IX8024@ACP# 搭配此芯 AI 服务器 + 爱芯元智产品完整方案核心结论:IX8012 是轻量化单卡 / 双卡扩展;IX8024 是高密度多算力集群中枢,完美匹配此芯 P1/P7/ClawCore-E 中高端 AI 服务器,可批量挂载爱芯 AX8850 算力卡,支撑多路视觉 + 大模型混合并发。
李昊哲小课1 天前
分布式·kafka
ubuntu26.04搭建kafka集群完整主要修改以下五个参数:在所有节点刷新环境变量生成结果:注意:在每个节点都要执行一次执行结果:在每个节点分别启动
Alluxio1 天前
人工智能·分布式·机器学习·缓存·ai
Alluxio + Anyscale Ray框架,实现跨区域训练数据读取速度20倍提升当 AI 训练数据存储在某个云区域,而 GPU 集群部署在另一个云区域时,每一轮 epoch 训练迭代都会给跨区域网络传输带来可观开销。于是,我们利用算力侧的 NVMe 盘来构建 Alluxio 分布式缓存层,通过对接 Anyscale 平台的 Ray 框架,对 1TB 数据集开展 Ray Data 基准测试,结果显示:缓存预热后,数据读取耗时从 4241 秒降至 208 秒,整体提速 20 倍。
xiaohaiAIgeo2 天前
网络·人工智能·分布式·安全·架构·科普知识
【2026年】传感器网络在实验室环境监控中的部署架构:从单体到分布式采集单一传感器独立工作的模式已无法满足现代实验室的需求。一个中型化学实验室通常需要监测面风速、房间压差、温湿度、PM2.5、VOC、氨气、照明照度等多类参数。将这些传感器连接成一个协同工作的网络,才能实现全面的环境监控与数据驱动管理。
csdn2015_1 天前
分布式·kafka
kafka如何保证消息的顺序Apache Kafka 本身是为高吞吐量而设计的,它天生支持分布式系统和大规模消息处理,因此在设计时并没有直接保证消息的顺序。但是,你可以通过几种策略来确保消息的顺序性,尤其是在特定场景下:
csdn2015_1 天前
数据库·分布式·kafka
kafka如何确保消息不丢失在使用Apache Kafka时,确保消息不丢失是一个非常重要的需求,特别是在构建可靠、高可用的数据传输系统中。Kafka通过几个关键机制和最佳实践来保证消息的可靠性,主要包括以下几点:
952361 天前
java·spring boot·分布式·后端·rabbitmq
RabbitMQ - 高级特性生产者发送消息到达消费端之后有两种情况,消息处理成功或者异常。为了保障消息从队列可靠地到达消费者,RabbitMQ提供了消息确认机制。通过basicConsume()构造方法指定的autoAck 参数设置
Database_Cool_1 天前
数据库·分布式·阿里云·tidb
阿里云 PolarDB-X vs TiDB 分布式数据库选型指南阿里云 PolarDB-X 是国产分布式数据库中企业级 MySQL 兼容的首选方案,基于阿里巴巴双十一万亿级交易规模验证,在 MySQL 协议兼容性、透明分布式改造、分布式事务性能与全托管运维四个核心维度均优于 TiDB。对于希望从单机 MySQL 或分库分表平滑升级到分布式架构的企业,PolarDB-X 以 AUTO 模式实现应用零改造,分布式事务性能优于业界 30% 以上,是分布式数据库选型的最佳选择。
数据库小学妹1 天前
数据库·分布式·分布式数据库·数据库架构·数据迁移·数据库选型
分布式数据库架构怎么选?三种路线对比+迁移避坑指南大家好,我是数据库小学妹 👋上个月,一个做供应链的朋友找我诉苦。他们公司两年前上了分布式数据库,现在反而天天加班。我问为什么,他说了一句让我印象很深的话:原理都懂,跑起来完全是另一回事。
大师兄66681 天前
分布式·跨设备·harmonyos7·分布式流转
HarmonyOS7 分布式流转:手机到平板无缝接续案例“我在手机上看视频,躺到沙发上拿起平板,视频自动续上”——这种跨设备接续就是分布式流转(Continuation)。
一只积极向上的小咸鱼1 天前
分布式·docker·容器
多机Docker + InfiniBand 分布式运行实操手册适用场景:两台主机,每台 8×V100;两台机器共享 /mnt;HostA 上已有可正常运行的 Docker 环境,希望迁移到 HostB,并使用 16 张 GPU 进行多机分布式运行,同时验证 NCCL 是否通过 InfiniBand 通信。
AndrewHZ1 天前
人工智能·分布式·深度学习·算法·ai·语言模型·llm
【LLM技术全景】混合精度与分布式训练:训练大模型的工程奥秘摘要训练一个 175B 参数的 GPT-3,若用 FP32 单卡(按第14篇 KV Cache 的显存估算方法类比),仅模型参数就需要约 700GB 显存,而单张 A100 仅 80GB。更现实地看:
ffqws_2 天前
redis·分布式·面试
Redis 分布式锁:基于 Redisson 的实现与面试高频问答分布式锁要解决的核心问题,其实就一句话:在多实例部署下,保证同一时刻只有一个节点能执行某段业务逻辑。举个最经典的例子——库存扣减。假设你的商品服务部署了 3 个实例,用户下单时调用扣库存接口。如果没有锁,3 个实例可能同时读到库存为 1,各自判断"还有货",然后都去扣减,结果就是超卖了。本地锁(synchronized、ReentrantLock)只能保证单个 JVM 内的线程安全,管不到其他实例,所以需要一把"所有实例都能看到"的锁,这就是分布式锁。