分布式

bksczm5 小时前
数据库·redis·分布式
Redis Cluster 分片集群详解:槽路由、故障判定与扩缩容前面几篇用主从 + Sentinel 解决了“单组分片内的高可用”,但单组主从的写入能力始终受限于一台机器,容量也受限于单机内存。横向扩展的答案是分片:把 16384 个哈希槽(slot)分散到多个 master 上,每个 master 再配主从保证可用性。Redis Cluster 是 Redis 原生实现的分片方案,不依赖任何代理中间件,客户端与服务端直接交互,靠重定向把请求送到正确的节点。本文从“一个 key 如何落到某个槽”讲到“一个 master 挂掉后谁来接班”,最后用一个真实的容器部署日志解
txxzjmzlh6 小时前
分布式·rabbitmq
RabbitMQ安装目录⼀. 安装Erlang⼆. 安装RabbitMQ三. 安装RabbitMQ管理界⾯四. 启动服务并访问
AI源码15 小时前
大数据·分布式·spark
基于Spark的期刊推荐系统的设计与实现本系统是面向学术投稿场景的期刊智能推荐平台。用户输入待投稿论文的标题、摘要与关键词后,系统基于 Apache Spark(PySpark MLlib)训练的文本分类模型,从 PubMed 生物医学公开数据中学习到的 469 本真实期刊里,返回 Top-5 投稿备选,并展示 ISSN、出版社、学科等元数据。
国科安芯1 天前
分布式·安全·架构·canfd·dcdc·抗辐射·载荷
CAN FD一升到5Mbps就误码:位定时、终端与共模的现场排查顺序——ASM1042S2S在星载分布式总线中的FAE实践某商业卫星电子系统采用CAN FD连接电源控制器、热控模块和遥测单元。仲裁段500kbps运行稳定,数据段提升到5Mbps后,实验室短缆测试尚可,接入整星线束后出现随机错误帧和偶发节点掉线。更换线缆、增加终端电阻、重新配置采样点都曾让现象短暂改善,但批量装配后问题再次出现。
西木Qi2 天前
分布式·kafka
Kafka消息中间件单机版安装配置Kafka消息中间件集群安装配置
OriginCoding2 天前
分布式·kotlin
一个 JDK 跑起六个分布式挑战:Kotlin 版 Gossip Glomers(一)这是《用 Kotlin 做 Gossip Glomers 分布式实验》系列的第一篇。读完这一篇,你会有一条能复现实验的命令,和一个能看懂结果的目录——代码留到下一篇。
stark张宇3 天前
分布式·架构
分布式事务方案设计与选型思考:2PC、TCC本文基于 go-zero 自研 TCC 分布式事务,解决订单、库存、积分、仓储四个独立微服务下单链路的数据一致性问题,完整实现三阶段流转、幂等、空回滚、防悬挂以及定时补偿机制,附带表结构、核心代码与流程图。
时间的拾荒人4 天前
redis·分布式·缓存·面试·架构
Redis 典型应用:缓存与分布式锁原理📖 本文导读:围绕 Redis 的两大典型应用场景展开——缓存与分布式锁,从概念、策略到高频面试考点逐层深入。
筑梦之人5 天前
运维·分布式·elasticsearch
Elasticsearch 9.x 从入门到精通(5/7):集群、分布式与运维系列文章:《Elasticsearch 9.x 从入门到精通》共 7 篇,本篇为第 5 篇,覆盖第 21~26 章。 基线:Elasticsearch 9.x 源码 main 分支(34eafb4ac58d,Version.CURRENT = V_9_7_0)与官方全量文档。 写作纪律:每个知识点标注官方文档出处,涉及实现原理均给出源码锚点 路径:行号,禁止编造 API。
kiwixing6 天前
分布式·gaussdb
GaussDB|集中式还是分布式?三把尺子选型副标题:什么业务不该上分布式,以及判据为什么是 2w tps 和 24T这个问题在 GaussDB 选型时会被反复问起。多数人的第一反应是"量大了就上分布式",但真正的答案不是比性能高低,而是看三把尺子——写 tps、规划容量、以及你改不改得动分片键。下面先把结论摆出来,再讲依据。
真上帝的左手6 天前
分布式·架构·系统架构·分布式架构
30. 技术专题-‌应用框架组件-分布式架构负载均衡(Load Balancing),是指将流量、或计算,负载均匀分配到多个服务器、或资源上。比如:在处理大量的用户请求时,负载均衡器可以分配流量到多个 Web 服务器上,以保证应用的高可用性和响应速度。
zixu_star7 天前
分布式
从单机到分布式:定时任务如何处理大量数据与执行失败?在软件系统中,定时任务是一种常见的自动化机制。例如,每天凌晨自动备份数据库,每月统计用户消费数据,定期检查会员积分是否到期。这些工作都有一个共同点:不需要人工主动操作,而是由系统在指定时间自动触发。
lsc_blog7 天前
数据库·分布式·中间件·职场和发展·重构
听到优化风声,先准备能由自己掌控的事听到组织调整的风声,先把消息来源、个人准备和当前工作分开处理。传闻不足以确认自己会发生什么,但足够提醒你检查:如果岗位突然变化,下一步有没有可以立即开始的动作。
Lansonli9 天前
大数据·分布式·spark
大数据Spark(八十七):Spark-Submit 参数详解文章目录Spark-Submit 参数详解一、基本参数二、资源相关参数三、参数配置实践建议四、总结在 Spark 中,spark-submit 是用于将应用程序提交到集群运行的命令行工具。通过 spark-submit,用户可以将编写好的 Spark 作业提交到不同的集群管理器(如 Standalone、YARN、Mesos、Kubernetes 等)上执行。合理配置 spark-submit 参数,不仅决定了作业能否正常运行,还直接影响资源利用率和执行效率。本文对 spark-submit 的常用参数进
qq_452396239 天前
分布式·kafka
第二篇:《CommitLog + ConsumeQueue:一条日志解决 Kafka 多分区随机写的难题》标签:RocketMQ | CommitLog | ConsumeQueue | 存储模型 | 顺序写 | 零拷贝 | Kafka | 面试 适合人群:想搞懂 RocketMQ 存储为什么这么设计、被“顺序写高性能”一句话打发过的工程师 阅读收益:搞清楚 CommitLog 和 ConsumeQueue 各自存了什么、为什么 RocketMQ 要用“写一条、读两次”的模型、Kafka 的多分区存储在 Topic 数量增长后为什么会出现随机写、以及 ConsumeQueue 的 20 字节到底装了什么
Alluxio9 天前
运维·数据库·人工智能·分布式·缓存·ai·语言模型
Alluxio + OCI:为 AI 工作负载实现亚毫秒访问延迟与可扩展吞吐本文作者: Pinkesh Valdria - OCI 全球 AI/ML/GPU/ 存储基础设施专家团队总监 Bin Fan -Alluxio 创始成员、技术副总裁
阿卡好可爱10 天前
数据结构·分布式·后端·架构·lua
Lua 热更新不生效:改完文件线上仍是旧逻辑,package.loaded 与 upvalue 重绑定详解复现条件:Lua 5.5.1(skynet 源码树内 3rd/lua/lua 的编译产物),两个模块加两个脚本。mod.lua 在被加载时读取同目录 version.txt 里的整数当作自己的版本号,holder.lua 持有对 mod 的独立引用。
方方洛12 天前
人工智能·分布式·机器学习
ray教程-28-附录G-CICD与Slurm与云上调度仓库地址:github.com/hhk-png/cyc…这份附录回答三个正文没展开的问题:Ray 应用的 CI/CD 长什么样、 只有 Slurm 没有 Kubernetes 的集群上怎么跑 Ray、 云上这套东西到底花多少钱。最后补一节"Ray 和 Airflow 这类编排器怎么接"。 四节按同一个标准写:能给全的命令给全,给不出的版本号、字段名、默认值 一律写 未确认 —— 示例代码请当骨架读,不要当"照抄就能跑"。
空奈qwq12 天前
分布式·架构·kafka
【Kafka 从入门到实战】从手写一个队列到生产级消息中间件:架构、分区、消费组、零拷贝全解析面试官问"Kafka 为什么快",你只会答"零拷贝"?这篇从手写队列开始,一层层讲透 Kafka 的架构与设计。 含完整可运行 Python 代码(建 Topic / 生产者 / 消费者)+ 踩坑记录 + 高频面试题。