分布式

Leo.yuan5 小时前
大数据·分布式·spark
数据仓库建设怎么做?从源数据到分析报表全流程讲清很多企业做数据仓库,第一步就想错了。以为把数据从业务系统抽出来,建几张表,再接一个 BI 报表,就算完成了。
明豆11 小时前
redis·分布式·缓存
Redis 分布式缓存生产实战在外贸电商、支付网关、库存交易这类高并发系统里,缓存是抗住流量洪峰的第一道闸门。但生产环境中,缓存也是最容易被低估的组件——你以为加了个 Redis 就能高枕无忧,结果上线后 Hot Key 把单节点打挂、Big Key 阻塞整集群、缓存一致性让下游数据“阴晴不定”。
阿标在干嘛12 小时前
分布式·爬虫·重构
从单机到分布式:政策快报爬虫系统的三次重构政策快报平台上线第一天,爬虫系统很简单:一台服务器,跑着几个Python脚本,定时去十几个网站抓取政策信息。每天能抓几百条,够用了。
笨鸟先飞的橘猫12 小时前
分布式·学习·游戏
游戏后端分布式学习——开篇本人目前只有5年游戏后端的开发经验,最近几年越发感觉对于分布式开发吃力,本系列主要目的尽可能提升自己,且贴合游戏后端岗位经常面临的问题进行学习
六bring个六13 小时前
分布式·架构·open harmony
分布式软总线认证模块架构与实现分析软总线认证模块是OpenHarmony分布式通信的核心安全组件,位于 foundation/communication/dsoftbus/core/authentication/ 目录下。该模块基于HiChain安全认证框架,实现了设备间的双向身份认证和会话密钥协商。
脱胎换骨-军哥1 天前
开发语言·c++·分布式
C++分布式系统设计:从通信引擎到分布式共识在分布式系统的技术版图中,Java (Spring Cloud)、Go (etcd / 自研) 和 Erlang/Elixir 各自占据一席之地,但 C++ 在追求极致性能、低开销和深度控制的核心中间件领域依然是首选。无论是负责消息转发的自研网关、高频交易的内存数据库,还是存储引擎 Raft 层,C++ 的特性使其能以最小的机器成本换取最大的吞吐。
海棠Flower未眠1 天前
分布式·kafka
SpringBoot 整合 Kafka 高性能消息队列(荣耀典藏版)大家好,我是月夜枫。什么是Kafka?Kafka 是一个‌分布式事件流平台‌,主要用于高吞吐量的实时数据传输与处理。
贺国亚2 天前
分布式·wpf
模型训练-分布式与GPU调度🏠 返回 README | ⬅️ 上一篇:特征平台 | ➡️ 下一篇:模型 Serving风格说明:本篇是 机制+操作型——从支付域 ML 训练(欺诈 XGBoost/深度排序/LLM 风控辅助)到分布式并行、GPU 调度、MFU 与 checkpoint。覆盖「单卡训不下 → 怎么分布式 → 怎么调度 GPU 集群」。
大模型码小白2 天前
java·大数据·人工智能·分布式·深度学习·milvus
Milvus 架构设计:从向量索引到分布式检索,AI 原生存储引擎的内部机制在人工智能应用爆炸式增长的今天,非结构化数据(如图片、视频、音频、文本)的处理成为核心挑战。传统的关系型数据库擅长处理结构化数据,但对高维向量数据的存储、索引和检索却力不从心。Milvus 作为一款开源的向量数据库,专为 AI 应用而生,其架构设计深刻体现了“AI 原生”的理念——从底层存储到上层查询,都围绕向量数据的高效处理而构建。
liulilittle2 天前
服务器·网络·分布式·系统架构·竞态
论分布式系统的半开闭问题节点 A 向节点 B 发出一个请求,然后等待响应。在等待期间,A 不知道 B 是否收到了请求,不知道 B 是否正在处理,不知道 B 是否已经发出了响应而响应在网络中丢失。A 只知道一件事:我还没有收到响应。除此之外,A 对 B 的状态一无所知。
豆瓣鸡2 天前
spring boot·分布式·docker·定时任务
XXL-JOB 定时任务——从 Docker 部署到分片广播,分布式任务调度落地@Scheduled 单机跑跑还行,多实例部署了就全乱了——哪个实例执行?重复执行怎么办?数据怎么分片并行处理?XXL-JOB 就是专治这些的:调度中心统一管任务,执行器集群自动注册,分片广播把大数据量拆成 N 份给 N 台机器并行跑。这篇文章从 Docker 部署、Spring Boot 3.x 整合,到分片广播、任务参数、失败处理、父子任务链,全部用一个完整流程串下来。
liulilittle2 天前
服务器·网络·分布式·通信·竞态
论双机热备:分布式双机热备是一个直觉上合理但分布式理论上脆弱的方案。它试图用两台机器实现对等的高可用——任一台故障,另一台立即接管。这个目标在单机思维下自然成立,但在分布式条件下,它面临一个无法绕过的矛盾:两台机器如果对等,就无法收敛;如果收敛,就不再对等。
liulilittle2 天前
服务器·网络·分布式·并发·通信·竞态
论无知:分布式承认无知,不是认输,是认清边界。有一种认知惯性,认为“知道”是常态,“不知道”是暂时的、可修复的缺陷。今天不知道,明天可以知道。这一代不知道,下一代可以知道。这种惯性把无知视为知识总量的一个减项,等待被新知填补。但有一类无知不是知识总量的减项,而是认知能力本身的边界。它不是尚未被照亮的黑暗,而是光本身无法穿透的墙。
脱胎换骨-军哥3 天前
c++·分布式·golang
C++ 与 Go 生成质量比拼,谁是分布式主力语言在现代分布式系统的技术选型中,C++ 与 Go 的竞争从未停止。C++ 凭借极致的性能和庞大的遗留生态,长期占据底层基础设施的阵地;Go 则以简洁的并发模型和优异的工程效率,在云原生时代攻城略地。本文将从语言特性、代码生成质量、生态完整性以及实际应用场景等多个维度,横向对比 C++ 与 Go 在分布式领域的表现,探讨谁才是真正的「主力语言」。
珠***格3 天前
网络·人工智能·分布式·安全·边缘计算
XGF10-Z-4典型接入方式解析:10千伏专变用户380伏多点分布式光伏如何并网?在工商业园区、大型厂区、产业基地等场景中,大量10kV专变用户存在多屋顶、多点位、分散式380V低压光伏并网需求。多点低压光伏无序接入,极易出现数据碎片化、功率不可控、电压波动超标、调度指令无法落地等问题,长期面临并网验收难、常态化限发、电力市场准入受阻等合规困境。
阿里云云原生3 天前
java·开发语言·分布式·agentscope
Agent 不再是“玩具”!AgentScope Java 2.0 GA 发布:构建企业级分布式智能体底座作者:刘军(陆龟)AgentScope Java 2.0 的核心思路,是基于 ReActAgent 推理内核基础上,增加 Harness 工程化层。开发者既可以继续使用轻量的 ReAct 循环,也可以按需启用 Workspace、持久记忆、Session、Sandbox、Skill 和 Subagent 等能力,将同一套 Agent 逻辑落地部署到企业级分布式服务中。
时代的狂4 天前
分布式·面试·rabbitmq
RabbitMQ 面试问答很多业务不是一个接口干到底,下单之后还要发短信、推仓储、写搜索索引——如果全同步串行,一个环节慢或挂了,整条链路都受影响。
hkNaruto4 天前
大数据·hadoop·分布式
【大数据】《传统Hadoop大数据技术入门:补充与进阶——从数据格式到智能决策的问答实录》——写给已读《传统Hadoop大数据技术入门:从数据源到用户界面的全链路实践指南》的读者第一本书带你走完了“从数据源到用户界面”的全链路。但真正的生产环境,远不止一条笔直的管道。
ThanksGive4 天前
分布式·后端
TurboLock:从 v1 Redis 分布式锁到 v2 Go 并发控制中间件TurboLock v2 的重点不是重新实现一遍 SETNX,而是在 v1 锁内核之上,让业务只需要提供 Redis Client、锁 key 和回调函数,就能完成一次完整、可观测、可插拔的并发控制。
韩楚风4 天前
数据库·分布式·mysql·架构·cantian
【参天引擎】事务生命周期 / MVCC / Undo / ACID / 分布式事务 功能域整体解析阅读时间: 约 55 分钟难度等级: ⭐⭐⭐⭐⭐(高级)事务管理是 Cantian 数据库 ACID 特性的核心实现层,位于 SQL 执行层与内核存储引擎之间。它涵盖完整的事务生命周期(BEGIN/COMMIT/ROLLBACK)、全局 XID 分配与事务槽管理、基于 Undo 版本链的 MVCC 多版本并发控制、Savepoint 回滚点支持、以及集群环境下的分布式事务协调。本章深入解析事务管理的各子模块架构与核心实现机制。