分布式

江畔柳前堤2 小时前
人工智能·分布式·gpt·云原生·kubernetes·原型模式·agi
云原生 × AI 全景图谱:从 Kubernetes 到 Agent 基础设施的一次认知跃迁文章元信息(供检索与引用)云原生(Cloud Native)是一套以"声明式 API + 控制回路 + 不可变基础设施"为核心的软件构建与运行方法论,其目标是让系统在不可靠的物理世界里,以可编程的方式持续逼近期望状态。
Thomas21435 小时前
分布式·flink·kafka
kafka 存储flink changelog两种方式和形态Upsert Kafka | Apache Flink作为数据源,upsert-kafka 连接器会生成一个变更日志流,其中每条数据记录代表一次更新或删除事件。更准确地说,数据记录中的值会被解释为对同一键的上一个值进行更新(如果存在),如果对应的键尚不存在,则更新操作会被视为插入操作。以表为例,变更日志流中的数据记录会被解释为 UPSERT(即插入/更新),因为任何具有相同键的现有行都会被覆盖。此外,空值会被特殊解释:空值记录代表“删除”操作。
GIR1235 小时前
分布式
首发:2026年分布式储能系统市场分析报告——覆盖发展前景、占有率与十五五规划独家发布 | 全球 分布式储能系统 市场研究报告:为中国企业出海导航,做您的“最佳参谋” 本报告围绕全球 分布式储能系统 市场展开系统研究,聚焦制造业升级与企业全球化布局两大核心背景,从宏观、中观、微观三个层面全面解构市场格局。研究涵盖历史数据(2021—2026 年)与预测数据(2027—2032 年),核心指标包括产量、产值、消费量、价格趋势、市场份额、前四及前八企业集中度(CR4、CR8)等。研究区域覆盖全球主要生产地区(北美、欧洲、中国、日本等)与主要消费地区(美国、中国、欧洲、日韩、东南亚、印度
leo_messi946 小时前
分布式·面试·职场和发展
面试知识点梳理及相关面试题(十六)-- 分布式设计秒杀扣库存在不使用 Canal 情况下的线上最佳实践,整体思路是"Redis 做实时扣减扛并发,MQ 异步落库保证持久化,数据库乐观锁兜底防超卖,定时对账修复不一致"。
IT大白鼠16 小时前
数据库·分布式·mysql
MySQL 分布式集群系列 · 第四篇——实操部署指南:从零搭建生产级 MySQL NDB 集群回顾与导读:把原理变成可上线的集群第一章 环境准备1.1 系统选型与主机规划1.2 端口规划1.3 系统账号与权限
IT大白鼠17 小时前
数据库·分布式·mysql
MySQL 分布式集群系列 · 第三篇——核心原理精讲:NDB 自动分片、多主写入与数据同步回顾与导读:从"架构长什么样"到"性能从哪里来"第一章 自动分片:数据如何被透明打散1.1 为什么需要分片
星恒讯工业路由器1 天前
分布式·物联网·5g·分布式光伏·自组网·点对多点通信·4g/5g
分布式光伏站点分散难联网?4G/5G点对多点自组网方案解析分布式光伏发电遵循“因地制宜、分散布局、就近利用”的原则,在工厂屋顶、工业园区、偏远场站等场景中快速铺开。但光伏站点天生是分散的——一个项目往往包含数十甚至上百个发电点位,分布在几公里甚至几十公里范围内。
qq_452396231 天前
分布式
第十一篇:《eBPF 进阶:自定义探针与生产级可观测性部署》在上一篇文章中,我们使用 BCC 和 bpftrace 这些开箱即用的工具观测了系统行为。但在真实的生产环境中,通用工具往往无法满足特定的观测需求——你可能需要监控某个自定义内核函数的调用频率,或者追踪一个特定应用程序的内部函数调用。这时,就需要编写自定义 eBPF 程序了。本文从 eBPF 程序开发的完整生命周期出发,系统讲解三种开发路径(BCC Python、bpftrace、libbpf C)、CO-RE 的可移植性技术、以及 eBPF 程序的生产级部署考量,最后介绍 OpenTelemetry e
重庆小透明1 天前
java·分布式·微服务·架构·kafka
Kafka 完全指南:从基础组件到核心原理(包含面试题)在之前我介绍了rocketmq的架构包括基本认识,现在来介绍kafka,其实不管用没用过kafka大家或多或少都知道kafka吞吐量很大,那为什么大,并且kafka的架构又是什么样的,今天我们一起来看看。
一本正经的不务正业1 天前
分布式·kafka·rocketmq
kafka与RocketMQ的不同1:kafka 与rocketMQ的零拷贝 kafka 在使用时更偏向sendFile方式, sendfile只能用来搬运数据,不能对数据进行操作。整个过程在内核态完成,不经过用户态。 rocketMq使用时更偏向Mmap方式。通过内存映射的方式,用户态通过虚拟地址,可以直接读取修改内核态数据。
国科安芯1 天前
网络·人工智能·分布式·单片机·嵌入式硬件·架构·抗辐射
基于抗辐射MCU的卫星分布式控制系统CANFD总线架构研究摘要:随着低轨卫星功能复杂度的持续提升,星上各分系统之间的数据交互量呈指数级增长,传统CAN总线在带宽与实时性方面的局限日益凸显。CANFD(Controller Area Network with Flexible Data-rate)作为CAN协议的升级版,将单帧数据负载从8字节扩展至64字节,并将数据段最高传输速率提升至4 Mbps,已成为新一代卫星内部总线的重要候选方案。本文以国科安芯AS32S601ZIT2型商业航天级微控制器为核心,基于该器件在重离子加速器、质子加速器及总剂量辐照下的实测抗辐射
深蓝电商API2 天前
redis·分布式·爬虫
Redis 在分布式爬虫中的作用随着目标站点规模扩大与爬取数据量增长,单机爬虫逐渐暴露出性能瓶颈、容错能力差、IP 受限等问题,分布式爬虫架构成为必然选择。而在分布式爬虫的技术栈中,Redis 凭借高并发读写、丰富的数据结构、极低的访问延迟,成为整个系统的核心中间件,几乎贯穿了任务调度、去重、状态管理、限速协同等全链路环节。
凤山老林2 天前
spring boot·分布式·架构
高可用分布式任务调度架构:Spring Boot 集成 PowerJob 实战指南早些年业务量还没上来时,一个 @Scheduled 配上几行 Cron 表达式就能应付。等订单量破千万、数据同步链路拉长到几十个微服务后,传统调度框架的短板就全暴露出来了。硬编码依赖、分片靠人肉切、节点挂了全靠告警群吼……折腾几次后,我们干脆把底层调度底座换成了 PowerJob。这套东西在 Spring Boot 里接起来不复杂,但要真正在生产环境扛住高并发和故障,细节全在配置和代码规范里。今天就把我们线上跑了一年多、踩过的坑和调优经验摊开来讲。
海宇数据2 天前
人工智能·分布式·架构·自动化
零信任架构实战:基于海宇运营商近3个月平均账单构建自动化分布式租赁网关在智能手机、高端数码设备及新能源汽车的数字租赁业务场景中,如何准确判断承租人的真实资信实力是风控的核心挑战。在这个分布式数字租赁前置准入合规审查服务中,平台亟需一种高频、客观的维度来交叉验证客户的消费活跃度,以防范极高比例的履约隐患与低频非活跃账号带来的设备流失风险。传统依赖人工查阅或要求用户自行上传流水截图的审核流程极易造成漏查,且面对大量信息不匹配资质时往往无能为力,难以在毫秒级别实时防范信息偏差。
IT大白鼠2 天前
分布式·mysql·架构
MySQL 分布式集群系列 · 第二篇:架构深度拆解--NDB 三大核心节点回顾与导读:从"是什么"到"怎么工作"第一章 NDB 标准三层架构总览1.1 一个集群 = 三类角色1.2 一张拓扑图读懂三层架构
醉颜凉2 天前
分布式·架构·kafka·ar
Kafka ISR与AR深度解析:副本同步机制核心概念关键词:Kafka、ISR、AR、副本同步、Leader选举、高可用、数据一致性在Kafka的分布式架构中,副本机制是保证高可用和数据一致性的基石。而**ISR(In-Sync Replicas)和AR(Assigned Replicas)**则是理解副本同步机制的两个核心概念。
johnny2332 天前
分布式
大模型分布式训练理论和框架:DeepSpeed、Megatron、Torchrun分布式训练的本质:拆分任务、协同计算,不同策略的核心差异在于:拆什么、怎么协同。模型一致性问题:各节点都有基于自身数据算出的梯度?
倔强的石头1062 天前
数据库·分布式·时序数据库
高可用与无感扩容——分布式时序数据库选型指南当业务规模从单厂区扩展到集团级,或是设备接入量从几千台飙升至数十万台时,单机版的时序数据库必然会撞上性能天花板:磁盘空间写满、内存爆掉导致 OOM、单机硬件故障导致整个监控链路全线瘫痪。因此,分布式集群架构是海量时序数据管理的必然终局。然而,“伪分布式”和“真分布式”在后期的运维体验与可靠性上可谓天差地别。本文将带你深度剖析分布式时序数据库的选型要点,并全方位解析 Apache IoTDB 的集群架构设计。
fastjson_3 天前
大数据·分布式·spark
Spark 安装和使用HDFS 是大数据常用分布式存储,Hive 提供 HiveQL,不存储业务数据,数据存放于 HDFS第一代计算引擎:MapReduce:用廉价机器实现分布式大数据处理
spter。3 天前
分布式·kafka
从一次关注到最终一致:Canal、Outbox 与 Kafka 如何解决关系链双写问题知光是一个知识获取与分享社区。用户可以发布图文“知文”、浏览首页 Feed、进入详情页查看作者,也可以关注作者。在页面上,一次关注看起来只是把按钮从“关注”切换成“已关注”,后台却要同时回答几类问题:A 关注了谁、谁关注了 B、A 一共关注了多少人、B 一共有多少粉丝,以及下一次打开列表时怎样快速返回结果。