分布式

jiuweiC1 小时前
分布式·golang·kafka
kafka重平衡问题-golang这里只讨论"github.com/IBM/sarama"的用法这里将会从触发重平衡的原因,影响重平衡的因素去介绍重平衡
你这个代码我看不懂8 小时前
分布式·kafka·linq
@RefreshScope刷新Kafka实例是的,会重新创建 Bean。 @RefreshScope 是 Spring Cloud 提供的注解,用于动态刷新配置。当配置发生变化(如通过 Spring Cloud Config 或 /refresh 端点触发刷新)时:
麟听科技15 小时前
人工智能·分布式·学习·华为·harmonyos
HarmonyOS 6.0+ APP智能种植监测系统开发实战:农业传感器联动与AI种植指导落地当前农业种植领域普遍存在精准管理缺失的痛点,传统种植模式依赖农户经验判断,易出现土壤温湿度失衡、施肥浇水不合理、病虫害防控不及时等问题,导致作物产量下降、资源浪费严重,且难以实现规模化、标准化种植。随着智慧农业的快速发展,农户对种植过程的精准化、智能化需求日益迫切,而传统农业监测方式存在数据滞后、操作繁琐、指导专业性不足等弊端,无法适配现代化农业的高效管理需求。
Wzx19801218 小时前
数据库·redis·分布式
高并发秒杀下,如何避免 Redis 分布式锁的坑?秒杀场景:优化一:负载均衡 分布式部署nginx和Java的springboot gateway 网关
Francek Chen18 小时前
大数据·hadoop·分布式·hdfs·架构
【大数据存储与管理】分布式文件系统HDFS:01 分布式文件系统【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈大数据技术原理与应用 ⌋ ⌋ ⌋专栏系统介绍大数据的相关知识,分为大数据基础篇、大数据存储与管理篇、大数据处理与分析篇、大数据应用篇。内容包含大数据概述、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、MapReduce、Hadoop再探讨、数据仓库Hive、Spark、流计算、Flink、图计算、数据可视化,以及大数据在互联网领域、生物医学领域的应用和大数据的其他应用。 【GitCode
石去皿19 小时前
分布式·架构·harmonyos
分布式原生:鸿蒙架构哲学与操作系统演进的范式转移作者:石去皿 首发:个人技术博客 摘要:本文跳出“功能对标Android”的叙事陷阱,从架构哲学层面解构鸿蒙的分布式原生设计。探讨其如何将“设备”降维为“能力容器”,重构人机交互的时空边界,并反思这一范式对操作系统未来十年的深远影响。
KANGBboy21 小时前
大数据·分布式·spark
spark参数优化差异的根源不是count阶段的引擎,而是Spark和 Hive写入时生成的底层文件格式/数量/元数据完全不同 ——Hive写入会生成带「行数元数据」的列式文件,而Spark默认写入的文件要么是Text格式、要么是元数据缺失的列式文件,导致Hive count时无法走元数据优化,只能全量扫描。
我就是全世界21 小时前
分布式·架构·rabbitmq
RabbitMQ架构核心拆解:从消息代理到四大组件,一文看懂异步通信基石在分布式系统里,你有没有遇到过这样的场景?订单服务处理完一笔交易,需要立刻通知库存系统扣减、物流系统发货、积分系统更新。如果让订单服务直接调用这些下游服务,任何一个环节卡顿或失败,都会导致整个下单流程阻塞,用户体验直线下降。更糟的是,一旦某个服务需要升级或重构,所有依赖它的服务都得跟着改,牵一发而动全身。
DeepFlow 零侵扰全栈可观测1 天前
java·前端·网络·分布式·微服务·云原生·云计算
使用 eBPF 零代码修改绘制全景应用拓扑摘要:本文介绍了DeepFlow如何利用eBPF技术实现零侵扰的云原生应用全景拓扑绘制。传统方案需修改代码或依赖服务网格,覆盖范围有限且实施复杂。DeepFlow通过eBPF自动采集网络数据、解析应用协议,并计算全栈性能指标,无需改动应用代码或重启服务。其核心能力AutoTracing和AutoTagging能自动关联资源、服务等标签,支持多视角观测。实际案例表明,该方案可在五分钟内快速定位各类性能瓶颈与故障,显著提升云原生环境下的可观测性效率。
玄〤1 天前
java·笔记·分布式·spring cloud·微服务·rabbitmq·wpf
RabbitMQ 入门篇总结(黑马微服务课day10)(包含黑马商城业务改造)微服务架构基础知识的总结:微服务架构基础知识的总结 微服务保护与分布式事务:微服务保护与分布式事务在微服务架构中,服务与服务之间如何通信,是绕不开的话题。 常见方式有两种:同步调用 和 异步调用(消息队列)。
回忆是昨天里的海1 天前
分布式·kafka
kafka运行-下载zk版未完待续。。。。。
打工的小王1 天前
分布式·rabbitmq
消息队列之RabbitMQ作用:使用的是百度云的centos8RabbitMQ下载地址:https://packagecloud.io/rabbitmq/erlang/packages/el/7/erlang-23.3.4.11-1.el7.x86_64.rpm/
十月南城2 天前
大数据·分布式·spark
Spark批处理认知——RDD与DataFrame的差异、Shuffle与资源利用写在前面,本人目前处于求职中,如有合适内推岗位,请加:lpshiyue 感谢。从函数式编程到声明式编程,Spark批处理的演进是分布式计算范式的一次革命性转变
chian-ocean2 天前
人工智能·分布式
hcomm 深度解析:专用 AI 分布式通信库,加速巨型模型训练与部署CANN 组织链接: https://atomgit.com/cann hcomm 仓库链接: https://atomgit.com/cann/hcomm
上海锟联科技2 天前
分布式·信息与通信·分布式光纤声波传感·das解调卡·光纤传感
DAS 偏振衰弱产生原因与解决方案 —— 分布式光纤传感系统稳定性的关键挑战在分布式声波传感系统(Distributed Acoustic Sensing,简称 DAS)中,系统通过相干探测方式获取光纤中瑞利散射回波的相位变化,从而实现对振动、声波和应变信号的连续感知。
小镇敲码人2 天前
分布式
探索CANN框架中hcomm仓库:分布式通信底座的底层支撑与深度实现在当今AI大模型时代,参数规模动辄千亿、万亿,单卡训练早已成为历史,分布式并行训练成为必然选择。而在分布式训练中,通信开销往往是制约整体吞吐量的关键瓶颈——在一些万卡集群实测中,未经优化的通信环节甚至能占到总训练时间的40%~60%。华为CANN框架(Compute Architecture for Neural Networks)作为国产AI计算底座,其通信子系统正是解决这一痛点的核心。其中,hcomm仓库是HCCL(Huawei Collective Communication Library)最底层
向哆哆2 天前
分布式·wpf·cann
CANN HCCL集合通信库在分布式训练中的高性能通信方案cann 组织链接:https://atomgit.com/cann hccl仓库解读链接:https://atomgit.com/cann/hccl
没有bug.的程序员2 天前
分布式·算法·spring·分布式id·snowflake·物理内核·时间回拨
分布式 ID 生成:Snowflake 算法物理内核、时间回拨黑科技与业务适配深度指南前言:在分布式混沌中寻找唯一的“真理”在分布式系统的宏大版图中,每一个业务实体——无论是订单、流水、还是用户轨迹——都需要一个唯一的“数字指纹”。在单机时代,我们依赖数据库的自增主键(Auto-increment)获得确定性;但在微服务和海量并发的洪流中,中心化的自增 ID 瞬间成为了性能的死穴。
听麟2 天前
分布式·深度学习·华为·区块链·ar·harmonyos
HarmonyOS 6.0+ 跨端区块链存证平台开发实战:分布式共识与数据不可篡改落地在当前数据存证场景中,无论是电子文档、影音素材还是业务数据,普遍面临可信度不足、易被篡改、溯源困难等核心痛点——传统存证方式依赖中心化服务器,存在单点故障、数据被恶意篡改、操作记录易销毁等问题,难以满足金融、司法、知识产权、医疗等领域对存证数据“可信、可溯、不可篡改”的核心需求。